В распоряжении издания “Ъ” оказалось письмо, направленное Центром управления связью общего пользования (ЦМУ ССОП) Роскомнадзора компаниям из реестра провайдеров хостинга в конце апреля. Письмо содержит рекомендации по настройке ограничений доступа поисковых ботов к информации на российских сайтах. Речь идет об иностранных ботах, в том числе поисковых сервисов Google (Googlebot) или GPTBot компании OpenAI, Apple Bot компании Apple и др.
Роботы, в автоматическом режиме посещающие веб-сайты, используются для их индексации поисковиками, в интернет-рекламе, для сбора данных для обучения нейросетей и т. п. Технически роботы могут мимикрировать под обычных посетителей сайтов, однако легитимные боты отправляют владельцам веб-сайтов идентификатор, позволяющий выявлять его предназначение. Например, «Яндекс» использует YandexBot для индексации сайтов в целом, YandexImages — для индексации изображения для поиска по картинкам и т. д.
Ограничение доступа иностранных ботов к российским сайтам, по мысли авторов письма, необходимо для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации, следует из письма. Согласно рекомендациям, провайдерам (в реестре на апрель 428 компаний) «необходимо провести анализ рисков в своей зоне ответственности и при их обнаружении применить правила блокировки сбора сведений поисковыми ботами».
В письме приведен и список идентификаторов (User-agent), по которым можно отличить вредоносных роботов и сканеры уязвимостей (642 идентификатора). Список, разосланный Роскомнадзором провайдерам, совпадает с публично доступным перечнем, опубликованным на сервисе GitHub.
В Роскомнадзоре не ответили журналистам “Ъ”.
Получение письма подтвердили, например, в компании DDoS-Guard и сообщили, что приняли его к сведению. Представители компании отметили, что на данный момент в «реестр блокировок» Роскомнадзора указанные боты не включены. «Сама процедура блокировок очень формализована»,— говорит ведущий юрист DDoS-Guard Кирилл Приходько.
Участники рынка провайдеров отмечают, что список приведенных в письме идентификаторов «очень большой, и их блокировка может повлиять на стабильность работы IT-систем».
Однако ряд экспертов считает, что компании, которые видят актуальными для себя риски со стороны зарубежных ботов, начнут использовать практику их массовой блокировки.
Гендиректор хостинг-провайдера RUVDS Никита Цаплин допускает, что в перспективе рекомендации Роскомнадзора могут стать требованиями. Он предупреждает, что сбор информации и для чат-ботов, и для пользователя, делающего запрос в адресной строке браузера, осуществляют одни и те же роботы:
«Следовательно, организация, которая выполнит рекомендацию, лишит себя возможности индексироваться в Google». Для крупных компаний это серьезный риск, особенно с учетом конкуренции за трафик: если его часть уйдет из Google, то бизнесу придется компенсировать долю «переходов» на сайты через доступные поисковики, говорит господин Цаплин.
Представитель другого хостинг-провайдера считает, что блокировка особенно отразится на компаниях, работающих за пределами России, например, в странах СНГ, где позиции Google выше поисковика «Яндекс».
С заботой о вашей безопасности, команда Origin Security
