
Для того, чтобы ограничить доступ к информации для поисковых систем, достаточно задать правила доступа в файле robots.txt протоколом REP.
Как показала практика, несмотря на простоту способов защиты приватной информации, многие вебмастера совершают ошибки, в результате которых эта информация оказывается открытой и находится в различных поисковых системах, в том числе и в Яндексе.
Отдел информационной безопасности Яндекса посчитал необходимым тщательно рассмотреть ставшие известными за последнее время случаи доступности непубличной информации.
После изучения ситуации стало ясно, что адреса страниц с некоторых хостов стали известны Яндексу через установленную на сайтах Метрику. Они стали находиться в Яндексе, поскольку в robots.txt этих сайтов запрета на индексацию страниц не содержалось. Особо отмечается, что посещение пользователем страницы с помощью браузера с установленным Яндекс.Баром не приводило и не приводит к ее индексации.
В связи с установленным фактом, было принято решение о добавлении в Метрику возможности не передавать в поиск Яндекса адреса страниц, которые стали ей известны. Однако это не означает, что поисковая система никогда не узнает о той или иной странице. Существует огромное количество других путей, которыми страница может оказаться в поиске. Новая опция Метрики влияет только на непосредственную связь между Метрикой и поиском.
Эта опция появилась на сервисе, на страницах с выбором счетчика. Также есть возможность добавить в код счетчика на своем сайте сайте параметр ut=noindex. В результате этого, адреса страниц, полученные только через Метрику, не будут индексироваться поиском Яндекса.
Олег Сахно (Интер-Лабс): «Можно сколько угодно спорить о том, кто виноват в утечке данных. Но решение проблемы должно быть комплексным. Усилия необходимо приложить как Яндексу, так и вебмастерам. Параметр для Метрики я бы не назвал значительной мерой, скорее полумерой. Но это и понятно, за неделю, прошедшую со скандала с Мегафоном, невозможно написать классификатор приватности данных и отладить его».