Robots.txt (Файл) – инструкция для машиныЕще в середине девяностых годов, во времена бурного развития поисковых сервисов, обнаружилось, что действия роботизированных инструментов поиска значительно осложняют пользователям работу с Интернет-ресурсами. Машины, не имея четкого алгоритма, пытались индексировать все содержимое независимо от его значимости, чем создавали существенные нагрузки на сервер. Тогда-то и возникла необходимость в четком указании роботам, что регистрировать, а на что внимания обращать не стоит. Так родилась инструкция для машины, записываемая в файл Robots.txt. Этот текстовый документ содержится в корневой директории ресурса. Машина, начиная процесс индексации, обращается в первую очередь к нему. Таким образом, Robots.txt (файл с подробной инструкцией) является единым всемирным стандартом, договор, о создании которого был заключен в 1994 году всеми заинтересованными интернет-организациями. И хотя это не какой-нибудь хитроумный скрипт, а всего лишь текстовый документ, а однако он неопровержимо доказал свою эффективность и работоспособность. Можно даже сказать, что он стал одним из первых алгоритмов для поисковых машин. Поисковики и файл Robots.txt Сейчас уже поисковые алгоритмы настолько усовершенствовались, что роботы прекрасно понимают, что следует индексировать, а что нет. Однако текстовая инструкция для них все равно находится на боевом посту. Выходя в свободный рейд и попадая на сайт, выполняет анализ содержимого и заглядывает в файл robots.txt, который сообщает ей порядок действий. Структура данного документа может иметь следующий вид:
Такой документ запрещает регистрацию двух директорий сайта. Папок может быть прописано сколько угодно. Это достаточно эффективный способ скрывать нежелательное содержимое ресурса от поисковых систем. Стоит записать его в инструкцию и робот не обратит на него внимания. |
Лицо, указывающее свои персональные данные на сайте m001.ru (включая любые поддомены сайта), (далее по тексту «Клиент») обязуется принять настоящее Соглашение и дает согласие на обработку его персональных данных, на нижеприведённых условиях: