M001
Ваш город:
Специальное предложение
8 800 500 18 80 Звонок по России бесплатный

Robots.txt (Файл) – инструкция для машины

Еще в середине девяностых годов, во времена бурного развития поисковых сервисов, обнаружилось, что действия роботизированных инструментов поиска значительно осложняют пользователям работу с Интернет-ресурсами. Машины, не имея четкого алгоритма, пытались индексировать все содержимое независимо от его значимости, чем создавали существенные нагрузки на сервер. Тогда-то и возникла необходимость в четком указании роботам, что регистрировать, а на что внимания обращать не стоит. Так родилась инструкция для машины, записываемая в файл Robots.txt.

Этот текстовый документ содержится в корневой директории ресурса. Машина, начиная процесс индексации, обращается в первую очередь к нему. Таким образом, Robots.txt (файл с подробной инструкцией) является единым всемирным стандартом, договор, о создании которого был заключен в 1994 году всеми заинтересованными интернет-организациями. И хотя это не какой-нибудь хитроумный скрипт, а всего лишь текстовый документ, а однако он неопровержимо доказал свою эффективность и работоспособность. Можно даже сказать, что он стал одним из первых алгоритмов для поисковых машин.

Поисковики и файл Robots.txt

Сейчас уже поисковые алгоритмы настолько усовершенствовались, что роботы прекрасно понимают, что следует индексировать, а что нет. Однако текстовая инструкция для них все равно находится на боевом посту. Выходя в свободный рейд и попадая на сайт, выполняет анализ содержимого и заглядывает в файл robots.txt, который сообщает ей порядок действий. Структура данного документа может иметь следующий вид:

  • User-agent: название робота или звездочка, означающая запрет индексации всеми машинами;
  • Disallow: /tmp/;
  • Disallow: /cgi-bin/;

Такой документ запрещает регистрацию двух директорий сайта. Папок может быть прописано сколько угодно. Это достаточно эффективный способ скрывать нежелательное содержимое ресурса от поисковых систем. Стоит записать его в инструкцию и робот не обратит на него внимания. 

X

Политика конфиденциальности

Лицо, указывающее свои персональные данные на сайте m001.ru (включая любые поддомены сайта), (далее по тексту «Клиент») обязуется принять настоящее Соглашение и дает согласие на обработку его персональных данных, на нижеприведённых условиях:

  1. Обработка персональных данных осуществляется с целью представления Клиенту информации об оказываемых услугах, коммерческих предложений, проведения рекламных кампаний и маркетинговых иследований.
  2. Клиент дает согласие на обработку следующих персональных данных:
    • фамилия, имя и отчество физического лица и (или) наименование юридического лица,
    • номера контактных телефонов,
    • адреса электронных почт,
    • адреса сайтов,
    • мест работы и занимаемых должностях,
    • сведения об интересах,
    • сведения об участии в мероприятиях.
  3. Общество осуществляет защиту персональных данных Клиента от неправомерного доступа к ним третьих лиц в соответствии с законодательством Российской Федерации.
  4. При проведении обработки персональных данных Общество вправе применить следующие процедуры: сбор, обезличивание, систематизацию, запись, хранение, обновление, уничтожение.
  5. Общество вправе проводить обработку персональных данных на бумажных носителях и с использованием средств вычислительной техники.
  6. Общество вправе предоставлять доступ к персональной информации третьим лицам в следующих случаях:
    • Клиент дал на то согласие,
    • это предусмотрено законодательством Российской Федерации и (или) иными нормативно-правовыми актами субъектов Российской Федерации,
    • это требуется для предоставления Клиенту запрашиваемых им услуг.
  7. Согласие на обработку персональных данных может быть отозвано Клиентом по средствам направления соответствующего запроса Обществу.