О файле robots.txt

Поисковые машины, когда начинают индексацию сайта, в первую очередь обращаются к файлу robots.txt. Этот файл должен размещаться в корне домена сайта, например http://www.mysite.ru/robots.txt. Файл имеет текстовый формат, т.е. проще создавать его с помощью Блокнота. Название файла пишется только так, как в примере, и не иначе. Нельзя использовать буквы в верхнем регистре. Найдя этот файл, поисковые роботы получают инструкции по индексации сайта. Потому, от правильности его написания зависит насколько глубоко и быстро будет проиндексирован сайт.
Содержание файла включает два обязательных поля. Первое поле называется User-agent. Оно имеет формат User-agent: название поискового робота, например Yandex. Если команда дается для всех поисковых машин, то ставится звёздочка – «*». Нельзя оставлять инструкцию пустой.
Далее обязательно следует поле Disallow. Его формат Disallow: название файла или Disallow: /директория/. Для каждой директории пишется отдельная строка. Это поле указывает, какие страницы сайта поисковым роботам индексировать ЗАПРЕЩЕНО. Т.е., файл несёт только запретительный характер. Если оставить директиву Disallow: пустой, то это будет означать, что для индексирования доступны все папки. Директива Disallow: / наоборот, запрещает индексацию всего сайта. Ни в коем случае нельзя не писать это поле.
Для Яндекса желательно добавить третье поле Host: название сайта.

Вернуться назад