Файл robots.txt — это обычный текстовый файл, который подсказывает поисковым системам, какие разделы или страницы сайта индексировать, а какие нет. В данном файле можно указать что индексировать каждому роботу отдельно.
Также в нем можно прописать директиву HOST, для специального робота зеркальщика, он определит зеркала и сформирует группу зеркал вашего сайта. После чего в поиске будет участвовать только главное зеркало с WWW или без.
Директивой Sitemap вы можете указать путь к карте сайта XML.
Расположен данный файл обычно в корневом каталоге блога, там же где файл index.php Наличие этого файла — хорошо влияет на индексацию вашего любимого блога.
Продолжить чтение