Файл robots.txt — это обычный текстовый файл, который подсказывает поисковым системам, какие разделы или страницы сайта индексировать, а какие нет. В данном файле можно указать что индексировать каждому роботу отдельно.
Также в нем можно прописать директиву HOST, для специального робота зеркальщика, он определит зеркала и сформирует группу зеркал вашего сайта. После чего в поиске будет участвовать только главное зеркало с WWW или без.
Директивой Sitemap вы можете указать путь к карте сайта XML.
Расположен данный файл обычно в корневом каталоге блога, там же где файл index.php Наличие этого файла — хорошо влияет на индексацию вашего любимого блога.
Пара слов о директивах Disallow и Allow.
Disallow- запрещает
Allow — разрешает
Итак переходим непосредственно к виновнику торжества =)
Создаем текстоdый файл robots.txt затем открываем блокнотом и вписываем несколько строк:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?s= # закрываем поиск
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?s= # закрываем поиск
Host: Acid.Name
Sitemap: http://Acid.Name/sitemap.xml
Бытует мнение что надо закрывать теги и архивы, но я не стал этого делать, если хотите можете добавить несколько правил:
Disallow: /*?s= # закрываем поиск
Disallow: /*?m # закрываем архивы
Disallow: /*?tag # закрываем теги
Есть еще якоря страниц, но по поводу их закрытия мнения расходятся, я их закрывать не стал.
Вот пара примеров якорей, чтобы понятно о чем речь.
http://site.ru/?p=59#more-59
http://site.ru/?p=52#respond
Пара советов =)
1. Не увлекайтесь сильно, файл Robots.txt более 32 Кб не будет загружен, тем самым запрещающих правил не будет.
2. Также разрешающими считаются robots.txt, которые не удалось загрузить, всегда проверяйте его доступность на сайте. Для этого есть специальный анализатор от яндекса.
Если вам интересно можете посмотреть на рекомендацию самих разработчиков движка WordPress по поводу файла robots.txt
Если есть вопросы или рекомендации, комментируйте…
Здравствуйте! Сегодня всё больше веб-мастеров на своих ресурсах, рекомендуют использовать для блогов на WordPress мета-тег robots. Скажите пожалуйста, каково ваше мнение по этому поводу? Спасибо!
Я лишь могу сказать что поведенческий фактор самый главный. Т.е. то что пользователь комментирует и остается дольше на странице это само главное. На счет РОБОТС я ни когда не закумаривался, яндекс сам разберется что ему индексировать, а что нет.
наконецто этот robots.txt добил все таки) спасибо автор)
Там не хватает инструкций для гугла. Все руки не доходят сделать.
а что насчет googlebot?
Для него я обычно не делаю. Гугл сам разберется, что ему интересно на сайте, а что нет.