robots.txt для WordPress каким вижу его я.

Файл robots.txt — это обычный текстовый файл, который подсказывает поисковым системам, какие разделы или страницы сайта индексировать, а какие нет. В данном файле можно указать что индексировать каждому роботу отдельно.
Также в нем можно прописать директиву HOST, для специального робота зеркальщика, он определит зеркала и сформирует группу зеркал вашего сайта. После чего в поиске будет участвовать только главное зеркало с WWW или без.
Директивой Sitemap вы можете указать путь к карте сайта XML.

Расположен данный файл обычно в корневом каталоге блога, там же где файл index.php Наличие этого файла — хорошо влияет на индексацию вашего любимого блога.

Пара слов о директивах Disallow и Allow.
Disallow- запрещает
Allow — разрешает

Итак переходим непосредственно к виновнику торжества =)
Создаем текстоdый файл robots.txt затем открываем блокнотом и вписываем несколько строк:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?s= # закрываем поиск

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?s= # закрываем поиск

Host: Acid.Name
Sitemap: http://Acid.Name/sitemap.xml

Бытует мнение что надо закрывать теги и архивы, но я не стал этого делать, если хотите можете добавить несколько правил:
Disallow: /*?s= # закрываем поиск
Disallow: /*?m # закрываем архивы
Disallow: /*?tag # закрываем теги

Есть еще якоря страниц, но по поводу их закрытия мнения расходятся, я их закрывать не стал.
Вот пара примеров якорей, чтобы понятно о чем речь.
http://site.ru/?p=59#more-59
http://site.ru/?p=52#respond

Пара советов =)
1. Не увлекайтесь сильно, файл Robots.txt более 32 Кб не будет загружен, тем самым запрещающих правил не будет.
2. Также разрешающими считаются robots.txt, которые не удалось загрузить, всегда проверяйте его доступность на сайте. Для этого есть специальный анализатор от яндекса.

Если вам интересно можете посмотреть на рекомендацию самих разработчиков движка WordPress по поводу файла robots.txt

Если есть вопросы или рекомендации, комментируйте…

6 комментариев

Add a Comment

Your email address will not be published. Required fields are marked *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.