Да именно так. Как бы это парадоксально не звучало, но задача стояла именно в том чтобы найти текст в одном из файлов.
Причем файлов было около 1000 и были они все в DOS кодировке.
Если перед вами встала именно такая задача, то читаем как это сделать, быстро и подручными средствами.
Файл robots.txt — это обычный текстовый файл, который подсказывает поисковым системам, какие разделы или страницы сайта индексировать, а какие нет. В данном файле можно указать что индексировать каждому роботу отдельно.
Также в нем можно прописать директиву HOST, для специального робота зеркальщика, он определит зеркала и сформирует группу зеркал вашего сайта. После чего в поиске будет участвовать только главное зеркало с WWW или без.
Директивой Sitemap вы можете указать путь к карте сайта XML.
Расположен данный файл обычно в корневом каталоге блога, там же где файл index.php Наличие этого файла — хорошо влияет на индексацию вашего любимого блога.