Robots.txt: что это за файл и почему за ним нужно следить

Robots.txt — небольшой текстовый файл, который лежит в корне каждого сайта, но способен кардинально повлиять на видимость сайта в поисковых системах. Ошибка в одну строчку может скрыть весь сайт из Google за несколько часов — поэтому отслеживание изменений robots.txt так же важно, как его настройка.

Что такое robots.txt и где он живёт

Robots.txt — это файл протокола исключений роботов (Robots Exclusion Protocol). Он указывает поисковым роботам (Googlebot, Yandex, Bingbot и другим), какие страницы сайта можно индексировать, а какие — нет.

Файл всегда располагается по адресу: https://вашсайт.ru/robots.txt

Это общедоступный файл — любой желающий может его прочитать. Сюда нельзя помещать ссылки на страницы, которые вы хотите скрыть от людей — только от роботов.

Синтаксис robots.txt

Файл состоит из блоков «правил» для конкретных роботов:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /admin/public/

Sitemap: https://example.ru/sitemap.xml
Crawl-delay: 10

Основные директивы:

User-agent: указывает робота. * — все роботы, Googlebot — только Google.
Disallow: запрещает индексацию указанного пути. Disallow: / — запрещает всё!
Allow: разрешает доступ к пути, даже если родительская директория запрещена.
Sitemap: указывает URL XML-карты сайта. Ускоряет обнаружение страниц.
Crawl-delay: задержка между запросами робота (секунды). Google игнорирует эту директиву, Яндекс учитывает.

Примеры конфигураций

Минимальный файл (открыт весь сайт)

User-agent: *
Disallow:

Sitemap: https://example.ru/sitemap.xml

Интернет-магазин

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search?
Disallow: /api/
Allow: /api/public/

Sitemap: https://shop.ru/sitemap.xml

Полная блокировка (опасно!)

User-agent: *
Disallow: /

Внимание: такой файл полностью запрещает индексацию сайта. Если это попало в продакшн случайно — поисковик перестанет обходить сайт в ближайшие часы-дни.

Что может пойти не так

Robots.txt кажется простым файлом, но ошибки в нём встречаются регулярно и имеют серьёзные последствия.

1. Полная блокировка после миграции

Самая частая и болезненная ошибка: при переносе сайта на новый хостинг или после редизайна в production попадает robots.txt с настройками разработческого окружения (Disallow: /). Поисковик начинает игнорировать сайт, позиции падают.

2. Случайная блокировка раздела

Разработчик добавил Disallow: /catalog/sale для временного скрытия раздела, но забыл вернуть обратно. Через месяц оказывается, что весь прибыльный раздел выпал из поисковой выдачи.

3. Повреждение файла

Некорректная кодировка, лишние символы BOM, обрыв на середине — роботы могут по-разному интерпретировать некорректный файл. Одни проигнорируют ошибку, другие — заблокируют весь сайт.

4. Конфликт Allow / Disallow

При наличии обеих директив поведение роботов зависит от специфики конкретного движка. Правила должны быть явными и непротиворечивыми.

Почему мониторинг robots.txt критически важен

В отличие от большинства SEO-параметров, изменение robots.txt может дать эффект уже через несколько часов. Googlebot и Яндекс.Бот регулярно перечитывают этот файл (обычно раз в 24 часа, но при активном обходе — чаще).

Проблема в том, что файл меняется незаметно: при обновлении CMS, через плагин, в результате ошибки деплоя. Вы можете не знать об изменении неделями — пока не заметите падение трафика.

Как Пруфен мониторит robots.txt

Пруфен — сервис мониторинга сайтов — выполняет регулярные GET-запросы к /robots.txt вашего сайта и отслеживает:

Доступность файла: сервер должен возвращать 200. Если файл недоступен (404, 500) — роботы могут получить полный доступ или полный запрет в зависимости от их настроек.
Историю изменений: Пруфен сохраняет каждую версию файла. Вы можете сравнить текущую версию с предыдущей и увидеть точные изменения (diff).
Обнаружение опасных директив: автоматическое определение Disallow: / для всех User-agent — немедленное уведомление.
Уведомления при изменениях: любое изменение файла генерирует уведомление в Telegram или на email.

Чеклист: что нужно контролировать

☑ Файл доступен по адресу /robots.txt и отдаёт код 200
☑ Нет глобального Disallow: /☑ Закрыты служебные разделы: /admin/, /api/, /cart/, /checkout/
☑ Открыты все продуктовые и контентные страницы
☑ Указан корректный Sitemap
☑ Файл в кодировке UTF-8 без BOM
☑ Настроены уведомления об изменениях (через мониторинг robots.txt в Пруфене или другой сервис)
☑ После каждого деплоя — проверить robots.txt вручную