Что проверяет
Пруфен регулярно загружает файл /robots.txt вашего сайта и отслеживает:
- Доступность файла (код ответа сервера)
- Изменения содержимого по сравнению с предыдущей версией
- Наличие опасных директив:
Disallow: /для всех роботов
История версий
Каждая обнаруженная версия файла сохраняется. Вы можете просмотреть историю и сравнить любые две версии в виде diff — добавленные строки зелёным, удалённые красным.
Уведомления
При любом изменении файла приходит уведомление с описанием изменений. При обнаружении глобальной блокировки (Disallow: /) — немедленное приоритетное уведомление.