О роботе

Робот представляется этим User-Agent:

Mozilla/5.0 (compatible; ProverkaSaytovBot/1.0; +https://xn--80aaecm0ae3agcldpq.xn--p1ai/bot)

Робот запускается только тогда, когда владелец сайта (или уполномоченное им лицо) сам заказал проверку и подтвердил свои права на домен. Мы не обходим сайты по своей инициативе, не составляем каталогов и не собираем содержимое сайтов впрок.

Робот открывает страницы так же, как обычный посетитель в браузере, и анализирует только технические признаки: есть ли политика обработки данных, как устроены формы согласия, какие подключены счётчики. Копии страниц не сохраняются.

• не более 10 страниц за одну проверку;
• не более 3 бесплатных проверок одного домена в сутки — сколько бы заявок ни пришло и от кого бы они ни поступили. Ещё до 6 обходов в сутки может дать заказ полного отчёта, брошенный до оплаты: итого не больше 9 обходов домена в сутки, за которые никто не заплатил. Оплаченные проверки этим числом не ограничены: их заказывает тот, кому нужен отчёт по этому сайту, — как правило, его собственный владелец;
• повторная заявка в течение часа не приводит к новому обходу: заказчик получает уже собранный отчёт;
• страницы одного сайта загружаются последовательно, с паузой между ними;
• соблюдает директивы robots.txt, включая Disallow и Crawl-delay;
• никогда не обходит формы авторизации, CAPTCHA и защиту от ботов и не пытается получить доступ к закрытым разделам.

Напишите нам с контактов, указанных в разделе «Реквизиты», — мы внесём домен в список исключений, и сервис будет отказывать в проверке этого сайта любому заказчику.

Робот также подчиняется вашему robots.txt: закрытые в нём страницы он не запрашивает.

Если сервер отвечает, что robots.txt нет (код 404 или 403), робот считает, что ограничений нет. Если сервер не смог ответить — перегружен либо ограничивает частоту запросов (код 429 или 5xx), — проверка не выполняется вовсе: правил мы не знаем, а нагружать сайт в таком состоянии не станем. Единственное отступление от RFC 9309: когда до сервера не удалось достучаться на сетевом уровне, робот продолжает проверку, считая, что ограничений нет, — иначе сайты, отвечающие только браузеру, проверить было бы нельзя.

Обычная проверка подтверждения не требует: робот читает то же, что открыто любому браузеру и поисковой системе. Есть ровно одна проверка — открытые служебные файлы (/.git/, /.env, резервные копии), — которая обращается к путям, не предназначенным для публичного доступа. На чужом сайте мы такого не делаем вовсе — она выполняется только после того, как владелец разместил на сайте признак подтверждения: подтвердить права на сайт.

Признак проверяется заново перед каждым сканом. Уберите его — и обращения к служебным путям прекратятся без всякого обращения к нам.