robots.txt и sitemap: как случайно закрыть сайт от поиска

Как работает robots.txt

Файл говорит роботам, какие разделы обходить, а какие пропускать. Частая беда — забытый с разработки запрет Disallow: /, который остаётся на боевом сайте и убирает его из поиска. Вторая по частоте — правило, написанное для одного робота и не действующее для остальных: секции User-agent не складываются, робот читает только свою, а если её нет — общую.

Зачем нужен sitemap.xml

Карта сайта подсказывает поисковику список страниц и частоту их обновления. Устаревший sitemap с удалёнными адресами или без новых страниц замедляет индексацию свежего материала. Даты изменения в нём стоит ставить настоящие: карта, где у всех страниц вчерашняя дата, перестаёт быть подсказкой и начинает быть шумом.

Что проверить в первую очередь

Убедитесь, что важные разделы не закрыты в robots.txt, а карта сайта отдаёт актуальный список страниц и указана в robots.txt. Проверку стоит повторять после каждого переезда или крупного обновления.

Как выглядит рабочий файл

Минимальный robots.txt разрешает обход и указывает карту сайта. Закрывать стоит служебные разделы — корзину, личный кабинет, страницы поиска по сайту: в выдаче они не нужны и тратят время робота.

User-agent: *
Allow: /
Disallow: /cart
Disallow: /search
Sitemap: https://example.ru/sitemap.xml

Чем robots.txt не является

Это не запрет индексации, а просьба не обходить. Страница, закрытая в robots.txt, всё равно может попасть в выдачу — без описания, по внешним ссылкам. Хуже того: если на ней стоит noindex, робот его не прочитает, потому что не зайдёт на страницу. Чтобы страницы точно не было в поиске, её нужно оставить открытой для обхода и поставить noindex. Остальные причины пропажи из выдачи собраны в разборе «сайта нет в поиске».

Как проверить файл до того, как он уедет на сайт

Ошибка в robots.txt дорога тем, что действует сразу и на весь сайт. Риск снижают три привычки. Первая — проверять файл инструментом в панели вебмастера: он показывает, какие адреса под правило попадают, и это надёжнее чтения глазами. Вторая — держать файл в системе контроля версий вместе с сайтом, а не править прямо на сервере: видно, кто и когда добавил строку, и откат занимает минуту. Третья — после каждого переезда открыть файл на боевом адресе и прочитать целиком: типовая беда переезда в том, что вместе с сайтом приезжает тестовый robots.txt, закрывавший всё.