Сайта нет в поиске: пять причин, которые видно за минуту

Запрет, оставшийся с разработки

Самая частая причина — <meta name="robots" content="noindex"> или Disallow: / в robots.txt, поставленные на время сборки сайта и не снятые после запуска. Страница открывается в браузере как обычно, поэтому заметить это глазами невозможно: запрет виден только в исходном коде и в ответе сервера. Как устроены оба файла — в разборе robots.txt и карты сайта.

Заголовок сервера, которого не видно в коде

X-Robots-Tag приходит в HTTP-ответе, а не в HTML. Его не покажет «просмотр кода страницы» в браузере, и он спокойно противоречит мета-тегу: в коде разрешено, в заголовке запрещено. Поисковик в такой ситуации слушает запрет.

Canonical, указывающий на другую страницу

Если canonical всех страниц каталога ведёт на главную, поисковик считает их копиями главной и в выдачу не берёт. Такое случается после переноса шаблона: тег скопировали вместе с версткой и забыли сделать динамическим. Подробнее — в разборе дублей страниц и канонических адресов.

Как проверить каждую причину

robots.txt открывается по адресу вашсайт.ру/robots.txt прямо в браузере — или проверкой robots.txt. Мета-тег robots ищется в исходном коде страницы — Ctrl+U и поиск по слову noindex. Заголовок X-Robots-Tag в исходном коде не виден: его показывает вкладка Network в инструментах разработчика — откройте её, обновите страницу и посмотрите заголовки ответа первого запроса.

# минимальный рабочий robots.txt
User-agent: *
Allow: /
Sitemap: https://example.ru/sitemap.xml

Чего эта проверка не покажет

Технические запреты — самая частая причина, но не единственная. Молодой сайт может быть ещё не обойдён, страница может считаться малополезной, а домен — иметь историю до вас. Такие вещи со стороны не видны, и обещать обратное было бы нечестно. Начинать всё равно стоит с запретов: они объясняют большинство случаев и чинятся за час. Технический аудит сайта показывает все пять причин разом.

Сколько ждать после исправления

Снятый запрет не возвращает страницы в выдачу мгновенно: адрес нужно заново обойти и переоценить. Обычный порядок — от нескольких дней до пары недель, и помочь тут можно двумя вещами. Первая — сообщить об адресе напрямую через панель вебмастера, там есть переобход конкретной страницы. Вторая — обновить карту сайта и убедиться, что она указана в robots.txt. Чего делать не стоит — заказывать переобход каждый день и менять содержимое «чтобы расшевелить»: на скорость это не влияет, а сравнивать до и после становится не с чем. Судить о результате удобнее по факту обхода, а не по позициям.