Битые ссылки и лишние редиректы: тихие убийцы трафика

Чем вредны битые ссылки

Каждая ссылка на несуществующую страницу — это тупик для посетителя и для поискового робота. Много 404 внутри сайта снижают доверие поисковика к его структуре. Отдельно стоит смотреть, что показывает сама страница ошибки: если она отдаёт код 200 и выглядит как обычная страница, поисковик считает её нормальной и берёт в индекс десятки пустых адресов.

Проблема цепочек редиректов

Когда один адрес ведёт на второй, а тот на третий, каждый шаг добавляет задержку и теряет часть ссылочного веса. Идеал — один прямой 301 без промежуточных звеньев. Цепочки накапливаются незаметно: сначала переезд с http на https, потом смена структуры каталога, потом отказ от слеша в конце — каждое решение по отдельности разумно, а вместе они дают четыре перехода вместо одного.

Как навести порядок

Регулярно ищите внутренние и внешние битые ссылки, заменяйте их на актуальные адреса и схлопывайте цепочки редиректов в один прямой переход.

Как их найти

Три источника, и они дополняют друг друга. Обход сайта роботом находит внутренние ссылки на 404. Логи сервера показывают, какие несуществующие адреса реально запрашивают люди и поисковики, — там же всплывают адреса из старых визиток и рассылок. Панели вебмастеров сообщают об ошибках, которые нашёл сам поисковик.

Что делать со старыми адресами при переезде

Каждый старый адрес ведите постоянной переадресацией на смысловой аналог, а не на главную. Редирект на главную формально не ошибка, но человек, пришедший за конкретной страницей, оказывается в начале пути и обычно уходит. Если аналога нет вовсе, честнее отдать 404 — тогда адрес выйдет из индекса, а не будет годами считаться живым. После переезда стоит заодно проверить сертификат и заголовки защиты.

Как отличить настоящую ошибку от временной

Не всякий неответивший адрес битый. Чужой сайт мог быть недоступен минуту, отказать автоматическому запросу или ограничить частоту обращений. Поэтому список стоит перепроверять: кандидаты на замену — адреса, не ответившие дважды с интервалом, а разовые сбои отсеиваются сами. С внутренними ссылками проще: свой сайт отвечает стабильно, и там 404 почти всегда настоящий. Отдельно смотрите на код ответа — 403 и 429 говорят не «страницы нет», а «нас не пустили», и менять такую ссылку не нужно. Разница между «мы не нашли» и «мы не дошли» здесь ровно та же, что в любом другом замере.

Две команды: цепочка переадресаций и обход сайта

Первая команда показывает цепочку целиком — каждый шаг с кодом ответа и адресом следующего перехода; если строк с кодом больше двух, схлопывать есть что. Вторая обходит сайт и записывает ответы в файл, откуда 404 выбираются поиском. Чужие сайты так обходить не стоит: это заметная нагрузка, и на неё нужно разрешение владельца.

# вся цепочка переадресаций одного адреса
curl -sIL https://example.ru/staraya-stranica | grep -i -E "^HTTP/|^location:"

# обход своего сайта и поиск 404 в журнале
wget --spider -r -nd -nv -o obhod.txt https://example.ru/
grep -B1 "404" obhod.txt