Проверить ссылки на 404 ошибку

If your running php5 you can use:

$url = 'http://www.example.com';
print_r(get_headers($url, 1));

Alternatively with php4 a user has contributed the following:

/**
This is a modified version of code from "stuart at sixletterwords dot com", at 14-Sep-2005 04:52. This version tries to emulate get_headers() function at PHP4. I think it works fairly well, and is simple. It is not the best emulation available, but it works.

Features:
- supports (and requires) full URLs.
- supports changing of default port in URL.
- stops downloading from socket as soon as end-of-headers is detected.

Limitations:
- only gets the root URL (see line with "GET / HTTP/1.1").
- don't support HTTPS (nor the default HTTPS port).
*/

if(!function_exists('get_headers'))
{
    function get_headers($url,$format=0)
    {
        $url=parse_url($url);
        $end = "rnrn";
        $fp = fsockopen($url['host'], (empty($url['port'])?80:$url['port']), $errno, $errstr, 30);
        if ($fp)
        {
            $out  = "GET / HTTP/1.1rn";
            $out .= "Host: ".$url['host']."rn";
            $out .= "Connection: Closernrn";
            $var  = '';
            fwrite($fp, $out);
            while (!feof($fp))
            {
                $var.=fgets($fp, 1280);
                if(strpos($var,$end))
                    break;
            }
            fclose($fp);

            $var=preg_replace("/rnrn.*$/",'',$var);
            $var=explode("rn",$var);
            if($format)
            {
                foreach($var as $i)
                {
                    if(preg_match('/^([a-zA-Z -]+): +(.*)$/',$i,$parts))
                        $v[$parts[1]]=$parts[2];
                }
                return $v;
            }
            else
                return $var;
        }
    }
}

Both would have a result similar to:

Array
(
    [0] => HTTP/1.1 200 OK
    [Date] => Sat, 29 May 2004 12:28:14 GMT
    [Server] => Apache/1.3.27 (Unix)  (Red-Hat/Linux)
    [Last-Modified] => Wed, 08 Jan 2003 23:11:55 GMT
    [ETag] => "3f80f-1b6-3e1cb03b"
    [Accept-Ranges] => bytes
    [Content-Length] => 438
    [Connection] => close
    [Content-Type] => text/html
)

Therefore you could just check to see that the header response was OK eg:

$headers = get_headers($url, 1);
if ($headers[0] == 'HTTP/1.1 200 OK') {
//valid 
}

if ($headers[0] == 'HTTP/1.1 301 Moved Permanently') {
//moved or redirect page
}

W3C Codes and Definitions

У вас может быть очень крутой сайт. Качественный, с интересным контентом, с полезными товарами. Дизайном шикарным и удобным меню. Но если на нем есть битые ссылки (особенно если их много), это автоматически делает его подозрительным в глазах поисковых роботов и создает дурное впечатление о ресурсе со стороны посетителей. Такого допускать нельзя. Ваш прекрасный сайт должен быть прекрасным во всем. И мы этого добьемся.

Что такое битая ссылка?

Битая ссылка — это страница на сайте, которую нельзя открыть. Ее не существует. Когда потенциальный посетитель пытается на нее попасть, то получает в ответ ошибку. Это может быть ошибка 404 Not Found или 400 Bad Request. Или без кода вовсе: Timeout, Empty, Reset. Зависит от настроек конкретного ресурса. Оболочка разная, а смысл один и тот же. Сервер говорит, что искомой страницы здесь нет.

Такие ссылки еще изредка называют «мертвыми». Они возникают по нескольким распространенным причинам:

1. В адресе страницы допущена ошибка. Неправильно написано слово или не хватает какого-то символа. Или не настроены алиасы.
2. Структуру сайта недавно кардинально поменяли, не настроив при этом перенаправление со старых ссылок.
3. Ссылки на сторонний контент на странице удалили или каким-либо образом «сломали».
4. В коде сайта затесались ошибки. В HTML или в JavaScript. Может быть, это сбой в CMS.

Чем опасны битые ссылки?

Есть две неподтвержденные теории и один солидный факт, подтверждающие серьезную угрозу со стороны битых ссылок.

Первая теория такая. Считается, что поисковые роботы Google и Яндекс не любят битые ссылки. Заприметив оные, поисковики решат, что сайт уже давно бросили или сделали так криво, что и стыдно его людям показывать. В связи с этим, позиции ресурса в Google и Яндекс заметно «просядут». Но никто еще не доказал, что это так.

Вторая теория. Якобы битые ссылки расходуют краулинговый бюджет — объем страниц, который поисковики сканируют за определенный период времени. Здесь вмешался представитель Google и сказал, что появление 404 ошибки никак не повлияет на краулинговый бюджет.

А вот что реально важно, так это отношение посетителей к сайту с битыми ссылками. На таких долго не задерживаются. Обычно 404 Not Found говорит о том, что надо бы перейти на главную страницу и воспользоваться поиском. Но всем плевать. Человек просто вернется в Google и будет искать ресурс с рабочими ссылками. Все. Вы потеряли своего посетителя.

Из-за этого вырастет доля отказов. А это не только упущенная аудитория, но и проблемы с ранжированием. Поисковик простит вам битую ссылку, но не простит визитер, который провел на сайте всего секунду и неожиданно убежал.

Как разыскать все битые ссылки на сайте?

Никто не будет сидеть и тыкать во все ссылки на сайте, чтобы найти битые. Тем более, если такие есть на чужих ресурсах. Поиском мертвых страниц занимаются специальные веб-сервисы и приложения. Кому что удобнее.

Я бы советовал не останавливать выбор на чем-то одном. Бывает так, что один сервис отображает неполную информацию. Это как с антивирусами. В тандеме находят больше угроз, чем по одиночке.

Google Search Console

Официальная панель управления Google отлично справляется с поиском битых ссылок. Так что можно отлавливать 404-е с помощью нее. Надо только подтвердить свои права на домен, а потом открыть пункт меню «Покрытие».

Яндекс.Вебмастер

Аналогичная функция есть в Яндексе. В их Вебмастере есть раздел «Ссылки», где можно взглянуть на все поломанные. Только вот здесь есть сложности с экспортом отчета. Раньше не было удобного способа вытащить все данные об ошибках, чтобы потом их устранить. Сейчас можно скачать TSV-файл с 10 000 битых ссылок. Кому-то даже этого будет мало.

Xenu

Это старая программа, но отчеты из нее многие до сих пор считают эталонными. Xenu предоставляет информацию бесплатно, поэтому можно попробовать самостоятельно и без финансовых потерь.

• Поддерживает страницы с шифрованием.
• Работает быстрее большинства аналогов.
• Может обнаружить перенаправления.
• Позволяет делать повторные проверки.

Broken Link Checker

Это даже не отдельная программа, а плагин для WordPress. Дико популярный и полезный. Из плюсов можно выделить то, что он бесплатный и встраивается в WordPress. А из минусов — то, что он не всегда работает корректно и сложно настраивается. Часто приходится запускать модуль по несколько раз, чтобы был какой-то прок. Но другие дополнения к WordPress подобного рода оказываются еще хуже.

Netpeak Spider

Это дорогой и сложный инструмент для скрупулезного SEO-аудита. Он справляется с поиском сломанных страниц, но создавался для решения более широкого круга задач. Скорее всего, его покупка себя полностью не оправдает. Но функциональность хвалят, да.

Dead Link Checker

Платный онлайн-сервис для поиска ошибок 404 на ресурсе. Работает по подписке. То есть платите 10$ в месяц и получаете возможность отсканировать до 50 000 ссылок. Когда есть бесплатные альтернативы, кажется, что это не самый лучший выбор. Но я его не тестировал. Возможно, он творит какие-то чудеса и находит то, что не способны найти конкуренты.

Есть еще с десяток подобных приложений и сайтов, но они так себе. Либо работают чересчур медленно, либо стоят неадекватно дорого.

Нашел все битые ссылки, что дальше?

То, что нашли, уже хорошо. Только теперь надо их исправить. Будем действовать по следующей схеме действий:

• Разберем все ссылки.
• Категоризируем их.
• И исправим все ошибки.

Анализируем ссылки

Сначала надо организовать данные, полученные из сервисов по поиску битых ссылок. Надо понять, почему те или иные ссылки поломаны. Например, если дело в опечатке, то проще всего исправить эту самую опечатку в коде сайта. Если страницы больше не существует, то надо удалить ссылку и добавить заглушку с соответствующим сообщением. Мол, «410 Gone, ребята, странички не будет». А если вы недавно переехали на другой домен, то самым адекватным решением будет — настроить массовый редирект.

Поэтому для начала можно создать такую простенькую табличку:

На ней сразу будет видно ссылки, которым нужен редирект, ссылки, для которых стоит заморочиться с исправлением опечаток, и те, о которых можно забыть.

Но это, конечно, исключительно пример. Вы можете организовать полученную информацию, как вздумается.

Исправляем опечатки

Опечатки бывают двух типов. Те, что допустили вы как владелец сайта. И те, что допускают посетители, надумавшие зайти к вам вручную, указав адрес страницы (страшные люди). Какие опечатки стоит исправлять и так понятно. Те, что допустили сами.

Но есть еще один момент. Если по ссылке с опечаткой пытаются пройти регулярно, то имеет смысл настроить перенаправление на правильную страницу. Или сделать вариант с опечаткой рабочей альтернативой для самых настойчивых.

Настраиваем редирект

Теперь займемся ссылками, которые по-вашему мнению нуждаются в перенаправлении.

Тут и пригодится таблица, которую я описал выше. Наглядно показано, что и куда должно переехать.

Расскажу, как можно сделать 301 редирект в CMS WordPress и с помощью файла .htaccess

WordPress

• Открываем вкладку «Инструменты»

• Переходим в подпункт «Плагины».
• Кликаем по поисковому полю.
• Ищем плагин Redirection и устанавливаем его.

В поисковике будут и другие плагины, с помощью которых можно настроить редирект. Можете попробовать их. Это уже дело вкуса.

• Потом снова открываем вкладку «Инструменты».
• Переходим к настройкам плагина «Перенаправления».
• Нажимаем на Add new redirection.

• Указываем Source URL (ссылку, с которой надо перенаправить).
• А потом Target URL (куда надо перенаправить).
• И сохраняем заданные параметры.

Ну и так придется повторять до тех пор, пока все ссылки, нуждающиеся в перенаправлении, не получат его. Эти задачи нередко достаются верстальщикам на аутсорсе или «разнорабочим» с UpWork и других бирж.

Как сделать массовый редирект

При переезде на новый домен вручную делать редирект всех битых ссылок — это нерациональный адский труд. Поэтому проще воспользоваться массовым редиректом. Делаем следующее:

• Открываем сайт для генерации файла .htaccess с настроенным перенаправлением.
• Ставим галочки напротив пунктов Mass Redirect to another Domain и 301 Redirect URLs.

• Напротив первого вписываем название сайта.
• Напротив второго домен, с которого нужно перенаправить пользователей, и домен, на которой надо перенаправить.
• Нажимаем на кнопку Generate .htaccess в нижней части страницы.

• Потом копируем сгенерированный код и вставляем его в файл .htaccess на сервере.

Впрочем, так можно сгенерировать код для любого типа перенаправлений.

Что делать с битыми ссылками на чужих сайтах?

Теперь вы знаете, что делать со страницами, которые убили сами и к которым у нас есть доступ. Проблематичнее дела обстоят с чужими сайтами, где есть ссылки на ваш ресурс. Они тоже подвержены опечаткам и переезду. Тоже будeт ошибка. Но дело поправимое.

Попросим владельца сайта поменять ссылку

Это, наверное, до боли очевидное решение. Просто постучите владельцам сайта, на котором лежит битая ссылка на ваш ресурс. Попросите их исправить опечатку или указать в материале обновленный адрес. Если удастся с ними связаться, то больше ничего делать и не придется. Все поправят за вас. Но шансы, что вас проигнорируют ощутимо выше.

Настроим редирект с битой ссылки на рабочую

Работает так же, как и в случае со своими ссылками. Просто настройте редирект, чтобы пользователь оказался в нужном месте. Для этого не надо ни с кем связываться и ждать ответа. Настраиваем перенаправление удобным способом и радуемся.

Заново создаем пропавшую страницу

Если уже успели удалить страницу, на которую ведет битая ссылка, то можно создать ее заново. Добавьте туда аналогичный контент. Или тот же, что был раньше. Это может пригодиться, если с чужой страницы приходит большое число посетителей.

Настроим редирект на похожую страницу

Может, контент на уже несуществующей странице устарел? Подумайте, возможно, у вас есть страничка с похожей информацией. Будет хорошей идеей настроить редирект на нее. Тогда и вы ничего не теряете, и посетитель получит то, чего ждет.

И бонусом делаем кастомную страничку 404

Тоже хороший вариант. Сделайте страницу с ошибкой 404 более привлекательной. Оригинальной, что ли. Добавьте картинку, анимацию. Не плоскую шутку. А самое главное, ссылку на главную страницу или на встроенный поисковик. Так вы в десятки раз повысите вероятность, что пользователь останется на вашем сайте, а не ретируется, заметив страшные черные буквы — Not Found.

Можно испробовать все описанные способы в том же порядке. Не ответил владелец чужого сайта? Пилите редирект. Не подходит вариант с редиректом? Так хотя бы сделайте нормальную страничку с ошибкой. Это уже что-то.

Выводы

Итак, еще раз:

• Битые ссылки — поломанные страницы, отзывающиеся ошибками 400 и 404.
• Они портят жизнь посетителям вашего сайта. Так что придется принимать какие-то меры.
• Их несложно найти с помощью бесконечного количества сайтов и программ, заточенных под эту задачу.
• И есть ворох путей исправления ситуации, независимо от того, почему появились проклятые битые ссылки.

Думаю, на этом и закончим. Спасибо.

Битая ссылка — неработающая, ведет на несуществующую страницу на сайте. При переходе по такой посетитель увидит сообщение об ошибке. (Говоря техническим языком, сервер отправит код ответа 404 «Not found».)

Битые ссылки могут появиться из-за банальной ошибки при написании, а также страниц, которые раньше существовали, а потом были удалены или перенесены.

Вот что Click.ru сообщает при попытке перехода на несуществующую страницу

А вот что отвечает Amazon

Бывает и такой креативный подход (Convert Monster)

Главная проблема в том, что битые ссылки ухудшают поведенческие факторы сайта, влияющие на успех SEO-продвижения. Потому что не все посетители настойчивые и терпеливые: многие могут просто уйти, если возникают сложности с навигацией. К тому же избыток broken links — риск попасть под один из фильтров Google.

Рассказываем о 11 способах найти нерабочие ссылки на сайтах. Дальше дело будет за малым: останется вручную поправить их через панель управления или настроить 301 редирект.

Вебмастеры Яндекса и Google

В отчетах обоих этих официальных инструментов можно увидеть, сколько на сайте сломанных ссылок и где они находятся.

В Google Search Console: «Индекс» → «Покрытие» → «Ошибка 404». В Яндекс.Вебмастере: «Индексирование» → «Статистика обхода», а также «Ссылки» → «Внутренние ссылки».

Пример отчета Яндекс.Вебмастера по удаленным ссылкам

Естественно, этот способ проверки работает, только если есть права доступа к сайту. Чужой ресурс не получится проанализировать таким образом.

Читайте также: 26 полезных функций «Яндекс.Вебмастера»

Системы веб-аналитики

Самые популярные счетчики веб-аналитики тоже могут помочь обнаружить проблемы с работоспособностью ссылок.

Само по себе количество ошибочных переходов (на страницу 404) можно увидеть в отчетах:

• Яндекс.Метрики: «Содержание» → «Заголовки страниц».
• Google Analytics: «Поведение» → «Контент сайта» → «Все страницы» (выбрать параметр «Название страницы»).

Важно: при условии, что 404-страница имеет отличный от других title. Еще она, скорее, будет выделяться и в отчетах «Страницы выхода». Там как раз можно увидеть, насколько битые ссылки ухудшают юзабилити сайта.

В конструкторе Nethouse, например, заголовок 404 страницы по умолчанию выглядит так. По нему можно увидеть нерабочие URL

Кстати, с помощью Click.ru вы можете спарсить метатеги и заголовки с любого сайта. Первые 500 запросов — бесплатно. Дальше от 0,04 р. за запрос.

Отследить, где именно находится битая ссылка, немного сложнее. В Яндекс.Метрике для этого нужно:

1. Создать цель JavaScript-событие с идентификатором типа «error404», название сделать таким же.

2. Добавить в код страницы (XXXXXX — номер счетчика):

<script>
window.onload = function (){
ym(XXXXXX, 'reachGoal', 'error404');
}
</script>

3. Отслеживать в отчетах достижения этой цели по параметру «Страница входа».

Можно будет выбрать группировку по «Страница входа» и добавить метрику — «Целевые визиты» по указанному ID. Отчет покажет страницы, на которых срабатывала ошибка 404.

В Google Analytics можно сделать похожим образом, с помощью событий, или настроить специальный отчет (для этого проще взять шаблон Якова Осипенкова).

Пример отчета по битым внутренним ссылкам. «Страница» как раз показывает URL, который вызвал ошибку. (Для проверки внешних ссылок есть другой шаблон).

Эти фильтры Google Analytics тоже работают только в том случае, если 404-страница имеет уникальный заголовок (title).

Читайте также: 20+ ресурсов для обучения веб-аналитике: блоги, курсы, каналы, сообщества, рассылки

Сервисы комплексного SEO-анализа

Другой способ проверить сайт на битые ссылки — воспользоваться одним из сервисов для SEO-аудита.

Netpeak Spider предлагает найти не только broken links, но и дубли метатегов; проверить код сервера сервера, структуру сайта, редиректы, индексацию и др. Мощная фича: встроенный парсер для извлечения данных с различных ресурсов. Подписка стоит от 15 $ в месяц, есть бесплатный тариф.

Пример аудита от Netpeak Spider

Serpstat анализирует и битые ссылки, и битые картинки. И много чего еще делает: мониторит ссылочную массу, показывает ошибки в заголовках и метатегах, показывает позиции сайта в поисковиках и т. д. Подписка стоит от 55 $ в месяц, есть демо-доступ.

Так выглядит отчет Serpstat по URL с ошибками 404

Screaming Frog SEO Spider сканирует сайт и находит нерабочие ссылки, дубли, ошибки в метаданных, показывает структуру, анализирует редиректы, директивы и др. Лицензия на программу стоит 149 евро в год, однако поиск битых ссылок есть и в бесплатной версии.

Обзор 10 версии Screaming Frog

SEO Analysis & Website Review by WooRank отображает тайтл, дескрипшн и сниппет в Google, проверяет валидность Sitemap, мобильность, юзабилити, структурированные данные — и, конечно, битые ссылки тоже. Это расширение для Chrome, и оно бесплатное. (Правда, в отличие от других, подойдет только для небольших сайтов, так как надо анализировать постранично, вручную).

Оценка ссылок на странице от SEO Analysis & Website Review

Кстати, анализ битых ссылок может входить в функционал сервисов автоматизации рекламы и сквозной аналитики. Например, такая возможность есть у Alytics, Marilyn.

Специализированные инструменты

Вебмастерские, системы веб-аналитики, сервисы комплексного SEO-аудита не подходят — есть более узкие инструменты, заточенные чисто под поиск битых ссылок.

Xenu’s Link Sleuth — старая-добрая программа, проверяет сайты на наличие «сломанных» ссылок. Впрочем проверяет не только ссылки, но и изображения, фреймы, плагины, скрипты. Инструмент полностью бесплатный.

Так выглядит отчет Xenu’s Link Sleuth

Badlinks — онлайн-сервис, который предлагает как разовую, так и регулярную проверку «плохих» ссылок на сайте. Разовая стоит от 50 рублей, регулярная — от 250 рублей в год. Стоимость сильно варьируется, так как зависит от частоты анализа и размера сайта. Бесплатный поиск ограничен 10 страницами.

Так выглядит бесплатный отчет от badlinks.ru (хорошо видно, как всеми силами уговаривают пройти полную платную проверку)

Check My Links — расширение Chrome для поиска нерабочих ссылок на странице. Есть возможность скопировать весь список в буфер обмена, не учитывать ссылки на определенные домены, включить отслеживание nofollow. Инструмент абсолютно бесплатный.

Так выглядят результаты поиска в Check My Links (кстати, еще плагин подсвечивает их на самой странице)

Если работаете с Google Ads, обратите внимание на скрипт, который сканирует все посадочные страницы и сообщает о битых ссылках на почту. О других скриптах и том, как с ними работать, — в блоге Click.ru.

Читайте также: 35+ ресурсов для обучения SEO и развития в профессии

Мертвые или неработающие ссылки могут ухудшить рейтинг вашего сайта и его поисковую способность. Это связано с тем, что внутренние и внешние ссылки, которые приводят к ошибкам 404, влияют на статистику индексируемости вашего сайта.

Для небольших веб-сайтов менее 20 страниц устранение неработающих ссылок возможно, хотя и утомительно. Для больших сайтов выявление и исправление неработающих ссылок становится невозможным, особенно потому, что может быть сложно отслеживать состояния ссылок, когда веб-документы Chrome могут ссылаться на страницы с нескольких других сайтов.

Средство проверки неработающих ссылок – это специализированный инструмент, помогающий выявлять такие неработающие ссылки. Вы проверяете URL-адреса, чтобы получить отчет, в котором указаны все мертвые ссылки. Это позволяет вам решать и исправлять их.

Чем крупнее и развитее веб-сайт, тем сложнее становится обслуживание гиперссылок. Поскольку лишь немногие владельцы веб-сайтов могут позволить себе нанять людей для обслуживания, наш бесплатный онлайн-инструмент для проверки мертвых ссылок поможет вам:

• Проверка веб-сайта или блога на наличие неработающих гиперссылок. Вы можете бесплатно проверить до 150 ссылок; вы можете проверить неограниченное количество ссылок с любым из наших платных планов.
• Выявление ошибок и внесение предложений по оптимизации вашего веб-сайта.
• Сообщение о кодах ошибок для любых неработающих URL, включая ошибки 404 и 502 и переадресацию 301.
• Устранение проблем с удобством использования для конечных пользователей для устранения проблемных переадресаций.
• Предоставление ценных ссылок на ваш веб-сайт с помощью функций работы с неработающими ссылками.
• Предлагает полную функциональность без создания учетной записи или загрузки какого-либо программного обеспечения.
• Сканирование как внутренних, так и внешних гиперссылок.

Как использовать средство проверки неработающих ссылок

Использование нашего сканера неработающих ссылок для проверки работоспособности и SEO вашего веб-сайта так же просто, как копирование и вставка URL-адреса вашего веб-сайта. Вы можете просмотреть отчет нашего инструмента, выполнив 2 простых шага. Посетите нашу страницу определения URL для подробного объяснения этого основополагающего элемента вашего сайта.

Шаг 1. Вставьте URL-адрес

Отсканируйте URL-адрес главной страницы вашего веб-сайта, чтобы за считанные секунды проверить сайт на наличие неработающих входящих и исходящих ссылок. Если у вас есть высокорейтинговый контент блога, вы захотите проверить его следующим. Затем убедитесь, что все внутренние ссылки на другой контент работают должным образом. Затем запустите URL-адреса любых страниц, которые ссылаются на внешний контент, с помощью инструмента.

Обязательно скопируйте и сохраните результат каждой проверки для удобства использования. Вы можете запустить более одной проверки неработающих ссылок, прежде чем перейти к следующему шагу.

Наконец, проверьте любые другие URL-адреса, которые, по вашему мнению, важны для вашего сайта.

Часто сканируйте свой сайт. Частые проверки уменьшают мертвые ссылки, как внутренние, так и внешние. Почаще проверяйте, нет ли новых неработающих ссылок. Решите их, прежде чем они негативно повлияют на ваше SEO.

Шаг 2. Анализ результатов проверки неработающих ссылок

Вот фрагмент анализа результатов внешних ссылок из популярного блога WordPress с сотнями страниц:

Это только фрагмент. Массовый анализ результатов проверяет еще 13 внешних ссылок, 11 поддоменов и более 150 внутренних ссылок.

Чтобы понять анализ результатов, вы хотите видеть для каждой ссылки «200 OK». Перенаправление 302 допустимо, если после него следует «200 OK». Ищите любые ссылки, которые показывают ошибки «404» или «502».

Коды ошибок HTTP 404 Not Found означают, что веб-серверу не удалось найти запрошенный ресурс. Этим ресурсом может быть файл, изображение или другая веб-страница. Коды ошибок HTTP 502 Bad Gateway означают, что веб-сервер получил ошибочный или недопустимый ответ. Веб-сервер работает как прокси, когда получает недопустимый ответ от вышестоящих серверов.

Провести полный аудит для глубокого анализа

При анализе вашего URL-адреса вы также можете увидеть результаты, помеченные как коды состояния «4xx» или «3xx» или аналогичные. Сообщение с кодом состояния 4xx указывает на ошибки клиента. Они представляют собой группу кодов состояния HTTP для неправильного синтаксиса в запросе клиента на ресурсы. Причиной отказа в подаче запроса предположительно является ошибка клиента при отправке запроса.

Код состояния 3xx обозначает перенаправления, означающие, что клиент должен выполнить дальнейшие шаги, чтобы выполнить операцию запроса. Этот набор кодов состояния указывает, что пользовательский агент должен предпринять дальнейшие действия для завершения запроса.

Даже большие сайты получают эти ошибки. Вот как выглядит полный аудит для Facebook.

[URL-адрес изображения = “https://sitechecker.pro/wp-content/uploads/2022/04/broken_links_3.png” alt=”Полный аудит Facebook с многочисленными ошибками”]

Что такое неработающая ссылка (ошибка 404)?

Неработающая ссылка — это URL-адрес, который возвращает ответ, в котором говорится: «Страница не существует или не может быть найдена». Это означает, что любая страница, документ или изображение, запрашиваемая ссылкой, может не существовать. Таким образом, ссылка «мертвая». Это может быть как просто поврежденное изображение, которое больше не размещается на таких сайтах, как Filehippo, так и что-то более серьезное, например, домен с истекшим сроком действия.

Мертвые ссылки трудно исправить, потому что они невидимы для веб-администраторов, если они не проверяются. На большинстве бизнес-сайтов отсутствуют специалисты по веб-аналитике и программное обеспечение для отслеживания мертвых ссылок. Со временем, по мере того как веб-сайты и онлайн-топография меняются и развиваются, ссылки, которые, возможно, когда-то работали, незаметно перестают работать.

Пользователям будет все равно, работала ли ссылка раньше, только то, что она больше не работает. Поскольку у многих веб-администраторов есть другие обязанности, обслуживанием веб-сайта часто пренебрегают. Это приводит к неработающим ссылкам и грязной архитектуре веб-сайта.

Почему битые ссылки вредны для SEO?

Неработающие ссылки создают негативное впечатление у пользователей и означают, что веб-сайт не является надежным источником информации. Для пользователей обнаружение битых ссылок на сайте негативно влияет на их восприятие его качества и репутации.

Сканеры веб-поисковых систем и поисковые роботы проверяют и индексируют страницы. Затем они делают их доступными для пользователей. Зная это, легко понять, почему исправление мертвых и неработающих ссылок так важно для размещения на первых нескольких страницах любой поисковой системы.

Задача веб-мастеров и владельцев сайтов — убедиться, что никакие ссылки не ведут на несуществующие страницы и файлы по всему сайту. Пользователи ожидают, что любые внешние или внутренние ссылки, по которым они переходят, приведут их на соответствующую страницу.

Еще одна причина для устранения неработающих ссылок — оптимизация индексации поисковыми системами. Поисковая система использует для обновления и индексации веб-контента. Когда сканер веб-сайта поисковой системы (также называемый пауком) сканирует ваш сайт и находит слишком много неработающих и мертвых ссылок, это влияет на рейтинг вашего сайта.

Что вызывает неработающие ссылки?

Каждый день количество новых страниц, проиндексированных поисковыми системами, растет на тысячи, если не на десятки тысяч. Количество удаленных страниц и измененных URL-адресов одинаково, поскольку действующие веб-сайты меняют ЧПУ и контент, добавляют новые страницы и файлы и удаляют старые.

Ниже приведен список распространенных сценариев, которые могут привести к мертвым и неработающим ссылкам:

• Удаление старых страниц, файлов HTML, листов и документов, которые стали ненужными или лишними. Вы можете пренебречь обновлением ссылок на эти страницы во время разработки веб-сайта.
• Ссылка на внешнюю страницу с другого сайтас измененным URL-адресом если не выполняется перенаправление to прежний URL-адрес. Это может быть смена доменного имени, изменение структуры сайта или даже полное удаление страницы. Сайты могут перемещаться на доменные имена с «www» без настройки переадресации 301. Это прерывает любые ссылки на прежний URL-адрес на любом другом сайте в Интернете.
• Автоматическое обновление контента во внешних источниках может привести к ошибкам гиперссылок и неработающим ссылкам. Например, интернет-магазины и службы доставки, которые регулярно обновляют свои каталоги, могут привести к неработающим ссылкам. Проверьте свои страницы, если вы ссылались на продукты, которые с тех пор перешли на новые URL.
• Технический и структурный перевод веб-сайта может привести к неработающим ссылкам. Контент иногда реорганизуется в соответствии с новым стилем без учета существующих гиперссылок. Это особенно распространенная проблема для внешних ссылок. Реструктуризация может включать большое количество данных. И технические алгоритмы могут не учитывать все нюансы движущегося содержимого страницы. Это может повлиять на ваши внутренние обратные ссылки, если вы не будете осторожны при реструктуризации версии своего сайта.

Есть много других причин, по которым ссылки могут не работать, но мы определили наиболее распространенные причины выше.

Мы описали различные причины неработающих ссылок. Битые ссылки — естественный и неизбежный процесс создания веб-сайтов. Вы можете позаботиться о том, чтобы внутренние ссылки вашего сайта всегда работали. Но у вас нет возможности контролировать, что происходит с обратными ссылками на других страницах и веб-сайтах, на которые вы ссылаетесь извне.

Чем больше ваш веб-сайт, тем чаще вы ссылаетесь на другие внутренние и внешние источники. Внешние страницы, изображения, файлы, видео повышают вероятность того, что некоторые из ваших ссылок не работают. Лучшее, что вы можете сделать, это практиковать надлежащее обслуживание ссылочного.

Поисковые системы рассматривают ссылки, ведущие в никуда, как плохой знак. Это показывает, что ваш сайт плохо поддерживается и устарел. Они считают веб-сайты с большим объемом действующих ссылок актуальными и актуальными. Таким образом, надлежащая проверка и исправление ссылок необходимы для достижения и поддержания высокого рейтинга в поисковых системах.

Как исправить?

Наш инструмент проверки неработающих ссылок поможет вам определить, какие ссылки нуждаются в ремонте и обслуживании. Но вам нужно будет восстановить все неработающие ссылки, обнаруженные вручную. Например, вам может понадобиться связать устаревшую или консолидированную страницу Википедии с другим URL-адресом. Вам нужно будет вручную изменить URL-адрес неработающей ссылки, чтобы он указывал на новую страницу.

В этом видео вы узнаете, как начать работу:

Вам нужно будет восстановить или перенаправить неработающие ссылки на соответствующие замены. Вы можете улучшить навигацию и индексируемость, удалив мертвые ссылки. Это поможет вам восстановить «ссылочный капитал» и, возможно, повысить рейтинг.

Если одна из ваших ссылок не работает из-за несуществующего веб-сайта, у вас есть два варианта. Проверьте, существует ли веб-сайт, на который вы ссылаетесь. Если это так, попробуйте найти, куда внешняя страница могла переместить контент, на который вы ссылались ранее. Если нет, вы можете либо добавить ссылку на копию той же страницы, хранящуюся в веб-архиве, либо найти адекватную замену.

Если внешний сайт, на который вы ссылались, стал недоступен, проблема может быть временной. Веб-сайты часто отключаются из-за технического обслуживания, проблем с хостингом и даже случайных DDoS-атак. Особенно это касается сайтов крупных компаний и финансовых учреждений. Проверьте, был ли сайт недоступен в течение длительного периода времени. Проверьте прогноз, когда услуга вернется. Если его нет, подумайте о том, чтобы найти альтернативный веб-сайт для ссылки. Какой выбор вы сделаете, должен учитывать причину, по которой ваша ссылка не работает.

Веб-сайты, такие как блоги, могут начинаться с прямых путей к разным статьям из домена. По мере роста количества статей веб-администраторы сайта могут решить сгруппировать похожие статьи в категории. Это может изменить URL-адрес их статей. Вам нужно будет обновить пути для ваших ссылок, чтобы они приводили ваших пользователей на нужные страницы.

Если страница исчезла и вы не можете найти ей замену — вы мало что можете сделать; вам придется удалить неработающую ссылку. Чтобы избежать проблем с индексацией сайта из-за неработающих ссылок, обязательно закройте все неработающие ссылки в файле robots.txt вашего сайта.

Ищите потенциально перенаправленные домены, ссылки на которые вы не помните. Удалите или замените неработающие перенаправления, чтобы улучшить взаимодействие с пользователем. Это предотвратит плохие ссылки на вредоносные сайты, которые могут повредить вашему SEO. Другие веб-сайты, на которые вы ссылаетесь, могут не уведомлять вас о каких-либо изменениях на своих сайтах.

Вам нужно будет исправить настройки неработающей ссылки вручную. Но возможность с первого взгляда понять, с чего нужно начать, значительно экономит время. После исправления вы сможете предоставить посетителям вашего сайта гораздо более приятный и богатый контентом опыт — независимо от того, как они попали на ваш сайт. Кроме того, исправление неработающих ссылок повысит ваш рейтинг в поисковых системах. Это повышает вероятность того, что новые пользователи найдут ваш сайт. Больше посетителей увеличит ваш веб-трафик, продажи и доход. Возможно, вам придется подождать день или два после внесения исправлений, чтобы отразить новые результаты.

У нас есть более подробные статьи, за которыми вы можете следить. Они выявляют и устраняют проблемы с более сложными неработающими ссылками, связанными с неработающими файлами CSS или даже неработающим файлом JavaScript. Доступен полный набор инструментов поддержки SEO-анализа и автоматической оптимизации. Кроме того, существует множество руководств по каждому аспекту обслуживания веб-сайта.

Проверка битых ссылок

Введите URL-адрес

Кликнув на ссылку с количеством страниц вы откроете отчет с ссылками которые ведут на несуществующие страницы.

Как найти битые ссылки

Битые ссылки представляют собой URL, которые ведут пользователя на недоступные страницы. При переходе по такой ссылке отображается ошибка. В большинстве случаев, обнаружив битую ссылку на сайте, пользователь прекращает заходить на данный ресурс. Поэтому анализ сайта на наличие битых ссылок — чрезвычайно важная процедура, позволяющая вовремя исправить ошибки и не допустить снижения рейтинга страницы.

Основные причины появления неработающих URL:

• неправильно указан URL страницы;
• структура сайта была изменена;
• файл, на который ведет ссылка, был удален или перемещен;
• срок хранения файла, на который ведет ссылка, истек;
• адреса страниц, на которые ведет ссылка, были изменены;
• ресурс был заблокирован.

Как проверить сайт на наличие битых ссылок

Отчет позволит вам определить страницу донор, откуда проставлена ссылка, и анкор по которому она ссылается. Полученная информация упростит вам исправление или удаление битых ссылок.

С помощью сервиса Saitreport вы можете проверить на битые ссылки любой сайт. Такой способ проверки гораздо быстрее и эффективнее, чем самостоятельный поиск неработающих URL. Воспользоваться сервисом абсолютно просто:

• введите URL в строку анализа;
• запустите проверку;
• дождитесь результата.

Благодаря тщательному анализу, включающему в себя более двухсот параметров ресурса, вы получите удобный отчет со списком битых ссылок. Данный отчет можно выгрузить в формат .csv.

Результаты анализа кодов ответа будут представлены вам в виде ссылающихся страниц с указанием доноров и анкоров таких ссылок. Благодаря проверке битых ссылок на сайте Saitreport вы получите подробную информацию о ссылках, соответствующих коду ошибки 404, и рекомендации по их исправлению. Данные ссылки, в зависимости от причины их появления, можно удалить или исправить.

Заказ поиска битых ссылок на сайте Saitreport позволяет воспользоваться удобным онлайн-сервисом и получить подробные данные о состоянии сайта и угрозе снижения лояльности пользователей. Анализ страниц производится максимально быстро, поэтому вы можете выполнить большой объем работ и проверить до пятидесяти страниц, сэкономив свое время.

Поиск битых ссылок на сайте

Для чего предназначен сервис проверки «битых» ссылок?

Битые (неработающие) ссылки – это гиперссылки, которые ведут к несуществующим файлам или страницам сайта. Битые ссылки могут негативно влиять на юзабилити и ранжирование вашего сайта. Инструмент проверки битых URL позволяет искать все «мертвые» ссылки (отдающие ответ сервера «404 error not found») на вашем веб-сайте.

Как найти неработающие ссылки

Регулярная проверка качества битых ссылок необходима для эффективного продвижения сайта. С помощью нашего онлайн-инструмента вы можете бесплатно проверить до 500 страниц сайта и получить подробный отчет о наличии неработающих ссылок.

Неработающие (битые) ссылки – это URL-адреса, которые ведут пользователя на заблокированные или неактивные страницы. При нажатии на такую ссылку отображается сообщение об ошибке 404. В большинстве случаев, обнаружив большое количество неработающих ссылок на сайте, пользователь перестает заходить на этот ресурс, и поисковая система может понизить позицию такого сайта в результатах поиска. Поэтому анализ сайта на наличие битых ссылок является крайне важной процедурой, позволяющей вовремя исправить ошибки и предотвратить снижение позиций сайта.

Основные причины неработающих URL-адресов:

• неправильный адрес;
• изменилась структура сайта или был настроен ЧПУ;
• указанный файл был удален или перемещен;
• срок хранения файла, на который была установлена ссылка, истек;
• адреса связанных страниц были изменены;
• ресурс заблокирован.

Почему битые ссылки это плохо?

Три основных фактора:

• из-за большого числа неработающих ссылок посетители покидают сайт;
• поисковые роботы снижают в выдаче сайты с большим количеством битых ссылок;
• неработающая ссылка может существовать на сайте месяцами и годами, и тем самым снижать конверсию сайта.

Как проверить сайт на наличие неработающих ссылок

С помощью инструмента проверки битых ссылок можно проверить наличие «мертвых» ссылок на любом сайте. Этот способ проверки намного быстрее и эффективнее, чем поиск подобных URL-адресов самостоятельно. Как пользоваться сервисом:

• введите URL-адрес в адресной строке;
• запустите сканирование вашего сайта;
• ждете результата.

Всесторонние возможности отчета и анализа

Благодаря подробному анализу вы получите удобный отчет со списком неработающих ссылок. Этот отчет можно скачать в формате CSV для дальнейшей обработки в Microsoft Excel.

Результаты анализа кодов ответов сервера будут представлены вам в виде ссылок на страницы с донорами и анкорами таких ссылок. Проверяя неработающие ссылки, вы получите подробную информацию о ссылках, соответствующих коду ошибки 404, и рекомендации по их исправлению. Эти ссылки, в зависимости от причины их появления, могут быть удалены или исправлены на рабочие (с кодом ответа 200).

Ограничения сервиса

Сканирование и анализ страниц выполняется максимально быстро, поэтому вы можете выполнить большой объем работы и проверить до 500 страниц, сэкономив свое время.

Чтобы проверить веб-сайты с количеством страниц от 500 и более, используйте наш бесплатный инструмент – программу SiteAnalyzer >>

Когда веб-страница отдаёт код ответа сервера, отличный от 200 ОК, это значит, что она может выпасть из индекса поисковых систем — Яндекса или Google. Наш сервис позволяет быстро заметить проблему.

Зачем и когда использовать инструмент?

Проверка ответов сервера — это контроль работоспособности. Если страница недоступна для пользователей и поисковых роботов, это негативно сказывается на SEO. Проверить статус документов полезно после изменения структуры сайта, технических работ, а также при падении трафика.

Также важно мониторить код во время рекламных кампаний. Если объявление ведет на недоступную страницу, реклама не работает, а бюджет расходуется впустую.

Как пользоваться инструментом

Введите список адресов или загрузите файл в формате CSV. Укажите правильные URL. Например, http://example.com.

Инструмент бесплатный. За проверку 1 URL списывается 1 лимит.

Результат отображается в сервисе, также его можно скачать на компьютер в CSV-файле. В таблице представлен код ответа, URL переадресации, размер.

Перечислим популярные коды ответа сервера:

200 — страница доступна, запрос обработан успешно.

301 — редирект, страница перенесена на другой URL.

302 — страница временно перенесена на новый URL, но контент индексируется по старой ссылке.

400 — синтаксическая ошибка в запросе.

401 — требуется авторизация пользователя.

404 — ошибка, страница не найдена.

410 — документ удален навсегда.

429 — превышен лимит запросов.

503 — ошибка, запрос не обрабатывается из-за технических проблем.

Преимущества сервиса

Простой и точный.

Позволяет проверить до 100 адресов за одну интерацию.

Называет URL переадресации.

Определяет размер документа.

Полезен SEO-специалистам, вебмастерам, интернет-маркетологам для отслеживания доступности веб-страниц.

Дополнительные инструменты

Другие инструменты Пиксель Тулс, которые могут быть вам полезны:

Комплексная оценка текста. Сервис проверяет текст на заспамленность, количество стоп-слов, естественность по закону Ципфа, определяет частотность основных слов, формирует семантическое облако.