|
иван я 17 / 17 / 16 Регистрация: 15.12.2012 Сообщений: 536 |
||||
|
1 |
||||
Создать карту сайта27.12.2016, 16:11. Показов 2426. Ответов 2 Метки нет (Все метки)
Использую онлайн сервис для создания карты сайта, сервис мне выдает вот такую ошибку: на стартовой странице не обнаружено ни одной доступной ссылки. Почему? вот код стартовой страницы index.html
c картой сайта столкнулся первый раз так что не судите строго.
__________________
0 |
|
Заблокирован |
|
|
27.12.2016, 16:13 |
2 |
|
иван я, сервис рассматривает хтмл код страницы со стороны пользователя те вот это но такая настройка сайта бэд для гугляндекса подправь хатеск
0 |
|
17 / 17 / 16 Регистрация: 15.12.2012 Сообщений: 536 |
|
|
30.12.2016, 14:57 [ТС] |
3 |
|
abrdabr, что такое хатекс? и как его подправить?
0 |
|
IT_Exp Эксперт 87844 / 49110 / 22898 Регистрация: 17.06.2006 Сообщений: 92,604 |
30.12.2016, 14:57 |
|
3 |
-
chikchirik
New Member
Пользователи- Регистрация:
- 23 авг 2017
- Сообщения:
- 6
Поиск ошибки не дал результатов.
При парсинге сайта во вкладке Ссылки, первая страница парсится удачно, а последующие парсер видит как предыдущую и выдаёт сообщения «Не найдено ни одной новой ссылки». Стоит галочка DOM ссылки
пример ссылки для парсинга Ссылки недоступны для гостей -
chikchirik
New Member
Пользователи- Регистрация:
- 23 авг 2017
- Сообщения:
- 6
Увеличил таймаут проверки загрузки, заработало, послежу ещё
-
Root
Администратор
Администратор- Регистрация:
- 10 мар 2010
- Сообщения:
- 14.805
- Город:
- Барнаул
Здравствуйте.
Ссылки недоступны для гостей
-
chikchirik
New Member
Пользователи- Регистрация:
- 23 авг 2017
- Сообщения:
- 6
Здравствуйте,
Спасибо, карта сайта если что пригодится, но она у них давно не обновлялась и новых товаров там нет
Таймаут проверки в итоге работает через раз -
Root
Администратор
Администратор- Регистрация:
- 10 мар 2010
- Сообщения:
- 14.805
- Город:
- Барнаул
Ссылки недоступны для гостей первое видео
-
Deonis062
New Member
Пользователи- Регистрация:
- 29 мар 2020
- Сообщения:
- 8
- Город:
- Барнаул
Добрый день! Антологичная проблема — интернет магазин минилаб раздел металоискатели, сгенерированы ссылки по пагинации, выставленна глубина ссылок 5-5, при парсинге собираются ссылки с первой страницы на других соответственно ошибка: Не найдено ни одной новой ссылки
**Скрытое содержимое: доступно при наличии 1 постов.**
В настройках фильтра указаны только глубина ссылок (на товар).
Лог: Ссылки недоступны для гостей -
Root
Администратор
Администратор- Регистрация:
- 10 мар 2010
- Сообщения:
- 14.805
- Город:
- Барнаул
Ну так то верно, зачем разбираться в URL. Зачем понимать, что для обычного запроса все, что после символа решетки — безразлично.
**Скрытое содержимое: доступно при наличии 1 постов.**
-
Deonis062
New Member
Пользователи- Регистрация:
- 29 мар 2020
- Сообщения:
- 8
- Город:
- Барнаул
1. Откуда взялась данная ссылка?
2.При переходе какая то кракозябра
3. По шрифту я вижу что для вас это какой то тупой вопрос как для разработчика но во всех инструкциях о данной проблеме не слова я за последнию неделю около сотни видео просмотрел но тщетно, аналогичная проблема была и с сайтом ДНСом, если затрудняетесь объяснить дайте ссылку на паблик где можно разобраться с данной проблемой -
Root
Администратор
Администратор- Регистрация:
- 10 мар 2010
- Сообщения:
- 14.805
- Город:
- Барнаул
1) Ссылка берется из монитора сети Firefox Ссылки недоступны для гостей
2) Это не «кракозябра», а JSON ответ с нужными данными
3) Закономерное явление, столько отвечать на форуме на одни и те же вопросы без какой-то дополнительной оплаты. Странно, что еще отвечаю. Это не призыв платить, за ответы на форуме, просто поясняю ситуацию. Такая деформация поведения является закономерной в таких вот условиях. -
Deonis062
New Member
Пользователи- Регистрация:
- 29 мар 2020
- Сообщения:
- 8
- Город:
- Барнаул
Хорошо вопрос такой сколько будет стоить видео запись от А до Я по полному парсингу подобных сайтов? нужно разбираться а то год когда она просто мертвым грузом весит как то не ахти
Ну и с вас я думаю это большинство вопросов снимет можете отправлять по ссылкеПоследнее редактирование: 8 апр 2020
-
Root
Администратор
Администратор- Регистрация:
- 10 мар 2010
- Сообщения:
- 14.805
- Город:
- Барнаул
Видео с подобными темами полно, в системе помощи материалы есть по данным вопросам. Но вот досада, они не помогают большинству людей.
-
Deonis062
New Member
Пользователи- Регистрация:
- 29 мар 2020
- Сообщения:
- 8
- Город:
- Барнаул
Я встречал вычесление отдельных элементов (как например в вашем видео Связной где вы показываете как правильно делать ожидание загрузки сайта и с кнопкой корзина), а так же видео когда при переходе не менялась ссылка, но вот оч много сайтов это как раз как пример с минилабом dns, м-видео и еще куча, когда вроде и ссылка меняется и вроде все ок и html теги вроде есть но ни чего хорошего не происходит, видео полезно по крайней мере научился парсить некоторые сайты (то что после посещения этих сайтов почему то хочется помыть руки я промолчу) это не бесполезный труд. Но большинству необходим пример, привычка учится усваивать по видео 10 раз сделал по видео далее сам. Прога действительно хорошая и аналогов не видел но звезда какая сложная)
-
AlexandrSorokin
Active Member
Пользователи- Регистрация:
- 27 ноя 2018
- Сообщения:
- 71
- Город:
- Пермь
Конкретно по сборку ссылок в категории.
Можно сделать парсинг ссылок, не используя сканер.Генерируете список
num — от 1 до 15
key — #/page-Ссылки недоступны для гостей
Далее выбираете границу парсинга — ссылка на товар и запускаете в 1 поток с интервалом 1 секунда, потому что сайт будет банить за частые запросы.
В идеале парсить со ссылки, которая будет показывать все товары, благо есть такая кнопка на странице.
Конкретно у металлоискателей такая Ссылки недоступны для гостейВо вложении настройка и пример парсинга. Все ссылки собраны
Вложения:
Последнее редактирование: 9 апр 2020
-
Kreol
Модератор
Команда форума
Модератор- Регистрация:
- 6 янв 2013
- Сообщения:
- 2.645
Можно, если пользоватся Generate и несколькими последовательными шабьлонами, при этом начальные ссылки собрать руками
Поделиться этой страницей
Выполните пошагово все следующие инструкции.
- САМАЯ ЧАСТАЯ ПРИЧИНА ERROR-ов — ссылки находятся между тегами NOINDEX или теги NOINDEX расставлены некорректно (например, два раза открываются, а закрываются только один раз). Откройте исходный код вашей страницы в браузере и посчитайте количество открытых NOINDEX (<noindex>) и закрытых (</noindex>). Количество должно совпадать. Если количество совпадает, то проверьте, не находятся ли ссылки внутри noindex, чтобы не было такой конструкции: <noindex>ССЫЛКИ</noindex>.
- Проверьте, находятся ли ссылки в индексируемой зоне доступного для индексации поисковыми системами документа. Если ссылки закрыты от индексации одним из следующих способов, они не будут найдены роботом нашей системы.
- Ссылки закрыты от индексации с помощью тегов
<noindex>,<!--noindex-->,<script>,<frames>,<applet>,<embed>,<object>, тегов форм или комментариев. - Страница, на которой размещаются ссылки, закрыта от индексации в файле
robots.txtили в метатегах. - К коду ссылки дописывается атрибут nofollow.
- При проверке наличия ссылок на страницах, робот получает отличный от 200 код ответа в HTTP заголовках Вашего сервера.
- Ссылки не размещены внутри тега бегущей строки
<marguee>. - Ссылки размещены за пределами тегов
<html>и<body>. Для корректной проверки ссылок теги<html>и<body>должны встречаться в коде страницы один раз и ссылки должны быть размещены между этими тегами. Если это не так, вам нужно исправить ситуацию: поместить ссылки внутрь тегов. Если у вас отсутсутствуют эти теги, добавьте их. Т.е. правильное размещение ссылок должно быть такое:<html> <body> <!-- ссылки --> </body> </html>
- Ссылки закрыты от индексации с помощью тегов
- Возможно движек вашего сайта (или какой-то установленный модуль) автоматически закрывает внешние ссылки в теги noindex или дописывает атрибут nofollow к ссылке. Часто ссылки таким образом закрываются только от роботов (и в том числе от нашего робота). В этом случае вам следует отключить применение подобных модулей для наших ссылок.
- Проверьте, соответствует ли кодировка, указанная в метатегах страницы, кодировке
windows-1251. Если кодировка отличается, проследите, чтобы она же была указана в коде вызова ссылок, который вы вставляете на страницы. В случае, если, например, Ваш сайт использует кодировкуUTF-8, необходимо в исходном коде вывода ссылок строку<?php $sape = new SAPE_client(); ?>изменить на:
<?php $o = array(); $o['charset'] = 'UTF-8'; $sape = new SAPE_client($o); unset($o); ?>Для любой другой кодировки действия аналогичны. Так же проверьте, что кодировка указана в мета-тегах страницы.
В некоторых броузерах стоит автоопределение кодировки, поэтому, чтобы убедиться, что с кодировкой все в порядке, укажите кодировку в браузере принудительно (обычно она задается Вид->Кодировка-> Указываете нужную кодировку).
Некоторые кодировки, не поддерживают кириллические символы — и в error уходят только ссылки, содержащие русские буквы. Например, не поддерживает кириллицу кодировка
ISO-8859-1илиwindows-1252. - Проверьте, чтобы исходный код ссылки в точности соответствовал тому, который в файл
links.dbзагружает система. Зачастую, некоторые CMS подставляют свои стили в ссылки, или, например удаляют двойные пробелы и т.п. Наш робот ищет точное соответствие, т.е. если в ссылке изменился хотя бы один символ, она не будет найдена. - Возможно, Ваш сервер не верно или в нестандартном формате возвращает переменную окружения
HTTP_HOST(такая проблема часто возникает, если сайт имеет алиасы, зеркала или «висит» на нестандартном порту). Для того, чтобы в явном виде передать правильное значение в сервисный скрипт, необходимо в коде вызова ссылок (который Вы вставляете на страницы сайта) строку<?php $sape = new SAPE_client(); ?>изменить на:
<?php $o = array(); $o['host'] = 'имя_вашего_домена_без_http://'; $sape = new SAPE_client($o); unset($o); ?> - Возможно, проблема в том, что в тексте страницы есть неизвестные спецсимволы (обычно они отображаются «вопросами»), которые при разборе страницы роботом вызывают ошибку (http://ru.php.net/manual/ru/function.iconv.php) — то есть роботу видна часть страницы до спецсимвола. Единственный способ решения проблемы — очистить страницы от этих символов.
После выполнения всех вышеперечисленных проверок и рекомендаций при следующей проверке наличия ссылок нашим роботом, скорее всего, они будут найдены. В противном случае Вы можете обратиться за помощью в форму обратной связи, мы постараемся Вам помочь. Перепроверки Error ссылок происходят автоматически, несколько раз в течение суток.
При обращении, пожалуйста, укажите следующее:
- cайт, на котором возникла проблема;
- находятся ли ссылки внутри тегов
<html>и<body>; - кодировку сайта (совпадает ли она с кодом вызова ссылок);
- содержатся ли ссылки в файле links.db;
- стоят ли на папку права 777;
- выводятся или нет ссылки на сайт;
- прописан хост или нет (о том как прописать хост смотрите выше, пункт № 6)
- какая ошибка указывается при нажатии на статус ERROR.
Например:
site.ru
ссылки находятся внутри html и body
UTF-8, в коде внесены изменения
В links.db ссылки содержатся
Права 777 стоят
Ссылки на сайте выводятся
Хост прописан
При нажатии на статус ERROR выводится сообщение «Ссылки не найдены на странице»
Заголовок публикации отображает ответ системы в панели управления нового вебмастера Гугл.
Если ваш взгляд «спотыкался» на этом месте, то, скорее всего, вы начинали проверять свои:
- плагин Google XML Sitemaps;
- саму карту sitemap.xml по адресу сайта
После всех проверок получалось, что все вроде бы работает, а вебмастер, после добавления
новых страниц, упорно пишет:
У меня так и было.
Впервые обратил внимание на это предупреждение при отправке в индекс новых публикаций сайта на Битрикс.
Там плагина нет, но в модулях проверил, перепроверил, запустил создание нового файла карты, подождал некоторое время – в Google вебмастере по-прежнему: «…но ее нет в файле Sitemap».
Еще думал – возможно, только Битрикс не «отсвечивает» свои страницы в Sitemap, но оказалось и карты сайтов на WordPress не видит вебмастер.
Решил, что это сбой у Гугла (и там сбои бывают), не буду обращать внимания. Тем более что в поиске Google все эти страницы присутствуют.
Решил – забыл. Но ненадолго…
Практически каждый день приходится что-то добавлять в вебмастера, и это предупреждение постоянно смущает!
Нужно поинтересоваться у всезнающего Интернета – зашел, спросил.
А там уже давно это обсуждают и очень многие не могут понять «…а в чем же дело?». Все так же перепроверяют, поломок не находят, спрашивают на форумах, строят догадки.
Среди всего попался мне и ответ – смотрите ниже, в конце публикации: «Специалисты Google объяснили, почему…»
Но Гугл и Яндекс, не гарантируют индексацию их всех (страниц) именно с карты xml сайта.
То есть – страница и без карты проиндексируется и попадет (если она качественная) в поиск, а вот индексировать ее в файле Sitemap совсем и не обязательно. В первую очередь это касается страниц с малозначительным контентом. Я так понимаю – это не плохие страницы, а просто не несущие новой полезной информации.
Например, карточки товаров в интернет-магазине – в одном разделе может быть с десяток совершенно одинаковых вещей с разницей в 1 пункте характеристик.
На информационном сайте или блоге – короткие новости, уже размещенные в Интернете, копированные или неуникальные обзоры.
И так – я не могу утверждать, что представленный ответ является 100% ответом специалистов Google – информация взята с просторов Интернета. Но я успокоился и больше не «спотыкаюсь» на этом сообщении системы «Страница проиндексирована, но ее нет в файле Sitemap».
У вас есть свое мнение, информация? – пишите в комментариях
А вы вообще пользуетесь вебмастером Google и новой версией Яндекс вебмастера?
Знаю, что некоторые владельцы сайтов только слышали о них…
Кстати, давно обещал, пора бы уж и написать:
о новой версии Search Console (панель управления Google Webmaster Tools), а то старую скоро совсем отключат.
Так что не пропускайте, подписывайтесь и до встречи!
Если статья была интересна для вас — ей можно поделиться
Количество просмотров: 3 394
Пользователь — человек привередливый во многих отношениях. В том числе, привередливый к поиску нужной ему информации. Интернет открывает для нас множество дверей, за которыми скрывается массив данных, необходимых услуг и прочее. Любое слово, изображение, неверно расположенная кнопочки может спугнуть его. Что уж говорить о странице ошибки 404. Даже самый пытливый ум стремиться как можно скорее закрыть эту страницу и перейти к другому сайту. Почему? Потому что сложно и ресурсозатратно… И что остается владельцу сайта? Как красиво преподнести ошибку, чтобы у пользователя осталось только приятное впечатление и желание подробнее ознакомиться с вашим ресурсом?
Коротко напомню о том, что такое ошибка 404 и с чем её едят
404 Page Not Found (она же – ошибка 404 или «страница не найдена») – это код состояния, в котором пребывает HTTP. Для самых любопытных: первая цифра кода “4” – обозначение неточности со стороны пользователя, а именно неверно введенный URL или попытка открыть уже/ещё несуществующую страницу; код “04” – тот самый “Not Found”, а именно вполне конкретная ошибка.
Почему данная страница “неожиданно” появляется перед пользователем?
- Сайт удален и больше не работает. В этом случае вам, как владельцу, переживать не о чем, если только у вас не появился новый сайт, до которого пользователь ещё не дошёл;
- Сайт находится в разработке. Тут необходимо красиво подойти к “диалогу” с пользователем и уведомить его о том, что в скором времени он может вернуться. Главное, сделать это так, чтобы ему захотелось это сделать;
- Проблема в написании ссылки;
- URL страницы изменился.
Рассмотрим 404 ошибку глазами обычного посетителя
Первый вопрос, который приходит на ум, когда всплывает неопознанная ошибка: «Что мне со всем этим дальше делать?». Если решения на горизонте не видно, проще всего попрощаться со страницей и открыть другую. Но! Это лишь в том случае, если не будет чего-то интересного, что смогло бы меня удержать. Вполне очевидное решение — сделать эту страницу интересной и не вызывающей отторжения.
“Авторская” страница ошибки 404 должна выполнять всего несколько функций:
- иметь красивый вид, не отпугивать внимание и заинтересовывать;
- отвечать на тот самый вопрос “И что же мне делать дальше?”;
- включать в себя работу SEO.
«Чек-лист» дружелюбной ошибки
Приведем что-то вроде «Чек-листа» для создания дружелюбной страницы, сообщающей пользователю о том, что «что-то пошло не так»:
- Будьте открытыми и готовыми помочь пользователю справиться с ошибкой, с которой он столкнулся не по своей вине.
- Не нужно заумничать и вдаваться в техническое объяснение ошибки. Как минимум, это совершенно непонятно «непосвященном», максимум – раздражает непонятностью. Не обязательным становится даже употребление цифр “404”, главное просто и доступно объяснить, по какой причине пользователь мог оказаться “здесь” и “сейчас”.
- Объясните, что нужно сделать. Например, проверить адрес ссылки.
- Не забывайте про стиль вашего сайта. Так у пользователя заранее будет сформировано доверительное отношение к странице, потому что стиль “ошибки” будет знаком.
- Принимая всё вышеперечисленное, не нужно пичкать страницу большим количеством текста, ссылками, изображениями. Это страница ошибки, страница, которая “не найдена”, но никак не одна из нормальных страниц сайта.
- Будьте изобретательными и позитивными. Самый лучший способ удержать пользователя на страницах своего сайта — привлечь его внимание. Лучше всего с этим справляется забавное, иногда каламбурное, оформление.
- Всегда выручает строка поиска, которая:
А.удержит пользователя;
Б.поможет ему всё-таки отыскать то, что он искал.
- Не забывайте про SEO. Максимально важно сократить, а в лучшем случае — вовсе исключить появление некорректных URL, приводящих к ошибке 404
- И вашим, и нашим. Дайте пользователю возможность сообщить о трудностях, с которыми ему пришлось столкнуться. Например, предложите ему нажать перейти на главную страницу по этой кнопке, тем самым сообщив об ошибке.
На примерах
Приведу примеры самых приятных ошибок, которые приходилось встречать.
Вы создали карту сайта, загрузили ее в Google Search Console, но файл не получил статус «Успешно» или «Ок»? А, может, отчет о файлах Sitemap выглядит хорошо, но поисковикиигнорирует ваш файл Sitemap и не собирается индексировать многие страницы из карты сайта. Возникает вопрос, можно ли что-нибудь сделать для улучшения статистики индексирования. Отвечаем — можно, и даже расскажем, как это сделать.
Если у вас еще нет карты сайта и вы хотите узнать, зачем она нужна, ознакомьтесь с нашим вводным интенсивом по созданию файла Sitemap. Здесь мы расскажем о преимуществах использования карты сайта и действенных рекомендациях по работе с ней. Если вы пока не знаете, для чего используют теги <loc> и <lastmod>, что такое карта сайта для видео или файл индекса Sitemap, вводное руководство вам точно пригодится.
В первой части этой статьи перечислены все ошибки, с которыми вы можете столкнуться в отчетах о файлах Sitemap в Google Search Console. Если же вы ищете способ устранить конкретные проблемы, воспользуйтесь содержанием, чтобы перейти к интересующим вас ошибкам.
Во второй части — рекомендации, которые помогут вам извлечь максимальную выгоду из карты сайта. Вы узнаете, как найти мусорные страницы в файле Sitemap, где искать страницы, которые вы могли пропустить и не добавить в карту сайта, и как заставить поисковик проиндексировать как можно больше страниц из файла Sitemap. Поэтому очень советую всем внимательно ознакомиться со второй главой этой статьи.
Исправление ошибок в отчете Sitemap
После загрузки карты сайта в Google в столбце «Статус» можно увидеть, удалось ли поисковику обработать файл. Если ваш файл соответствует всем правилам, появится статус «Успешно». В этой главе мы рассмотрим другие статусы, а именно «Не получено» и «Обнаружены проблемы».
Проблемы со сканированием вашего файла Sitemap
Начнем с самого худшего сценария, когда поисковик не может обработать файл Sitemap. Сначала разберемся с Google — что делать, если статус вашей карты сайта «Не получено».
В этом случае вам придется использовать «Инструмент проверки URL», чтобы выяснить, что может быть причиной проблемы. В инструменте нажмите кнопку «Проверить страницу на сайте» и посмотрите статус получения страницы. Если написано «Успешно», значит ошибка на стороне Google.
Если Google не удалось получить вашу карту сайта, убедитесь, что ничто не блокирует доступ к файлу Sitemap — будь то директивы robots.txt или плагины CMS (да, иногда виноваты они!). Также проверьте, правильно ли введен URL-адрес карты сайта — обратите внимание на протокол и префикс www.
Ошибка «Не получено» может возникнуть как при загрузке отдельной карты сайта, так и в случае загрузки в Google Search Console файла индекса Sitemap. Проблему нужно решить так же, как и с одной картой сайта.
Ошибки в файле индекса Sitemap
Теперь перейдем к случаям, когда поисковики просканировали добавленный вами файл и обнаружили ошибки. И начнем мы с ошибок файла индекса Sitemap.
Файл индекса Sitemap содержит ссылки на несколько карт сайта — поисковой системе необходимо обработать их все, чтобы наконец получить доступ к URL-адресам вашего сайта. В Google Search Console вы получите ошибку «Неполные URL в файле индекса Sitemap», если поисковик не сможет обработать URL-адреса, перечисленные в файле индекса Sitemap. Обычно это означает, что Google не удалось найти одну или несколько ваших карт сайта, потому что вы использовали относительные URL-адреса. Все URL-ы, которые указывают на отдельные карты сайта в файле индекса Sitemap, должны быть абсолютными, иначе Google не сможет их найти.
Кроме того, в вашем файле индекса Sitemap не должны быть указаны другие файлы индекса Sitemap, а только карты сайта. Если вы сделаете так, то получите сообщение «Вложенные файлы индекса Sitemap» в Google Search Console.
И последняя ошибка. В Google она звучит так «Слишком много файлов Sitemap в файле индекса». Это происходит с огромными сайтами, которые содержат более 50 000 карт сайта в одном файле.
Недопустимый размер файла Sitemap и ошибки сжатия
Ограничения по размеру применяются как к файлам индекса Sitemap, так и к отдельным картам сайта. Размер файла Sitemap в несжатом виде не должен превышать 50 МБ, а в карте сайта не должно быть более 50 000 URL-адресов. Если вы не соблюдаете эти правила, то получите ошибку «Превышен максимальный размер файла Sitemap» в Google. Узнать больше о том, как разделить карту сайта на несколько файлов, можно из нашего полного руководства по созданию файла Sitemap.
Карта сайта должна не только не превышать допустимые размеры, но и не быть пустой. Если вы загрузите пустой Sitemap, то получите соответствующую ошибку в консоли.
Я говорила, что допустимый размер карты сайта в несжатом виде должен быть меньше 50 МБ, но часто файлы Sitemap сжимают для экономии пропускной способности канала. Обычно для этой цели используют инструмент gzip, который добавляет расширение gz к файлу. Сообщение об ошибке сжатия или разархивирования в отчете означает, что что-то пошло не так во время процесса сжатия, и вам нужно сделать это еще раз.
Проблемы со сканированием URL-адресов в карте сайта
По ряду причин поисковики могут не просканировать некоторые URL-адреса, которые указаны в карте сайта. Давайте разберемся со всеми подобными ошибками.
«Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt» — ошибка довольно простая, поскольку поисковики укажут вам на заблокированные URL-адреса. Все зависит от того, хотите ли вы, чтобы эти URL-ы были проиндексированы. Если да, то вам придется снять блокировку, в другом случае необходимо удалить адреса из карты сайта.
Еще одна довольно очевидная проблема, которая не позволяет Google сканировать страницу, — это код ответа, отличный от 200 ОК. В отчете поисковиков это называется ошибкой HTTP, и точный код указывается для каждой отдельной страницы. Кроме консолей вебмастеров, проверить коды ответа URL-адресов из вашей карты сайта можно с помощью инструмента «Аудит сайта» от SE Ranking.
Всю необходимую информацию ищите в разделе «Код ответа сервера».
Google также выделяет другие не такие очевидные и простые ошибки. Кратко пройдемся по каждой из них.
Ошибка «URL недоступны» означает, что поисковик обнаружил вашу карту сайта в указанном месте, но не смог получить все URL-адреса из списка. В этом случае вам снова нужно использовать «Инструмент проверки URL» и проверять доступность для сканирования каждого проблемного URL-а.
Ошибка «Переход по URL не выполнен» возникает либо из-за того, что вы использовали относительные URL-адреса в карте сайта вместо абсолютных, либо из-за проблем с редиректами. Цепочки и циклы редиректов, временные редиректы, которые используют вместо постоянного перенаправления, а также HTML- и JS-редиректы могут привести к этим ошибкам.
Google Search Console не указывает, что именно может быть причиной проблемы. Поэтому вам нужно использовать другие инструменты, чтобы понять, какие ошибки необходимо исправить. Например, в инструменте «Аудит сайта» SE Ranking есть специальный раздел «Редиректы», где можно проверить, есть ли на вашем сайте какие-либо проблемы с перенаправлениями.
Если инструмент обнаружит какие-либо ошибки, вы получите всю необходимую информацию по каждой из них — щелкнув на количество страниц, можно узнать, на какой странице есть проблема и как она связана с другими страницами сайта.
Ошибка «Нельзя использовать URL» означает, что ваша карта сайта содержит URL-адреса, которые находятся на более высоком уровне или в другом домене по сравнению с файлом Sitemap. Например, если ваша карта сайта находится по адресу: vashsajt.com/category1/sitemap.xml и вы добавили в нее страницу, адрес которой: vashsajt.com/stranitsa1, поисковики не смогут получить к ней доступ.
Что касается разных доменов, помните, что для Google версии сайта на HTTP и HTTPS, а также с www и без www считаются разными. Поэтому, если ваша карта сайта находится по адресу http://www.vashsajt.com/sitemap.xml, URL вида https://vashsajt.com/stranitsa1 будет считаться некорректным.
Если вы недавно перешли на HTTPS, обязательно создайте новую карту сайта с HTTPS URL-адресами. Инструмент «Аудит сайта» SE Ranking напомнит вам об этом.
Google считает, что вы указали неправильные URL
Также стоит обратить внимание на еще одну ошибку, которую выделяет Google. Если вы добавите URL без префикса www в свою карту сайта, адрес которой содержит www, вы получите ошибку «Несоответствующий путь». То же самое касается файла Sitemap с www и URL-адресом без соответствующего префикса. Даже если ваш сайт доступен как с префиксом www, так и без него, не нужно путать эти вещи в карте сайта. Если ваш файл Sitemap находится по адресу: https://example.com/sitemap.xml, ни один из URL-ов, которые она содержит, не должен включать www. Если ваша карта сайта находится по адресу: https://www.example.com/sitemap.xml, все перечисленные в ней URL-ы должны включать www.
Синтаксические ошибки в карте сайта
В большинстве случаев вам не нужно беспокоиться о синтаксических ошибках в карте сайта — создав файл Sitemap с помощью одного из специальных сервисов, вы можете быть уверены, что с тегами и атрибутами не будет проблем. Однако, если вы самостоятельно сделали карту сайта, то можете столкнуться с одной из ниже описанных ошибок.
- «Недопустимое значение тега». Значение тега — это то, что вы указываете между начальным и конечным тегами — URL-адрес между тегами <loc>, или дата, которую вы определяете с помощью тега <lastmod>. Ошибка возникает, когда вы указываете недопустимое значение в карте сайта, например, устанавливаете приоритет вне диапазона от 0,0 до 1,0.
- «Неверное значение атрибута». Значение атрибута указывается после знака равенства (=) в кавычках. В следующей строке кода перечислены различные языковые версии страницы в файле Sitemap.
<url><loc>https://example.com</loc><xhtml:link rel=”alternate” hreflang=”gb” href=”https://example.com”/><xhtml:link rel=”alternate” hreflang=”fr” href=”https://example.com/fr”/></url>
Здесь “alternate”, “gb” и “fr” являются значениями атрибутов, но “gb” используется неправильно. Вы не можете указать в hreflangs только код страны — он должен сочетаться с кодом языка, например, “en-gb”.
- «Неправильно введена дата». Все довольно просто — вы использовали неправильный формат даты для тега <lastmod>. Единственный допустимый формат:
2005-02-21 2005-02-21T18:00:15+00:00
- «Недопустимый URL». Как вы могли догадаться, эта ошибка означает, что нужно искать опечатки в добавленных URL-адресах. Напомню, что все URL-ы в вашей карте сайта должны быть абсолютными.
- Ошибки «Отсутствует атрибут XML» и «Отсутствует тег XML» тоже довольно очевидны. Отсутствие обязательных тегов и атрибутов (urlset, url, loc, xmlns) недопустимо — их нужно добавить, чтобы ваша карта сайта работала должным образом.
- «Недопустимый XML: слишком много тегов». Эта ошибка может возникнуть, если вы используете один из тегов несколько раз. Например, вы указали два разных адреса или две даты изменения для одного URL. В этом случае вам необходимо удалить повторяющийся тег.
<url> <loc>http://www.example.com/</loc> <lastmod>2021-01-01</lastmod> <lastmod>2021-02-01</lastmod> <changefreq>monthly</changefreq> <priority>0.8</priority> </url>
- «Неправильно указано пространство имен». Пространство имен, указанное в вашем теге <urlset>, должно быть одним из принятых протоколов. В настоящее время используется следующий протокол:
Обычные файлы Sitemap — xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9”
Файлы Sitemap для новостей — xmlns:news=”http://www.google.com/schemas/sitemap-news/0.9″
Файлы Sitemap для видео — xmlns:video=”http://www.google.com/schemas/sitemap-video/1.1″
Файлы Sitemap для изображений — xmlns:image:=”http://www.google.com/schemas/sitemap-image/1.1″
Напомню, что специальные карты сайта для новостей, картинок и видео поддерживает только Google.
Если вы использовали неправильный протокол для своей карты сайта, вы получите ошибку «Неподдерживаемый формат файла» в Google Search Console. Она также может появиться из-за других всевозможных синтаксических ошибок, таких как использование неправильных кавычек (принимаются только прямые одинарные или двойные), отсутствие тега кодировки или некорректный префикс UTF-8.
Также Google выделяет несколько ошибок, связанных с файлом Sitemap для видео: «Слишком большой/маленький значок видео», «Адреса видео и страницы воспроизведения совпадают», «URL видео указывает на страницу воспроизведения». Вы можете найти более подробную информацию об этих ошибках здесь.
Чтобы избежать синтаксических ошибок, перед отправкой файла Sitemap используйте один из сервисов проверки карты сайта, подобных этому. Инструменты будут выделять проблемы, которые необходимо исправить.
После устранения всех ошибок в файле Sitemap нужно повторно загрузить обновленную карту сайта в Google Search Console.
Такие действия заставят Google повторно просканировать ваш сайт и, наконец, проиндексировать страницы, которые они не смогли просканировать из-за ошибок.
Загруженные vs проиндексированные URL-адреса
Ваша карта сайта и файл индекса Sitemap могут получить статус «Успешно» или «Ок», но на этом ваша работа не заканчивается.
Давайте сначала разберем, что делать дальше в Google Search Console. Щелкните на значок диаграммы рядом с количеством выявленных URL-адресов, чтобы перейти к отчету об индексировании. Как только вы начнете анализировать его, вы скорее всего заметите, что не все отправленные страницы были проиндексированы.
Это нормально, когда страницы исключаются из индексации — Google не может оценить и проиндексировать все страницы вашего сайта, о которых он знает. Более того, почти на каждом сайте есть страницы, которые вебмастера не хотят индексировать: страницы защищенные паролем, служебные страницы и дубли. Что не нормально, так это наличие ошибок и предупреждений в вашем отчете об индексировании. Также недопустимо, чтобы количество исключенных страниц во много раз превышало количество страниц без ошибок.
Так почему же поисковики не могут проиндексировать страницы, которые были добавлены в карту сайта? В большинстве случаев это происходит, когда вы добавляете туда страницы, которых в карте сайта быть не должно. Возможно, поисковики просто не могут проиндексировать страницу из-за директивы noindex. Кроме того, поисковики могут запутаться, действительно ли вы хотите, чтобы страница была проиндексирована — например, когда вы добавляете неканонические страницы в карту сайта.
Все подобные ошибки можно найти в разных вкладках «Отчета об индексировании» в Google Search Console. Но их удобнее проверять с помощью инструмента «Аудит сайта» SE Ranking — если на вашем сайте есть подобные проблемы, вы легко найдете их все в разделе «Сканирование» в «Отчете об ошибках».
Удалите из карты сайта неиндексируемые и неканонические страницы. А если страницы были по ошибке помечены как неиндексируемые и неканонические, решите эту проблему.
Оптимизируйте карту сайта с подсказками от Google
Убедившись, что с вашей картой сайта все в порядке, изучите «Отчет об индексировании», чтобы найти случаи, когда ваше мнение о странице расходится с Google.
- На вкладке «Без ошибок, есть предупреждения» обратите внимание на страницы, которые были проиндексированы, несмотря на директиву noindex. Скорее всего, Google был прав, и вам нужно удалить тег noindex из этих страниц или из вашего X-Robots-Tag.
- На вкладке «Страница без ошибок» посмотрите внимательно на проиндексированные, но не отправленные в файл Sitemap страницы — вы можете добавить их в карту сайта, так как Google считает их качественными. В то же время, если Google проиндексировал ваше «Пользовательское соглашение», которое вы не включили в карту сайта, можно ничего не делать. Также следите за дублями страниц, которые были проиндексированы, но отсутствовали в вашей карте сайта — такие случаи часто возникают из-за проблем с пагинацией и обработкой параметров URL-адресов.
- Наконец, перейдите на вкладку «Исключено». Большинство страниц здесь исключены из индексации в соответствии с вашими собственными директивами, например старые страницы 404, страницы, заблокированные robots.txt, неиндексируемые и неканонические страницы. Обратите внимание на канонические страницы, которые Google решил не индексировать, — поисковая система считает, что на вашем сайте есть альтернативы получше. Тщательно изучите каждый случай и решите, действительно ли страница более ценна, чем ее дубли — исправьте свои теги canonical, если Google был прав. Если вы по-прежнему считаете, что страницу нужно проиндексировать, вам придется поработать над ее содержанием, профилем бэклинков и внутренней линковкой, чтобы убедить Google в обратном.
На вкладке «Исключено» можно увидеть еще две интересные категории страниц: «Просканированы, но пока не проиндексированы», и «Обнаружены, не проиндексированы». Оба типа обычно определяют некачественные страницы с малым содержанием, которые Google не хочет показывать пользователям. В первом случае страница была по крайней мере просканирована, а затем признана некачественной. А во втором случае поисковик даже не потратил краулинговый бюджет на страницу. Тщательно проанализируйте все такие страницы и посмотрите, что вы можете сделать, чтобы повысить их ценность: поработайте над контентом, взаимодействием с пользователем, внутренней линковкой и т. д.
Заключение
Благодаря разнообразию инструментов для создания карты сайта сделать файл Sitemap очень легко. Однако, если вы просто воспользуетесь одним из случайных инструментов и проигнорируете рекомендации по созданию карты сайта, то наверняка получите отчет о файле Sitemap с большим количеством ошибок, или отправите через карту сайта множество некачественных страниц на рассмотрение поисковикам.
Я надеюсь, что это руководство помогло вам исправить каждую ошибку в отчете о файле Sitemap. А воспользовавшись советами из второй части этого руководства, вы сможете оставить в карте сайта только качественные страницы и убрать все те, которые поисковики все равно не захотят индексировать. Если у вас остались вопросы, не стесняйтесь оставлять их в комментариях ниже.
Даша — контент-маркетолог и редактор в SE Ranking. Пишет статьи о SEO и диджитал-маркетинге. Любит разбираться в сложных вещах и описывать их просто и доступно. В свободное от блога время Даша путешествует, изучает искусство фотографии и посещает картинные галереи.
Ошибка 404, либо Error 404 Not Found — ошибка, которая появляется, если браузеру не удалось обнаружить на сервере указанный URL.
Сообщение об ошибке 404
Что означает ответ 404
Error 404 Not Found отображается по-разному: «HTTP 404 не найден», «Ошибка 404 Not Found», «404 Страница не найдена». Смысл надписи всегда остаётся тем же: страница отсутствует либо просто не работает. Not Found в переводе означает «не найдено».
Ошибка 404 — классический код ответа по протоколу HTTP. Он свидетельствует, что связь с сервером установлена, но данных по заданному запросу на сервере нет.
Однако если просто ввести в поисковую строку произвольный набор символов, то браузер не покажет ошибку 404 Not Found — появится сообщение, что установить соединение с конкретным сервером невозможно.
Разберёмся в техническом формировании ответа Error 404 Not Found.
Техническая сторона вопроса. При связи по HTTP браузер запрашивает указанный URL и ждёт цифрового ответа. То есть любой запрос пользователя направляется на сервер размещения искомого сайта. Когда браузеру удаётся связаться с сервером, он получает кодированный ответ. Если запрос корректный и страница найдена, отправляется ответ с кодом 200 OK, что соответствует благополучной загрузке. При отсутствии страницы отправляется ответ об ошибке.
Что значит код «404». В ответе 404 первая четвёрка указывает на то, что запрос был чрезмерно длительным или в самом адресе была ошибка. Ноль предполагает синтаксическую неточность. Завершающая цифра кода отображает конкретную причину ошибки — «4» означает отсутствие данной ссылки.
Какие ещё ошибки бывают. Ошибку 404 не нужно путать с другими ответами, которые указывают на невозможность связи с сервером. Например, ошибка 403 сообщает, что доступ к URL ограничен, а ответ «Сервер не найден» свидетельствует, что браузер не смог обнаружить место размещения сайта.
Google на 404 странице сообщает о возможных причинах ошибки
Причины ошибки
Причины, по которым HTTP возвращает ответ 404 Not Found:
- Неверный адрес. К примеру, при ручном наборе пользователь допустил опечатку в адресе либо ссылка ведёт на несуществующую страницу. При этом домен должен быть написан верно. Если пользователь ошибется в названии домена, страница вообще не загрузится (без показа ошибки).
- Битая ссылка. Это нерабочий URL, который никуда не ведёт. Данный вариант иногда возникает при внутренней перелинковке. К примеру, раньше страница существовала, а потом её удалили и забыли убрать ссылку.
- Удалённая страница. Когда пользователь попытается перейти на удалённую с сервера страницу, он также увидит ошибку 404. Ссылка для перехода может сохраниться в браузерных закладках или на сторонних ресурсах.
- Неправильный редирект на страницу с изменённым адресом. Допустим, в процессе редизайна URL изменили, но оставили без внимания связанные ссылки.
- Неполадки на сервере. Это самый редкий вариант.
В большинстве ситуаций ошибка 404 отображается, когда не удаётся обнаружить нужную страницу на доступном сервере.
Причины отсутствия страницы на сайте бывают разными
Возможные последствия для сайта
Нужно ли считать 404 ошибку опасной для сайтов? Кажется, что нет ничего плохого в том, что пользователь не смог открыть одну веб-страницу. Однако если такая ситуация будет повторяться регулярно, это чревато оттоком аудитории. Одни пользователи решат, что сайт вовсе не существует. Другие подумают, что лучше не заходить на сайт, который работает с ошибками. Третьи будут игнорировать ресурс, на котором не смогли получить обещанную информацию.
Поисковые системы относятся к Not Found более лояльно. Например, Google отмечает, что 404 страницы не влияют на рейтинг. Но если при индексации роботы будут находить все больше ошибочных страниц, вряд ли это приведёт к более высокому ранжированию.
Если вы хотите улучшить взаимодействие с посетителями, важно найти и исправить все ошибки 404 на сайте.
Как выявить ошибку
На небольшом ресурсе легко проверить работоспособность ссылок вручную. Но если на сайте сотни и тысячи страниц, без дополнительного софта не обойтись. Есть немало сервисов и программ, позволяющих находить битые ссылки. Рассмотрим некоторые из них.
Search Console Google
Консоль поиска Google позволяет находить страницы с ошибкой 404 за несколько кликов:
- Войдите в учётную запись Google и перейдите в Search Console.
- Откройте раздел «Ошибки сканирования» → «Диагностика».
- Кликните на «Not Found».
Чтобы получить список страниц с ошибками, подтвердите права на ресурс — добавьте проверочную запись TXT в записи DNS регистратора домена. Такая запись не повлияет на работу сайта. Подробнее о процедуре подтверждения, читайте в справке Google.
Для использования Search Console Google нужно подтвердить свои права на сайт
Яндекс Вебмастер
Сервис для вебмастеров от Яндекса поможет быстро найти все ошибки 404:
- Откройте Вебмастер после авторизации в Яндекс-аккаунте.
- Выберите «Индексирование» → «Доступные для поиска страницы» → «Исключённые страницы».
- В выданном списке выберите фильтр «Ошибка HTTP: 404».
Чтобы использовать Яндекс.Вебмастер, также нужно подтвердить право владения сайтом — добавить метатег в HTML-код главной страницы.
Для входа в Вебмастер авторизуйтесь в Яндексе
Screaming Frog
Для начала загрузите и установите программу на компьютер. После запуска добавьте URL проверяемого сайта и начните поиск проблем. Неработающие ссылки можно искать даже в бесплатной версии.
Инструмент SEO-паук в Screaming Frog помогает найти технические неисправности сайта
SiteAnalyzer
Эта бесплатная десктопная программа позволяет обнаружить технические погрешности на сайте. SiteAnalyzer быстро отыщет нерабочие и несуществующие ссылки.
SiteAnalyzer бесплатно найдёт неработающие URL
Как исправить ошибку Not Found
Выбор конкретного решения зависит от причины ошибки:
- Ссылка ведёт в никуда из-за неверного URL. Для решения проблемы замените ошибочную ссылку на правильный адрес, чтобы сервер отдавал код 200 OK.
- Битая ссылка. Подобная ситуация не редкость при внутренней перелинковке страниц. К примеру, ссылка есть, а саму страницу давно удалили. Решений два: удалить ссылку или заменить её на другую.
Удалять и менять ссылки вручную удобно только на небольших сайтах. Исправление ошибок на крупных порталах лучше автоматизировать. Например, с помощью специальных плагинов для внутренней перелинковки (Terms Description, Dagon Design Sitemap Generator) и для автоматического формирования адресов страниц (Cyr-To-Lat).
Чтобы ошибки 404 появлялись как можно реже, достаточно соблюдать простые рекомендации:
- Не присваивайте сложные адреса основным разделам сайта. Это снизит число ошибок, связанных с опечатками в URL.
- Не меняйте адреса страниц слишком часто. Это неудобно для пользователей и вводит в заблуждение поисковых роботов.
- Размещайте сайт на надёжном сервере. Это предотвратит ошибки, возникающие из-за неработоспособности сервера.
Мы разобрались, как найти и исправить ошибки Not Found внутри сайта. Но неработающая ссылка может быть расположена и на стороннем ресурсе. Допустим, когда-то на другом сайте разместили рекламную публикацию со ссылкой на определённую страницу. Спустя какое-то время страницу удалили. В этом случае появится ошибка 404. Устранить её можно, связавшись с администрацией ссылающегося сайта. Если же удалить/исправить ссылку нельзя, постарайтесь использовать ошибку с выгодой.
Как сделать страницу 404 полезной
Грамотно оформленная страница с ошибкой Error 404 Not Found — действенный инструмент конвертации посетителей. Ограничений по использованию страницы с ошибкой 404 нет. При этом практически все CMS позволяют настраивать дизайн этой страницы.
Что публиковать на странице 404:
- меню с кликабельными ссылками;
- ссылку на главную страницу;
- анонс последних публикаций;
- контакты для обратной связи.
При оформлении страницы-ошибки желательно опираться на рекомендации поисковиков:
- Яндекс настоятельно рекомендует, чтобы страница контрастировала с основным содержанием сайта — иные цвета, другие графические приёмы либо их отсутствие. Необходимо чётко и понятно объяснить пользователю, что запрошенной страницы не существует и предложить другое решение.
- Google советует придерживаться единого стиля оформления. Но также рекомендует понятно рассказать об ошибке и предложить полезные материалы.
Главное — по возможности отказаться от стандартной страницы 404. Подумайте, как привлечь внимание пользователя. Расскажите ему об отсутствии искомой страницы и предложите взамен что-то полезное или интересное.
Примеры оформления страниц 404
Designzillas
Мультяшная страница креативной студии привлекает внимание и её хочется досмотреть до конца. Если прокрутить страницу, можно увидеть, как из яйца вылупится дракон. При этом на странице есть ссылки на все основные разделы сайта.
Меню на сайте Designzillas есть и на 404 странице
Domenart Studio
Веб-студия «Домен АРТ» использует красочную страницу 404, оформленную в единой стилистике ресурса. Заблудившимся пользователям предлагают попробовать ещё раз ввести адрес или перейти в нужный раздел.
Контакты, поиск, меню — и всё это на 404 странице Domenart Studio
E-co
«Эко Пауэр», дистрибьютор производителя источников питания, демонстрирует короткое замыкание как символ ошибки. Посетителям предлагают перейти на главную.
Ошибка 404 «Эко Пауэр» выглядит как страница входа
Дом со всем
Компания «Дом со всем», занимающаяся бурением скважин, разместила на странице 404 свои контакты и перечень услуг. Со страницы можно перейти в любой раздел сайта или заказать обратный звонок. С таким наполнением посетителю не нужно искать дополнительную информацию где-то ещё.
Компания «Дом со всем» предлагает заказать обратный звонок
Kualo
Страница 404 на веб-хостинге Kualo может заставить пользователя забыть, зачем он сюда пришёл. Увлекательная игра притягивает внимание. В конце игры посетителю предлагают посмотреть сайт хостинга.
На странице Kualo можно просто поиграть и заработать скидки
Рано или поздно с ошибкой 404 сталкивается большинство сайтов. При регулярной проверке можно своевременно исправить неработающие ссылки, чтобы в ответ пользователи получали код 200 OK. Но для крупного ресурса лучше настроить оригинальную страницу, которая будет отображаться при появлении ошибки Not Found и подскажет посетителям, что делать дальше.
Главные мысли
Ошибка с кодом 404 появляется у пользователя при попытке открыть страницу, которой не существует на сайте. Виной тому может быть битая ссылка или просто неверно введенный адрес, однако сама проблема появляется довольно часто, так что вопрос, как исправить ошибку 404, возникает как у владельцев сайтов, так и у обычных пользователей.
Причины появления ошибки с кодом 404
Из описания выше вы узнали, что значит рассматриваемая ошибка, однако не совсем понятна картина того, как она может появиться. Существуют четыре основные причины, из-за которых вместо стандартной загрузки страницы и появляется соответствующее уведомление. Выглядят они следующим образом:
- Неверный адрес. Чаще всего появляется, когда юзер вручную вводит адрес страницы или пытается перейти в несуществующий раздел сайта.
- Удаленная страница. Иногда страницы удаляются с сайта его владельцем, однако из поисковика они не пропадают еще некоторое время. Кроме того, прямые ссылки могут храниться в закладках у некоторых пользователей. Соответственно, при переходе и появится соответствующее уведомление об ошибке сервера.
- Битая ссылка. Такая страница когда-то действительно существовала, однако сбой произошел при перелинковке, и теперь ссылка ведет в никуда, что и влияет на возникновение проблемы.
- Проблемы функционирования сервера. Последняя причина появляется крайне редко и связана со сбоями на сервере, где размещен сайт.
Казалось бы, все перечисленные выше причины схожи между собой, однако владельцу сайта придется подойти по-разному к их решению, а от обычного юзера требуется только проверить правильность введения адреса страницы.
Комьюнити теперь в Телеграм
Подпишитесь и будьте в курсе последних IT-новостей
Подписаться
Поиск битых ссылок на сайте
Если вы являетесь владельцем сайта, можно проверить наличие битых ссылок и удаленных страниц при помощи специальных онлайн-сервисов или программ. Существует несколько популярных инструментов, о которых и пойдет речь далее.
Яндекс.Вебмастер
Проще всего использовать сайт Яндекс.Вебмастер. Потребуется авторизоваться в сервисе и добавить собственный сайт, выполнив простые инструкции, которые будут отображаться на экране. После этого выполните такую последовательность действий:
- Через левое меню откройте раздел «Индексирование».
- Там вас интересует категория «Страницы в поиске».
- Снизу перейдите на вкладку «Исключительные страницы».
- Задайте фильтрацию, чтобы сначала отображались результаты, где присутствует «ошибка 404: страница не найдена».
Google Search Console
Онлайн-сервис от известной компании Google Search Console функционирует примерно по такому же принципу, а для поиска проблемных страниц пользователю потребуется выполнить следующие действия:
- Выполните вход и добавьте свой сайт.
- Откройте раздел «Сканирование».
- Перейдите к категории «Ошибки сканирования».
- Используйте фильтр или самостоятельно ознакомьтесь с присутствующими ошибками.
Screaming Frog
Screaming Frog – специализированное программное обеспечение, подходящее для сканирования сайтов. Если приведенные выше онлайн-сервисы вам не подошли, скачайте это решение с официального сайта, подключите к нему ваш сайт и произведите сканирование.
Благодаря данному инструменту у вас получится легко обнаружить все проблемные страницы, в том числе и страницы с другими ошибками сервера.
Исправление ошибки 404
С принципом обнаружения проблемных страниц все понятно, однако как исправить ошибку 404 Page Not Found? Здесь все зависит непосредственно от возникшей ситуации, а также того, используется ли на сайте CMS. Давайте по очереди разберем каждую ситуацию.
При использовании CMS
Сейчас многие сайты создаются при помощи CMS. Это может быть WordPress, Joomla, 1С-Битрикс или какие-либо другие системы управления содержимым. Если проблема возникает на таком сайте, а на экране при переходе к сайту вы видите следующее изображение, значит, потребуется выполнить ряд действий для исправления неполадки.
В первую очередь перейдите в корневую папку сайта и создайте там документ с расширением .htaccess. Он должен быть текстовым. Его содержимое зависит от конкретной используемой CMS. То есть необходимо прописать стандартные директивы, которые вы можете найти на официальном сайте reg.ru. Другие полезные материалы по настройке htaccess вы найдете тут и тут.
Однако иногда неполадка может сохраняться даже при условии, что файл был создан или существовал изначально. Тогда не остается другого варианта, кроме как обратиться напрямую в техническую поддержку хостинга.
Описанная выше ситуация подразумевает, что ошибку 404 выдает сам хостинг, однако бывает, что она отображается от самой CMS, а в браузере это выглядит примерно следующим образом:
В таких ситуациях вам необходимо проверить каждое название ссылки на правильность ввода, а также убедиться в том, что установленные SEO-плагины функционируют нормально и не влияют на проблемную генерацию ссылок. После проверки каждой ссылки ошибка http 404 должна исчезнуть.
Без использования CMS
Иногда сайты функционируют и без использования CMS. В таких ситуациях метод решения будет другим, поскольку, скорее всего, причина возникновения неполадки связана с отсутствием файлов в папке сайта или их неправильном расположении.
Для начала откройте корневую папку с файлом через панель хостинга и убедитесь в наличии всех необходимых элементов (например, html-страниц). В случае отсутствия потребуется загрузить их вручную и проверить, исчезла ли ошибка. Если же она сохранилась или файлы изначально находились в правильном месте, обращайтесь напрямую в техническую поддержку хостинга.
Только что мы разобрались с тем, что значит ошибка 404 Not Found, а также рассмотрели методы ее решения для разных ситуаций. Владельцу сайта нужно внимательно подойти к этому вопросу и всегда быть аккуратным при составлении адресов ссылок. От обычного же юзера требуется только соблюдать правильность ввода URL, если речь идет о ручном наборе в адресной строке браузера.