Оптимизируйте свои подборки
Сохраняйте и классифицируйте контент в соответствии со своими настройками.
На этой странице описывается, как коды статуса HTTP, а также ошибки сети и DNS отражаются на позиции вашего контента в Google Поиске. Мы поговорим о 20 наиболее распространенных кодах статуса, которые обнаруживает на веб-страницах робот Googlebot, а также о самых частых ошибках сети и DNS. Такие редко встречающиеся коды, как 418 (I'm a teapot), в этой статье не рассматриваются. Все перечисленные на этой странице проблемы приводят к появлению ошибки или предупреждения в отчете об индексировании страниц, доступном в Search Console.
Коды статуса HTTP
Когда сервер, на котором размещен сайт, получает запрос клиента (например, браузера или поискового робота), в ответ он отправляет код статуса HTTP. Каждый такой код имеет свое значение, но многие из них предполагают, что запрос будет обрабатываться одинаково. Например, о переадресации могут сигнализировать несколько разных кодов.
Сообщения об ошибке, генерируемые в Search Console, относятся к кодам статуса в диапазоне 4xx–5xx, а также к неудачной переадресации (3xx). Если в ответе сервера указан код статуса 2xx, полученный контент может быть проиндексирован.
| Коды статуса HTTP | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Роботы Google проверяют, можно ли проиндексировать контент. Если контент не загружается, например появляется пустая страница или сообщение об ошибке, в Search Console будет зарегистрирована ошибка
|
|||||||||||
|
Робот Googlebot выполняет до 10 переходов в цепочке переадресаций. Если за это время поисковый робот не получает контент, в отчете об индексировании страниц этого сайта в Search Console будет указана ошибка переадресации. Количество переходов робота Googlebot зависит от агента пользователя, например у роботов Googlebot Smartphone и Googlebot Image оно будет отличаться.
Googlebot выполняет пять переходов в цепочке переадресаций согласно спецификации RFC 1945. Затем он прерывает операцию и интерпретирует ситуацию как ошибку Наши роботы игнорируют любой контент, получаемый с URL переадресации. При индексировании используется контент, размещенный по конечному целевому URL.
|
|||||||||||
|
Роботы Google не индексируют URL с кодом статуса
Роботы Googlebot игнорируют любой контент, получаемый с URL, которые возвращают код статуса
|
|||||||||||
|
В случае ошибок сервера Если файл robots.txt выдает ошибку сервера более 30 дней, будут выполняться правила, указанные в последней кешированной копии этого файла. Если такой копии нет, роботы Google будут действовать без ограничений.
Роботы Googlebot игнорируют любой контент, получаемый с URL, которые возвращают код статуса
|
Ошибки soft 404
Ошибкой soft 404 называется ситуация, когда посетитель веб-страницы видит сообщение о том, что ее не существует, при этом браузер получает ответ с кодом статуса 200 (success). Этот код означает «Успешно». В некоторых случаях открывается страница, на которой нет основного или вообще никакого контента.
Такие страницы создаются веб-сервером, где размещен сайт, системой управления контентом или браузером пользователя. Причины могут быть разными. Пример:
- Отсутствие файла SSI
- Ошибка при обращении к базе данных
- Пустая внутренняя страница результатов поиска
- Незагруженный или отсутствующий по другой причине файл JavaScript
Мы не рекомендуем возвращать код статуса 200 (success), а затем выводить сообщение об ошибке или указывать на наличие ошибки на странице. Пользователи могут подумать, что попали на действующую страницу, но после этого увидят сообщение об ошибке. Подобные страницы исключаются из Google Поиска.
Если алгоритмы Google по контенту страницы определяют, что она содержит сообщение об ошибке, то в отчете об индексировании страниц этого сайта в Search Console будет указана ложная ошибка soft 404.
Порядок исправления ошибок soft 404
Есть разные способы устранения ошибок soft 404 в зависимости от состояния сайта
и от желаемого результата:
- Страница и ее контент больше не доступны
- Страница или ее контент были перенесены
- Страница и ее контент по-прежнему существуют
Подумайте, какое решение будет оптимальным для ваших пользователей.
Страница и ее контент больше не доступны
Если страница удалена и для нее нет замены на вашем сайте с аналогичным контентом, нужно отправлять ответ с кодом статуса 404 (not found) или 410 (gone). Эти коды статуса сообщают поисковым системам, что страницы не существует, а контент не нужно индексировать.
Если у вас есть доступ к файлам конфигурации вашего сервера, страницы с сообщениями об ошибках можно сделать полезными для пользователей. Например, на такой странице 404 вы можете разместить функции, призванные помогать посетителям в поиске нужной информации, или полезный контент, который удержит их на вашем ресурсе. Вот несколько советов по созданию полезной страницы 404:
- Пользователям должно быть понятно, что запрашиваемая страница недоступна. Подготовьте сообщение, которое не вызовет отторжения.
-
Страница
404должна быть выполнена в том же стиле (включая элементы навигации), что и основной сайт. - Разместите на странице ссылки на самые популярные статьи или записи блога, а также на главную страницу.
- Дайте пользователям возможность сообщать о неработающих ссылках.
Полезные страницы 404 создаются исключительно для удобства пользователей. Поисковые системы игнорируют такие страницы, поэтому рекомендуем возвращать для этих страниц код статуса HTTP 404, чтобы они не индексировались.
Страница или ее контент перемещены
Если страница перенесена или у нее есть замена, отправляйте ответ с кодом 301 (permanent redirect), чтобы перенаправлять пользователей. Посетителям сайта это не помешает, а поисковые системы узнают новое расположение страницы. Чтобы узнать, правильный ли код ответа отправляется при открытии страницы, используйте инструмент проверки URL.
Страница и ее контент по-прежнему существуют
Если нормально работающая страница вызвала ошибку soft 404, вероятно, она не была корректно загружена роботом Googlebot, во время отрисовки не были доступны важные ресурсы или показывалось заметное сообщение об ошибке. Проанализируйте отрисованный контент и код ответа HTTP с помощью инструмента проверки URL. Если на обработанной странице нет или очень мало контента или он вызывает ошибку, ошибка soft 404 может быть обусловлена тем, что страница содержит ресурсы (например, изображения, скрипты и прочие нетекстовые элементы), которые не удается загрузить.
Возможные причины проблем с загрузкой – блокировка доступа в файле robots.txt, слишком большое количество ресурсов или слишком большой их размер, а также любые ошибки сервера.
Ошибки сети и DNS
Ошибки сети и DNS отрицательно влияют на показ URL в результатах поиска Google.
Робот Googlebot интерпретирует тайм-ауты сети, факты сброса подключения и ошибки DNS так же, как и ошибки серверов 5xx. В случае сетевых ошибок сканирование начинает постепенно замедляться, поскольку сетевая ошибка означает, что сервер может не справиться с нагрузкой. Так как роботы Googlebot не смогли получить доступ к серверу, на котором размещен сайт, значит, им не удалось извлечь контент. В результате Google не может проиндексировать ранее просканированные URL, а недоступные нашим роботам URL, которые уже были проиндексированы, будут удалены из индекса Google в течение нескольких дней. Search Console может создавать сообщения о каждой возникающей ошибке.
Ошибки отладки сети
Эти ошибки возникают до того, как Google начинает сканирование URL, или во время этого процесса.
Поскольку они зачастую уже присутствуют до того, как сервер возвращает ответ, то из-за отсутствия кода статуса диагностика этих ошибок может вызывать трудности. Чтобы отладить ошибки тайм-аута и сброса подключения, выполните следующие действия:
- Проверьте настройки брандмауэра и записи в журнале. У вас может быть задано слишком общее правило блокировки. Нужно, чтобы ни одно правило брандмауэра не блокировало IP-адреса робота Googlebot.
- Проанализируйте сетевой трафик с помощью таких инструментов как tcpdump и Wireshark. Они помогут вам найти в пакетах TCP аномалии, относящиеся к определенному сетевому компоненту или модулю сервера.
- Если вы не можете найти ничего подозрительного, обратитесь к своему хостинг-провайдеру.
Ошибка может относиться к любому серверному компоненту, который обрабатывает сетевой трафик. Возможно, что перегруженные интерфейсы сети не могут передавать пакеты, что приводит к тайм-аутам (невозможности установить подключение) и сбросу подключений (отправляется пакет RST, поскольку порт был закрыт по ошибке).
Устранение ошибок DNS
Ошибки DNS чаще всего вызваны неправильной конфигурацией, но могут также возникать из-за правил брандмауэра, которые блокируют DNS-запросы робота Googlebot. Чтобы устранить ошибки DNS, выполните следующие действия:
-
Проверьте правила брандмауэра. Нужно, чтобы ни одно правило не блокировало IP-адреса Google и чтобы были разрешены запросы как по протоколу
UDP, так и по протоколуTCP. -
Проверьте записи DNS. Убедитесь, что записи
AиCNAMEведут на правильные IP-адреса и имена хостов. Пример:dig +nocmd example.com a +noall +answer
dig +nocmd www.example.com cname +noall +answer
-
Убедитесь, что все ваши DNS-серверы указывают на правильные IP-адреса вашего сайта. Пример:
dig +nocmd example.com ns +noall +answerexample.com. 86400 IN NS a.iana-servers.net. example.com. 86400 IN NS b.iana-servers.net.dig +nocmd @a.iana-servers.net example.com +noall +answerexample.com. 86400 IN A 93.184.216.34dig +nocmd @b.iana-servers.net example.com +noall +answer... - Если вы внесли изменения в конфигурацию DNS в течение последних 72 часов, на их применение во всей сети DNS может потребоваться некоторое время. Чтобы ускорить внедрение новых настроек, вы можете очистить общедоступный кеш DNS.
- Если вы используете собственный DNS-сервер, убедитесь, что он исправен и не перегружен.
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons «С указанием авторства 4.0», а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.
Last updated 2023-02-02 UTC.
- Remove From My Forums
-
Question
-
Hi,
I have windows server 2008r2 running Active directory and DNS for active directory.
I keep getting dns error 404 and 407. I only have one network adapter.
If you could help that would be great and thanks in advance
Here is my ipconfig
Windows IP Configuration
Host Name . . . . . . . . . . . . : Carters-Server
Primary Dns Suffix . . . . . . . : cjcdsb.com
Node Type . . . . . . . . . . . . : Hybrid
IP Routing Enabled. . . . . . . . : No
WINS Proxy Enabled. . . . . . . . : No
DNS Suffix Search List. . . . . . : cjcdsb.com
cgocable.netEthernet adapter Local Area Connection:
Connection-specific DNS Suffix . : cgocable.net
Description . . . . . . . . . . . : Realtek PCIe GBE Family Controller
Physical Address. . . . . . . . . : 94-DE-80-C9-72-0F
DHCP Enabled. . . . . . . . . . . : No
Autoconfiguration Enabled . . . . : Yes
IPv6 Address. . . . . . . . . . . : 2001:1970:46c1:3201:f42f:ec8:9488:e1f7(Preferred)
Link-local IPv6 Address . . . . . : fe80::f42f:ec8:9488:e1f7%10(Preferred)
IPv4 Address. . . . . . . . . . . : 192.168.0.2(Preferred)
Subnet Mask . . . . . . . . . . . : 255.255.255.0
Default Gateway . . . . . . . . . : fe80::cad3:a3ff:fe69:90c7%10
192.168.0.1
DHCPv6 IAID . . . . . . . . . . . : 244637312
DHCPv6 Client DUID. . . . . . . . : 00-01-00-01-1A-39-F1-97-94-DE-80-C9-72-0F
DNS Servers . . . . . . . . . . . : 2001:1970:c000::53
192.168.0.2
127.0.0.1
NetBIOS over Tcpip. . . . . . . . : Disabled
Connection-specific DNS Suffix Search List :
cgocable.net
cjcdsb.comTunnel adapter isatap.{E8EDE964-1B44-4F5F-9DF3-92A102B7321A}:
Media State . . . . . . . . . . . : Media disconnected
Connection-specific DNS Suffix . :
Description . . . . . . . . . . . : Microsoft ISATAP Adapter
Physical Address. . . . . . . . . : 00-00-00-00-00-00-00-E0
DHCP Enabled. . . . . . . . . . . : No
Autoconfiguration Enabled . . . . : YesTunnel adapter Teredo Tunneling Pseudo-Interface:
Media State . . . . . . . . . . . : Media disconnected
Connection-specific DNS Suffix . :
Description . . . . . . . . . . . : Teredo Tunneling Pseudo-Interface
Physical Address. . . . . . . . . : 00-00-00-00-00-00-00-E0
DHCP Enabled. . . . . . . . . . . : No
Autoconfiguration Enabled . . . . : Yes-
Edited by
Sunday, May 18, 2014 1:58 AM
Mistake
-
Edited by
Answers
-
You can try unchecking IPv6 in network connection properties, reboot and check it again.
Regards, Dave Patrick ….
Microsoft Certified Professional
Microsoft MVP [Windows]Disclaimer: This posting is provided «AS IS» with no warranties or guarantees , and confers no rights.
-
Edited by
Dave PatrickMVP
Wednesday, May 21, 2014 12:36 AM -
Proposed as answer by
Susie Long
Tuesday, May 27, 2014 3:03 AM -
Marked as answer by
Susie Long
Tuesday, June 10, 2014 2:02 AM
-
Edited by
При попытке Google обратиться к URL-адресу возникла ошибка. Возможно, возникла ошибка DNS или истек период ожидания ответа на запрос. Возможно, при обращении к странице ваш сервер был отключен или перегружен. Среди возможных причин ошибок «Недоступный URL» можно выделить следующие:
| Ошибки 5xx | Полный список кодов состояния HTTP приведен в RFC 2616. Вероятными причинами данной ошибки являются внутренняя ошибка или перегрузка сервера. Если сервер перегружен, он мог вернуть статус перегрузки с запросом к роботу Googlebot выполнять сканирование с меньшей скоростью. В этом случае сканирование дополнительных страниц будет выполнено позже. |
| Проблема с DNS | При попытке обращения к странице не удалось установить соединение с DNS-сервером. Это могло быть вызвано отключением вашего сервера или проблемами при передаче трафика DNS в ваш домен. Убедитесь в правильности разрешения имени вашего домена и повторите попытку. |
| Недоступный файл robots.txt | Перед сканированием страниц вашего сайта выполняется обращение к файлу robots.txt, чтобы исключить сканирование страниц, не предназначенных для доступа поисковых систем. Файл robots.txt для вашего сайта был недоступен. Чтобы исключить сканирование страниц, указанных в этом файле, сканирование было отложено. В·таком·случае·сканирование·начнется·только·после·успешного·обращения·к·файлу·robots.txt,·которое·будет·выполнено·позже. Обратите·внимание·на·отличие·от·отклика·на·ошибку·404·при·поиске·файла·robots.txt. Если получена ошибка 404, мы предполагаем, что файла robots.txt не существует, и продолжаем сканирование. |
| Сеть недоступна | При попытке обращения к странице появляется сетевая ошибка.
Эта ошибка регистрируется в случаях, когда при попытке чтения файла с вашего сайта робот Googlebot сталкивается с тем, что время ожидания истекло, или с другой сетевой ошибкой, приводящей к невозможности выполнить запрос.
|
| Сбой соединения | Невозможно установить соединение. |
| Нет отклика | Сервер завершил соединение до того, как удалось получить отклик. |
| Усеченный отклик | Сервер завершил соединение до того, как удалось получить полный отклик – возможно, отклик усечен. |
| В соединении отказано | Сервер отказал в соединении. |
| Усеченные заголовки | Сервер закрыл подключение до полной передачи заголовков. |
Эта информация оказалась полезной?
Как можно улучшить эту статью?
I need to open the content of the ogilvyalbaniaonline.com, at test.whateveryouwant.a2hosted.com
This is done via DNS A record.
If you check the images below, the DNS Configurations are all ok, and if i ping both of the sites, they both show the same IP address. But when i open test.whateveryouwant.a2hosted.com on a browser, it shows 404 error.
what am i doing wrong? advice?
asked Mar 26, 2018 at 18:22
404 is an application error. If you had a DNS issue, you would have not gotten a 404, you would have gotten a connection refused error.
You need to add a index.html to the server root of your filesystem. Nothing to do with DNS at all.
answered Mar 26, 2018 at 18:23
PaulProgrammerPaulProgrammer
15.4k4 gold badges38 silver badges56 bronze badges
4
Ошибка 404 – это код состояния HTTP, который означает, что страница, которую вы пытались найти на веб-сайте, не найдена на их сервере. Она может быть попросту удалена.
Ошибка 404 not found возникает, когда сервер веб-сайта не дает ответа. Это может означать большую проблему, ценность сайта становится низкой, и посетитель тоже не доволен.
В этой статье мы не только расскажем вам, что такое 404 не найденные ошибки, но и расскажем, как исправить эту ошибку, поэтому в следующий раз, если вы увидите эту ошибку, у вас есть знания, как ее исправить.
404 ошибки могут быть легко идентифицированы, поскольку выдается четкое сообщение об ошибке. Ниже приведены некоторые формы 404 не найденных ошибок. Как вы часто их видели. Эти ошибки обычно появляются в центре веб-страницы браузеров.
- «Ошибка 404»
- “404 Не Найдено”
- «Запрошенный URL [URL] не найден на этом сервере».
- «HTTP 404 не найден»
- “404 Страница не найдена”
- «HTTP 404»
- “Ошибка 404 не найдено”
Обычно сообщение об ошибке 404 not found находится на белой странице, а сообщение написано черным.
Что такое ошибка 404 не найдено?
Этот тип ошибок в основном происходит, когда пользователь не вводит правильный URL. Мы должны быть осторожны при написании URL, потому что небольшая ошибка может привести к тому, что весь URL будет неправильным. Вы должны быть осторожны с каждым написанием, слэшем и т. Д., Так что в этом случае это ошибки на стороне клиента. Эти 404 ошибки также возникают, когда веб-страница была перемещена или удалена. Если он будет удалена, вы не сможете их найти. Но в другом случае, когда веб-страницы были перемещены без перенаправления их старого URL. Тогда вместо перехода на новую страницу вы должны увидеть 404 не найденную ошибку.
Как исправить ошибку 404?
Обновить страницу с ошибкой 404.
Обновите страницу ошибки с помощью круглой стрелки, расположенной в верхнем левом углу браузера. Вы также можете использовать комбинацию клавиш Ctrl + F5. Или попробуйте нажать Enter на URL, потому как ошибка может произойти, потому что страница не загружена.
Сканирование на наличие вредоносных файлов.
Сканирование на вашем компьютере файлов на вредоносное ПО, поскольку эти файлы могут привести к тому, что веб-страница не будет загружена.
Проверьте на возможные ошибки в URL.
Вы должны тщательно проверить URL, потому что неправильное написание может привести к тому, что веб-страница не будет загружена. Вы должны проверить каждую букву, косые черты и расширения файлов и т. Д.
Если вы ввели URL-адрес, но по-прежнему получаете ошибку 404, существует большая вероятность, что вы ввели неверный или выбрали неправильный адрес.
Очистить кеш браузеров и куки.
Очистите кэш браузера и куки, перейдя в историю, а затем перейдите к очистке данных просмотра браузера, там вы можете выбрать опцию очистки кэша и куки. Они могут содержать нежелательные или вредоносные файлы.
Изменение DNS-сервера – ошибка сервера 404
Вы должны изменить свой «DNS-сервер», если весь веб-сайт не работает. Если речь идет только об одной странице, то это не касается DNS-сервера. Возможно сайт закрыт интернет-провайдером или правительством. Но без проблем можно попробовать DNS-сервер или воспользоваться «VPN » сервисом. Но это вы можете попробовать, только тогда, когда тот же веб-сайт открывается на другом устройстве, смартфоне или другом ноутбуке.
Просмотров: 2 323