Проверить сайт на ошибки гугл

Смотрим на страницу глазами Googelbot и проверяем синтаксис robots.txt. И поднимаемся в результатах поиска!

Этот материал — продолжение статьи 20 фишек, как узнать все про любой сайт. Сегодня речь пойдет о веб-сервисах, проверяющих особенности сайтов/страниц, которые влияют на их ранг в поисковой выдаче.

Зачем мне это нужно?

Если у вас есть сайт, но вы не интересуетесь поисковой оптимизацией, и у вас нет специалиста, который занимается его продвижением, то иногда могут возникать вопросы наподобие:

Почему мой сайт ниже в поисковых выдаче, чем аналоги, хотя качество контента выше?

Скорее всего, на сайте есть какие-то технические проблемы, важные для поисковиков (битые ссылки, ошибки в html-коде). Найти такие проблемы поможет статья ниже.

В интернете есть множество блогов с советами по SEO, многие из которых давно устарели или изначально являлись фантазией автора. Занимаясь оптимизацией сайта, лучше ориентироваться на официальные гайдлайны для вебмастеров Search Engine Optimisation Starter Guide. Там четко прописано, какие технические особенности имеют реальное влияние на поисковую выдачу.

Если сайт содержит качественную и полезную информацию, а также соответсвует требованиям, прописанных в этих гайдлайнах, то с ростом поискового трафика должно быть все ОК. А вот подборка инструментов, которые помогут быстро найти на сайте (своем или чужом) незаметные на первый взгляд нюансы, негативно влияющие на отношение к нему поисковиков.

1. Есть ли «битые» ссылки?

Битые ссылки негативно воспринимаются пользователями, поэтому Google применяет санкции к страницам с их большим количеством. На deadlinkchecker.com можно получить полный список URL-адресов на странице и статусы их доступности.

Адрес сервиса: deadlinkchecker.com

2. Достаточно ли оптимизированы картинки?

На wepagetest.org можно получить список картинок с указанием их размера и примененных способов сжатия для каждой картинки. Там же можно почитать советы по оптимизации изображений для сайтов.

Адрес сервиса: webpagetest.org

3. Корректно ли составлен файл robots.txt?

Robots.txt — это файл, в котором владелец сайта указывает, какие разделы сайта индексировать поисковому роботу. Очень важно, чтобы в нем не было ошибок, так в случае их наличия Google может проиндексировать лишние страницы.

alterlinks.com/robots-txt-validator/

4. Валиден ли HTML-код?

Если html-код не содержит ошибок, то страница будет быстро загружаться и одинаково отображаться во всех браузерах. С помощью валидатора от консорциума w3 (организации, которая регулирует технологические стандарты в интернете) можно найти ошибки и получить рекомендации по их исправлению.

Адрес сервиса: validator.w3.org

5. Нет ли перебора с ключевыми словами?

Избыточная плотность ключевых слов иногда может влиять на ранг в поисковой выдаче хуже, чем их отсутствие/недостаток. На pr-cy.ru можно проверить число вхождения слов на страницу.

Адрес сервиса: pr-cy.ru/analysis_content/

6. Есть ли ссылки без анкоров и с атрибутом “nofollow”?

Анкор — это текст ссылки между тегами “” и ““. Google плохо относится к сайтам, которые делают ссылки картинками, с пустыми анкорами или анкорами без смысловой нагрузки («читайте тут», «смотреть здесь»). Также Google против указания в ссылках атрибута rel=”nofollow” (запрет роботы переходить на страницу), так как он мешает поисковику воплотить идею об индексации всего интернета. Подробнее об этом можно почитать в гайдлайнах, упомянутых в начале статьи. А pr-cy.ru можно проверить все ссылки на сайте на наличие анкоров и запретов на индексацию.

Адрес сервиса: pr-cy.ru/analysis_content/

7. Нет ли на сайте вирусов?

Обнаружив на сайте вредоносное ПО Google начинает ставить рядом с заголовком страницы надпись «Этот сайт может нанести вред вашему компьютеру», отбивая желание посетителей заходить на него. Если поисковый трафик внезапно снизился на порядок, то одной из самых вероятных причин может быть появление на сайте вредоносного контента.
Адрес сервиса: google.ru/transparencyreport/safebrowsing

8. Правильно ли настроен редирект?

Иногда, из-за такой мелочи, как неправильно настроенное перенаправление с одной страницы (которая уже есть в базе Google) на новую (которая пока неизвестна поисковому роботу), сайт может ощутимо потерять в трафике. Всегда стоит проверять этот момент.

Адрес сервиса: webconfs.com/redirect-check

9. Все ли в порядке с метатегами?

Здесь можно проверить указаны ли на странице заголовок и описание, а также оценить соответствие ключевых слов ее содержимому.

Адрес сервиса: metatagscheck.com

10. Как видит текст страницы поисковый робот?

Google не индексирует текст, созданные с помощью Flash, JavaScript и изображенный на картинках. Этот сервис поможет понять какой текст на странице учитывается поисковиком при ранжировании результатов, а какой нет.

Адрес сервиса: smallseotools.com/spider-simulator/

11. В каком состоянии была страница когда на нее последний раз приходил Googlebot?

Здесь можно узнать когда на странице последний раз был Googlebot и в каком виде она сохранена в кеше Google.

Адрес сервиса: smallseotools.com/google-cache-checker/

12. Какой уровень доверия Google к домену?

Чем выше уровень доверия к домену, тем выше ранг страниц, которые на нем находятся. Trust Rank зависит от возраста домена, его истории и т.д. На smallseotoolz.com можно проверить этот показатель для любого ресурса.

Адрес сервиса: smallseotoolz.com/domain-authority-checker-tool

Все эти инструменты можно попробовать не имея доступа к файлам сайта. Если этот доступ у вас есть, то для проверки этих же параметров лучше использовать Google Search Console.

Оптимизируя страницы для поисковых систем, следуем помнить о том, что главным критерием ранжирования являются поведенческие факторы: время проведенной пользователем на странице, его активность и т.д. Каким бы идеальным не был html-код и авторитетным домен, если посетители убегают с сайта через 10 секунд, то и поисковики не будут ценить ее высоко.

Помимо повышения качества контента, для улучшения поведенческих факторов полезно наблюдать за тем, как ведут себя пользователи на сайте. Делать это позволяет технология «Вебвизор», встроенная в счетчики Яндекс.Метрики. «Вебвизор» записывает все действия пользователей (движения мыши, нажатия клавиш) и генерирует видео имитирующие их поведение во время визита. Наблюдение за посетителями и забота об их удобстве, на порядок важнее всех технических моментов, упомянутых в статье.

(10 голосов, общий рейтинг: 4.90 из 5)

Отладка страниц

Общие рекомендации

Помните, что робот Googlebot сканирует страницы не сразу после их публикации. Даже если вы устраните проблему на странице, сообщение об ошибке может остаться в Search Console и Google Поиске до следующего сканирования. В некоторых случаях можно запросить срочное сканирование, например при помощи инструмента проверки URL, но обычно данные обновляются через несколько дней.

Ниже приведен список инструментов, которые могут помочь вам в отладке страниц.

Инструменты для подтвержденных владельцев сайтов

Чтобы использовать перечисленные ниже инструменты и отчеты, нужно подтвердить право собственности на сайт. Это требование связано с наличием в Search Console конфиденциальной информации о сайтах, доступ к которой может быть только у их владельцев.

• Search Console – сервис с инструментами для тестирования и сбора статистики по сайту, часть из которых перечислена ниже. Чтобы получить доступ к ним, зарегистрируйтесь в Search Console и подтвердите право собственности на сайт.
• Отчеты о статусе расширенных результатов позволяют проверять, удалось ли роботу Googlebot считать определенные расширенные результаты с вашего сайта, а также получать рекомендации по устранению связанных с ними ошибок и запрашивать повторное сканирование. Вы не можете самостоятельно отправить желаемый URL на проверку с помощью этого инструмента.
• Инструмент проверки URL дает возможность узнать, как ваша страница выглядит в индексе Google, протестировать опубликованную версию страницы, выяснить, как Google отображает ваш контент, и запросить индексирование определенного URL.
• Инструмент проверки файла robots.txt позволяет выявлять ошибки в синтаксисе файлов этого типа. Вы можете протестировать любой файл со своего сайта и проверить синтаксис в текстовом поле, доступном для редактирования.
• Отчет о статусе AMP-страниц содержит информацию о тех ошибках на AMP-страницах, которые были обнаружены роботом Googlebot во время сканирования. Неполадки выявляются во время сканирования ресурса. Вы не можете самостоятельно отправить желаемый URL на проверку с помощью этого инструмента.
• Отчет об удобстве для мобильных содержит информацию о тех ошибках на сайте, с которыми могут столкнуться пользователи мобильных устройств. Неполадки выявляются во время планового сканирования ресурса. Вы не можете самостоятельно отправить отдельный URL на проверку с помощью этого инструмента.

Инструменты, не требующие авторизации

Для доступа к этим инструментам не требуется подтверждать право собственности на сайт. Используйте их с любыми URL.
В некоторые инструменты можно вставлять фрагменты кода.

Если доступ к странице ограничен брандмауэром или она размещена на компьютере, для ее проверки вы можете использовать туннель. Подробнее…

• Инструмент проверки AMP-страниц позволяет выявлять ошибки на страницах, содержащих AMP-контент.
• Проверка оптимизации для мобильных устройств – инструмент, при помощи которого можно узнать, удобна ли страница для просмотра на мобильных устройствах.
• Проверка расширенных результатов позволяет выявлять ошибки в блоках структурированных данных. В инструмент можно вставить код или URL страницы.

Другие инструменты

Дополнительные ресурсы и прочую полезную информацию можно найти в нашем Справочном центре.

Проверка страниц, размещенных на компьютере или недоступных из-за брандмауэра

Для тестирования уже опубликованных в интернете ресурсов можно использовать инструменты проверки AMP-страниц, оптимизации для мобильных устройств и расширенных результатов. Если же доступ к странице ограничен брандмауэром или она размещена на компьютере (без общедоступного URL), вы можете протестировать ее на этапе разработки,
создав туннель к нужному инструменту.

Вам понадобится использовать сервис для туннелирования, например ngrok. Он позволит создать URL для общего доступа к странице, размещенной на компьютере или защищенном сервере.

Рассмотрим пример: как разместить страницу на компьютере с помощью модуля Python SimpleHTTPServer, а затем открыть к ней доступ через туннель ngrok.

Шаг 1

Запустите локальный HTTP-сервер и разместите страницу на заданном порте. В примере ниже используется порт 5326.

Модуль SimpleHTTPServer устанавливает текущий каталог в качестве корневого.

~/testwebdir $ python -m SimpleHTTPServer 5326
Serving HTTP on 0.0.0.0 port 5326
...

Шаг 2

На другом компьютере запустите локальное приложение ngrok в режиме прослушивания порта 5326, который был открыт на шаге 1.

~/ $ ./ngrok http 5326

ngrok by @inconshreveable (Ctrl+C to quit)

Session Status online
Version 2.2.4
Region United States (us)
Web Interface http://127.0.0.1:4040
Forwarding http://ad0a5735.ngrok.io -> localhost:5326
Forwarding https://ad0a5735.ngrok.io -> localhost:5326

Connections ttl opn rt1 rt5 p50 p90
                              0 0 0.00 0.00 0.00 0.00

Шаг 3

Вставьте URL, полученный из сервиса ngrok, в нужный инструмент проверки.

Корневой URL в нашем примере – http://ad0a5735.ngrok.io. Если страница хранится на компьютере по адресу ~/testwebdir/mypage.html, а сервер был запущен из родительского каталога ~/testwebdir/, можно протестировать URL http://ad0a5735.ngrok.io/mypage.html. Для этого понадобится вставить его в инструмент проверки оптимизации для мобильных устройств или перейти по адресу https://search.google.com/test/mobile-friendly?url=http%3A%2F%2Fad0a5735.ngrok.io%2Fmypage.html.

Обратите внимание, что принцип обработки страниц зависит от локального хоста и сервиса для туннелирования.

Некоторые сервисы для туннелирования (отличные от ngrok) могут автоматически заблокировать доступ к временному URL, используя файл robots.txt. Из-за этого использовать инструменты проверки Google не получится. Инструменты проверки Google не нарушают правила robots.txt. Предварительно ознакомьтесь с документацией к сервису для туннелирования и ПО для веб-хостинга.

Устранение проблем с доступом

Если инструменту проверки Google не удается получить доступ к странице:

• Убедитесь, что для доступа не требуется авторизация и что он не заблокирован в файле robots.txt.
• Попробуйте открыть страницу на другом компьютере, в режиме инкогнито Chrome или минуя защиту брандмауэра.

16 марта в Google Chrome анонсировали выход новой версии Lighthouse 6. На этом движке работает Google PageSpeed Insights. Грядет обновление, а вы пробуйте бета версию проверки уже сейчас.

Я Алексей из Loading.express. Мы профессионально ускоряем сайты.

С задержкой в два месяца вышел бета-релиз и мы сразу развернули его на своих серверах. Подробно исследовали все нововведения и дали всем возможность замерить свой сайт на новых метриках.

По ссылке ниже вы сможете проверить ваш сайт на новом движке:

Основные обновления в Lighthouse 6.0.0:

Три новых аудита в отчете PageSpeed (Lighthouse 6)

TBT — Total Blocking Time или Общее время блокировки. В этот период на сайте невозможно ничего делать. Он грузится, а вы ждёте. Попробуйте ввести с клавиатуры, кликнуть, тапнуть — ничего не выйдет, вы получите эффект зависания или притормаживания.

Ориентиры:

LCP — Largest Contentful Paint или Отрисовка крупного контента. Это время, когда самый большой видимый «кусок» сайта отрисован на экране. Именно тогда посетитель понимает, что ваш сайт визуально готов для взаимодействия. Гугл работали над этим показателем совместно с группой Web Performance Working Group W3C, в составе которой представители компаний Facebook, Airbnb Inc, Intel Corporation, Mozilla Foundation и другие.

Здесь ориентиры:

CLS — Cumulative Layout Shift или Совокупный сдвиг макета. Тут сложно. Этот замер складывает баллы от любого сдвига на странице, который происходит во время загрузки. Тот самый момент, когда заходишь на страницу, начинаешь читать контент, а он вдруг куда-то улетел. Сверху прогрузилась реклама и сдвинула всё содержимое страницы вниз. Чем больше сдвиг, тем оценка будет выше и тем хуже показатель.

Ориентир:

Сейчас в PageSpeed есть показатель FID — максимальная потенциальная задержка ввода. Этот показатель убрали в новой версии. Его функцию частично взял на себя TBT, LCP и отчеты по замерам JS.

Другое устройство для замеров: Moto G4

Ура! Nexus 5 из 2013 года заменили на Moto G4 из 2016. Тут изменился только размер экрана.

Что нового в аудитах Lighthouse 6

Техническое.

JS (джаваскрипт) — если при загрузке сайта есть выполнение лишнего джаваскрипта, то аудит сообщит об этом отдельным предупреждением.

Раздел Accessibility — новые пункты появятся в аудите, который касается отображения сайта для читалок, которые воспроизводят текст звуком для слабовидящих. Есть мнение, что голосовые помощники тоже будут пользоваться этой разметкой.

Аудит кодировки символов — будет требовать объявить кодировку.

PWA maskable icon audit — новый аудит, который проверяет есть ли векторная иконка для маски. Если нет, то будет требовать векторный формат.

Заключение и выводы

В анонсе от команды Google Chrome написано, что это бета версия, а готовая версия ляжет в основу PageSpeed и в консоль разработчика. Прошлый раз такие глобальные обновления были в PageSpeed в ноябре 2018 года.

Именно с 2018 года PageSpeed измеряет скорость загрузки. До этого он давал просто рекомендации для оптимизации параметров сайта, которые могли влиять на скорость загрузки.

Многие пропустили эти обновления и до сих пор заблуждаются, уверяя всех, что Google PageSpeed Insights не измеряет скорость загрузки сайтов. На деле — измеряет и делает это лучше всех. Единственное, где собака зарыта — замеры происходят из стран Европы.

И да. Важно. Если адаптивная версия сайта показывает хорошие результаты производительности, то и ПК версия в полном порядке.

Не надо замерять её отдельно. Не равняйтесь на показатели ПК версии. Всё. 2020 год. Адаптивные сайты должны быть у каждого.

Измеряйте сайт в новой версии Lighthouse 6 уже сейчас по ссылке ниже:

Быстрых вам сайтов и высоких конверсий!

Еще статьи от автора: