Доброго всем времени суток! С вами Анатолий Кузнецов и сегодня поговорим о таком понятии, как неканоническая страница, что это такое и как она влияет на позиции сайта в органической выдаче Яндекс. Итак, поехали!
Что такое неканоническая страница сайта
Оглавление статьи
- 1 Что такое неканоническая страница сайта
- 2 Как прописывается каноническая ссылка на сайте
- 3 Как ненканоническая и каноническая ссылка влияет на продвижение сайта
- 4 Пример дублирования URL страницы
- 5 Откуда берутся неканонические страницы на сайте
- 6 Каноническая страница rel=canonical как прописывать
- 7 Вместо заключения
- 8 SEO продвижение сайта по России:
Объясним от обратного!
Каноническая ссылка — это бэклинк на сайте оформленный со специальным атрибутом rel=»canonical», который информирует поискового робота о важности данной страницы и исключает за счет неё дублирование других похожих страниц. Прописывается каноническая ссылка в головном разделе сайта <head> и она должна быть единственной для каждого URL страницы.
Не сложно догадаться, что неканоническая ссылка на сайте это обратная сторона канонической.
Как прописывается каноническая ссылка на сайте
В HTML коде каноническая ссылка прописывается так: <link rel=»canonical» href=»ссылка« />
Как ненканоническая и каноническая ссылка влияет на продвижение сайта
На крупных WEB сайтах (и не только) существует большое количество дублирующих страниц. Похожие URL дублируют друг друга, создавая внутри сайта огромное количество одинаковых страниц, тем самым путая пользователей и усложняя работу поисковых роботов.
Чаще всего, такие дубли массово встречаются в интернет магазинах, и если владелец сайта с помощью атрибута rel=»canonical» не указал Яндекс боту какие страницы и товары на сайте являются основными, то Yandex и Google сделают это сами, исключив из индексации дубляж. Вот пример такого исключения в Яндексе:
Очень частая ситуация, когда из-за дублирования карточек товаров и страниц интернет-магазина, Яндекс исключает их из выдачи, а владелец сайта не может понять, почему интернет-магазин не продаёт. А по факту, просто не указана основная страница атрибутом rel=»canonical».
Пример дублирования URL страницы
Атрибут rel=canonical был впервые был анонсирован компанией Google в феврале 2009 года. Яндекс его также начал использовать, но позже. Данный атрибут указывает Google и Yandex ботам предпочтение в индексации, той или иной страницы, в том случае, если на сайте таких одинаковых страниц несколько.
Допустим есть две страницы с такими URL:
1) https://www.stroytechservis.ru/remont-magazinov.html
2) https://www.stroytechservis.ru/remont-magazinov.html?id=4535
В этом случае первая страница является основной на сайте, а вторая дублирующей. Если для роботов не прописать основную страницу атрибутом rel=»canonical», то роботы могут её исключить из индексации, а вы этого даже не будете знать.
Соответственно такая страница не будет показываться в поисковой выдаче и приводить на сайт целевых клиентов. Отсюда и возникает важность обозначения канонических страниц на сайтах и интернет-магазинах.
У каждого сайта и интернет магазина дублирующих страниц очень много и с ними нужно бороться. Представьте интернет-магазин с 20 000 товаров у которого страница дублируется несколько раз. В глазах поисковых роботов этот магазин будет иметь 60 000 страниц (условно). Представляете, как этот дубляж подпортит репутацию сайту и ухудшит SEO продвижение? Надеюсь понятно объяснил!
Откуда берутся неканонические страницы на сайте
Неканонические страницы генерируются автоматически, системами управления сайта (CMS), такими как Вордпресс, Модэкс, Тильда, Джумла, Опенкад итд. Полное исключение дублирования достигается на рукописных сайтах с чистым HTML.
Вот, что говорят по этому поводу Google и Яндекс:
Если Вы не хотите, чтобы поисковые системы самовольно определяли важность страниц, товаров и услуг на ваших сайтах, обязательно указывайте rel=canonical.
Каноническая страница rel=canonical как прописывать
После появления атрибута rel=canonical прошло уже очень много времени и практически все системы управления сайтами позволяют прописывать внутри себя канонические ссылки и исключать неканонические.
К примеру в CMS WordPress, у меня это делается автоматически за счет плагина Yoast SEO. Но если к примеру нужно поменять пагинацию, то делается это в дополнительных настройках плагина в этой графе:
В коде элемента по умолчанию данная страница выглядет так:
Ну надеюсь теперь Вы поняли, что такое канонические и неканонические ссылки, как их прописывать и как они влияют на продвижение сайта в Яндекс и Google.
Вместо заключения
Хотите выйти в ТОП10 Яндекс и долго там оставаться? Продвигайте свои сайты и интернет-магазины исключительно белыми SEO методами! Не умеете? Могу научить! Тем, кто хочет разобраться во всех премудростях SEO, предлагаю посетить мои курсы по SEO обучению, которые я провожу индивидуально, в режиме онлайн по скайпу.
Для тех, у кого нет времени проходить обучение и самостоятельно заниматься продвижением своих интернет-магазинов, предлагаю и в этом вопросе помощь. Я могу взять ваш сайт на SEO продвижение и за несколько месяцев вывести его в ТОП10 Яндекс.
Для того чтобы убедиться в моей экспертности, предлагаю ознакомиться с моими последними SEO кейсами и только после этого заказать у меня SEO продвижение. Ниже на видео один из примеров успешного продвижения строительного сайта в Санкт-Петербурге.
SEO продвижение сайта по России:
- Санкт-Петербург
- Москва
- Новосибирск
- Екатеринбург
- Челябинск
- Нижний Новгород
- Самара
- Казань
- Волгоград
- Краснодар
- Тюмень
- Тольятти
- Ростов-на-Дону
- Уфа
- Красноярск
- Пермь
- Воронеж
- Омск
Главное об атрибуте rel = «canonical”: что это такое, зачем и где указывать, какие ошибки часто допускают оптимизаторы.
Разбираемся, что нужно знать оптимизатору о работе с каноническими тегами. Материал для начинающих или тех, кто хочет освежить знания в памяти.
В статье:
-
Что такое rel canonical и для чего он нужен
-
Когда нужно прописывать канонический тег
-
Как настроить canonical правильно: 6 способов указать основной URL
Что такое rel canonical и для чего он нужен
Одинаковый контент на разных страницах — плохо, за это следуют санкции. Но есть случаи, когда дубли оправданы. К примеру, одна и та же страница может входить в несколько категорий, один и тот же сайт может быть доступен с www и без, а еще в каталогах товаров есть сортировка и фильтрация.
Страницы могут быть не полностью одинаковыми. К примеру, на одной включен фильтр товаров по сезона, а на другой — сортировка по цене. Тем не менее, от включенных фильтров уникальными они не станут.
В таких случаях нужно указывать, какой вариант страницы роботу считать основным, то есть каноническим, а какие дублями. Для этого придумали канонический тег — rel = «canonical», он решает проблему дублирования контента.
Каноническая страница — это основной URL. Атрибут rel = «canonical» добавляют на страницы-дубли и в нем указывают адрес канонической страницы, чтобы дать боту знать, какую страницу они повторяют.
Зачем указывать основную версию страницы?
Причины указывать canonical:
-
избежать санкций поисковиков за дублирование контента;
-
корректно передавать ссылочный вес на нужную версию сайта и страницы;
-
из контента, доступного по нескольким URL, выбрать страницу, которая будет получать все сигналы и показываться в выдаче;
-
не тратить краулинговый бюджет на дубли.
Краткая информация о канонических URL из первых уст есть в справке Google и Яндекса.
Например, есть страница, доступная по трем адресам:
site.ru/page?id=123
site.ru/blog/category/tema
site.ru/blog/tema
Допустим, мы хотим, чтобы страница site.ru/blog/category/tema ранжировалась в выдаче, получала весь положенный ей ссылочный вес и другие сигналы — считалась канонической.
Тогда эту страницу мы не трогаем, в коде страниц дублей site.ru/page?id=123 и site.ru/blog/tema указываем ее как каноническую. В коды дублей мы добавляем такую строчку:
<link rel="canonical" href="http://site.ru/blog/category/tema"/>Неканонические страницы не попадут в индекс?
Страницы, отмеченные как неканонические, все равно могут попасть в выдачу. Яндекс отмечает:
«Они будут показаны в том случае, если они более релевантны запросу и их контент существенно отличался от канонической версии во время сканирования роботом».
В Вебмастере у всех страниц появилась пометка «каноническая», «неканоническая» и «каноническая страница не указана». Вы можно посмотреть неканонические страницы, попавшие в выдачу, для этого откройте «Страницы в поиске» и ищите строчки с пометкой «Неканоническая».
Google тоже заявляет, что система признает указанный канонический URL, но не всегда, поскольку тег canonical — рекомендация, а не приказ к действию. Если неканоническая покажется ему релевантнее, она и появится в выдаче.
Но если сеошник указывает этот атрибут, уменьшается риск, что Google сам определит основной не ту версию страницы.
Канонические страницы все равно появляются в поиске чаще и имеют приоритет при показе в выдаче, а ошибки с настройкой canonical могут привести к проблемам в индексировании страниц. Разберем все варианты, когда нужно использовать канонический тег.
Когда нужно прописывать канонический тег
Используйте canonical, когда одинаковый контент доступен по разным URL. Когда дублирующиеся URL создаются системой, фактически сам контент не дублируется — разные URL обслуживают одно содержимое. Тем не менее, это дубли, канонический тег стоит указать. Разберем разные случаи.
Дублирование страниц
Дублирующиеся страницы с похожим содержанием, которые генерируются CMS. Они бывают на всех сайтах интернет-магазинов, где можно настраивать параметры выбора товара. Ссылки для навигации по каталогу, сортировка товаров, фильтрация, ссылки с UTM-метками для отслеживания, другие страницы с GET-параметрами в URL.
К примеру, если в каталоге есть несколько позиций одного дивана, отличающиеся только цветом обивки, можно выбрать самый популярный вариант и указать его каноническим. Все варианты диванов будут доступны пользователям, но ссылочный вес и другие сигналы будут идти на страницу с основным вариантом.
Другой вариант — страница товара подходит сразу под несколько категорий, так что образовываются множественные URL одного предмета. Решение такое же: выбрать популярную в качестве основной и указать ее на остальных дублирующих страницах в rel = «canonical».
Страницы пагинации
Переключение страниц в каталоге рождает дубли. Иногда для всех страниц пагинации указывают первую страницу в качестве канонической — это советуют не делать, потому что тогда проиндексируется только первая страница.
Вариант 1
Если на странице есть «Показать все», страница со всеми вариантами и будет канонической. На каждой из страниц пагинации укажите ее в атрибуте rel = «canonical».
Например, для страницы https:=»» site.ru=»» <=»» a>category1=»» page-2″=»»>https://site.ru/category1/page-2 нужно прописать канонический URL:
<link rel="canonical" href="http://site.ru/category1/show-all">Вариант 2
Если «Показать все» нет, для каждой страницы пагинации советуют указывать эти же страницы как канонические.
Например, на странице https://site.ru/category1/page2 нужно указать каноническую ссылку:
<link rel="canonical" href="http://site.ru/category1/page2">Вариант 3
Есть и другое мнение: если указать canonical страницы саму на себя, все страницы пагинации пойдут в выдачу. Если вы считаете, что плохо, если у разных URL с отличающимся контентом будут одинаковые Title и Description, то не делайте так.
В таком случае не нужно проставлять canonical, а лучше закрыть страницы пагинации в noindex, follow и использовать dissalow в robots для /page. Это значит, что индексировать нельзя, а переходить по ссылкам можно.
<meta name="robots" content="noindex, follow"/>Напомним, что noindex подходит только для Яндекса.
HTTPS, HTTP, www
Один сайт может быть доступен по трем вариантам: http://site.ru и http://www.site.ru и https://www.site.ru. Но поисковые системы будут рассматривать все три как наборы отдельных страниц, если не указать canonical. Из-за чего могут быть проблемы со сканированием и индексацией сайта.
Мобильный URL
Google уже давно переходит на Mobile-First Indexing, то есть при индексировании он ориентируется на мобильную версию сайта.
Представитель Google Джон Мюллер рассказал, что делать с каноническим тегом в этих условиях.
Если у вас есть мобильная версия сайта m.site.ru, обычно у нее указывают rel = «canonical», ведущий на десктопную. А для десктопной используют тег rel=alternate, ведущий на мобильную. Если вы сделали так, ничего менять не надо. Бот распознает мобильную версию как каноническую, даже если в коде канонической указана десктопная. Если и в Sitemap.xml также, то тоже можно не трогать.
URL страны
Бывает, что для конкретной страны у сайта есть несколько версий с разными URL. При этом язык один и контент одинаковый с несущественными отличиями. Тогда нужно выбрать каноническую и сделать отсылки к ней на всех дублях.
Но если речь идет о разных языковых версиях, нужно использовать hreflang, чтобы поисковики выдавали отдельные результаты. Атрибут hreflang нужен для указания дополнительных URL с аналогичным или похожим содержимым на других языках или для отдельных регионов.
Из-за перехода Google на Mobile-First Indexing, нужно правильно настроить hreflang. Десктопные hreflang-теги должны ссылаться на десктопные URL, мобильные — соответственно на мобильные URL. И редиректить пользователей на нужную версию в зависимости от устройства.
Верхний и нижний регистр
Поисковик может посчитать разными два адреса, написанные в разном регистре. При назначении URL система должна применять только нижний регистр, чтобы одни и те же ссылки были действительно одинаковыми.
Материал по теме:
Htaccess для перенаправления верхнего регистра на нижний
Итак, с помощью rel = «canonical» можно указать поисковику, какую страницу считать основной и главной среди дублей, чтобы сканировать ее, индексировать, показывать в выдаче и направлять на нее ссылочный вес. Разберемся, как настраивать тег.
Как настроить canonical правильно: 6 способов указать основной URL
Для использования канонического тега нужно выбрать среди дублей основной URL, вписать его в атрибут:
<link rel="canonical" href="http://site.ru/page/">и добавить ко всем неосновным страницам.
Для добавления есть несколько способов:
С помощью плагина CMS
Большинство CMS имеют встроенную функцию или плагины, которые позволяют автоматизировать настройку канонического URL.
К примеру:
-
настроить canonical на WordPress можно с помощью плагина Yoast SEO;
-
в OpenCart в настройках товара можно задать SEO URL;
-
в Joomla версии от 3 и выше можно включить функцию SEF. Тогда в код технических страниц вида /index.php?option добавится атрибут rel = «canonical» с указанием основной страницы с ЧПУ.
Для примера подробнее рассмотрим WordPress как самую популярную CMS среди наших подписчиков.
Настройка canonical WordPress
Все просто: установите плагин Yoast SEO, чтобы канонические теги добавлялись автоматически.
Настроить теги для конкретной страницы можно в разделе «Дополнительно» («Advanced»), там нужно указать основной URL:
Yoast SEO делает так, что если на странице появляется noindex или nofollow, тег canonical пропадает, чтобы не было проблем с представлением сайта в выдаче.
Если вы не используете CMS и не можете реализовать канонический тег плагинами, можно сделать все иначе.
Прописать между тегами любой HTML-страницы
Основной способ — прописать rel = «canonical» в секцию < head > любой страницы-копии.
Например, если для страницы https://site.ru/*utm_content= канонической будет https://site.ru/, на страницу https://site.ru/*utm_content= нужно добавить код:
<link rel="canonical" href="http://site.ru/">В заголовке HTTP
У PDF и других не HTML документов нет секции < head >, так что использовать предыдущий способ не получится. Если у вас есть доступ к настройкам сервера, можно указать канонический тег в заголовке HTTP с использованием .htaccess или PHP.
При запросе дублирующего файла сервер должен отдавать в заголовке ссылку на оригинальный файл:
Link: <http://example.com/file.pdf>; rel="canonical"К примеру, вы составили руководство, выложили его в блог и отдельно оформили в PDF-файл для скачивания, который разместили в подкаталоге http://site.ru/blog/*. HTTP-заголовок для этого руководства в PDF может выглядеть так:
HTTP/1.1 200 OK
Content-Type: application/pdf
Link: <http://site.ru/blog/canonical-tags/>; rel="canonical"
С другими страницами так тоже можно.
В файле Sitemap
Поисковики по умолчанию думают обо всех ссылках в XML-файле как о канонических. У Google есть требование включать в Карту сайта только канонические адреса страниц. Но Карта не свод правил для поисковых ботов, а список рекомендаций, который поисковики могут проигнорировать.
Материал по теме:
Как составить Sitemap
Через 301 редирект
Отвести трафик и ссылочный вес от дублей к канонической страницы можно с помощью 301 редиректа. Этот способ можно использовать, если сайт, к примеру, доступен по нескольким адресам:
https://site.ru/
http://site.ru/
http://www.site.ru/
https://www.site.ru/
Можно выбрать в качестве основного https://site.ru/, а со всех остальных настроить перенаправление.
Материал по теме:
Как настроить 301 редирект самостоятельно
Дополнительный сигнал — ссылки
Представитель Google Джон Мюллер в этом видео перечислял все сигналы, которые поисковик использует для определения канонического адреса.
К примеру, между адресами HTTPS и HTTP Google выберет HTTPS, а еще он может предпочесть привлекательный с его точки зрения URL. В числе сигналов каноникализации числятся ссылки с одной страницы на другую. Если вы указали канонической одну страницу, а по совокупности факторов другая кажется поисковику более подходящей, он не будет вас слушать.
Неправильной настройкой можно навредить индексированию страниц. Разберем несколько типичных ошибок оптимизаторов.
Неправильно указан canonical: популярные ошибки настройки
Использование нескольких канонических ссылок для одной страницы
Для одной страницы нужно указать один канонический адрес. Если указано несколько, бот либо проигнорирует страницу вообще, либо примет к сведению первый указанный URL.
Проверяйте, как плагин CMS реализует canonical, иногда из-за неправильной настройки он может указывать несколько адресов.
Настройка разных канонических URL одной странице
Похожий пункт, но речь идет не о нескольких канонических адресах для одной страницы, а в о разных, указанных разными способами.
Если вы используете несколько способов указать канонический тег, например, в HTTP-заголовке и в секции < head >, ссылка на основную страницу должна быть одна и та же.
Настройка цепочки канонических URL
Бот не будет учитывать канонический адрес, если для страницы, которую вы указали основной, настроена какая-то своя основная страница. Например, для адреса site.ru/1 канонической ссылкой указана site.ru/2, а для нее указана site.ru/3.
Размещение rel = «canonical» не в секции head
Тег rel = «canonical» должен находиться только в секции < head >. Если указать его в < body > документа, боты его проигнорируют. Или даже могут проигнорировать всю страницу.
Лучше перепроверить: даже если вы поставили canonical ближе к началу документа, секция < head > может закрыться раньше, например, из-за вставок JavaScript, контейнеров < iframe > или незакрытых парных тегов. Тогда canonical окажется за пределами < head > в секции < body >.
Указание первой страницы пагинации как канонической
Если для всех страниц пагинации канонической указать первую, бот не проиндексирует остальные. Выше мы писали, как лучше сделать, есть три варианта:
-
сделать канонической страницу «Показать все», если она есть;
-
для каждой страницы поставить ее же URL в качестве канонической, если нет общей страницы.
Но если вы считаете, что наличие всех страниц пагинации в выдаче плохо повлияет из-за повторяющихся Title и Description, не ставьте канонический тег вообще и закройте их для индексации. Используйте noindex, follow для страниц пагинации и для /page укажите disallow в файле robots. Такая настройка означает, что индексировать нельзя, а переходить по ссылкам можно.
Использование канонических URL вместо 301 редиректа
Тег canonical и 301 редирект кажутся похожими — перенаправляют бота на основную страницу. Но не стоит использовать canonical вместо редиректа. Редирект переводит весь трафик на один URL, а при использовании rel = «canonical» страница откроется, будет активной и сможет получать трафик, но не появится в индексе.
Выбор главной как канонической для всех страниц
Ошибкой будет указать главную страницу в качестве канонической для всего сайта. Боты могут проигнорировать все страницы, кроме главной.
Закрытие канонической страницы от индексирования
Если канонический URL закрыт от индексирования или по другой причине недоступен для поискового бота, он не сможет участвовать в формировании выдачи. В этом случае бот возьмет доступный неканонический URL.
Как проверить canonical
Проверить, для каких страниц вы настроили canonical и какие канонические страницы указали, можно с помощью сервиса Screaming Frog SEO Spider.
Узнать, какую страницу Google считает основной для конкретного URL, можно через инструмент проверки URL.
Проверить, как поступил Яндекс, можно в Вебмастере: если вы верно указали каноническую страницу, дубли пропадут из поиска. Посмотрите страницу «Индексирование» — «Страницы в поиске». Если страницу исключили из результатов, она будет в блоке «Исключённые страницы».
Рассказывайте, о каких необходимых вариантах использования canonical мы забыли, и какие еще ошибки настройки вы встречали в своей практике!
- Что такое канонические URL адреса?
- Примеры канонических адресов
- Роль канонических адресов в SEO
- Правильно устанавливаем канонические URL адреса
- Понятие «каноническая ссылка»
- 301 редирект это замена rel=»canonical»?
- Яндекс Вебмастер — статус «Неканоническая»
- Что это значит?
- Что с этим делать?
В широком смысле слова, канонический означает «принятый за образец», «твердо установленный». То есть, канонический URL это, грубо говоря, основной адрес страницы.
Обычно, один материал имеет один URL адрес, к примеру www.example.ru/1.html. Но иногда одна и так же страница может быть доступна по нескольким адресам. К примеру: www.example.ru/1.html и www.example.ru/1/1.html. В таком случае, необходимо определить, какой из 2-х адресов является основным или каноническим.
Предположим, что www.example.ru/1.html был выбран в качестве основного URL. Тогда на странице с данным адресом (а так же, других страницах с копией контента) необходимо разместить следующий элемент:
<link rel="canonical" href="www.example.ru/1.html" />Размещается он в шапке сайта, между тегов <head></head>.
Внимание! Что бы снизить вероятность ошибки, внутри элемента link rel=»canonical» необходимо использовать абсолютные, а не относительные адреса. То есть, добавлять к ссылке домен.
Убедитесь, что в технической карте сайта sitemap.xml размещены именно канонические ссылки. Иначе это может привести к ошибкам индексирования.
Примеры канонических адресов
Предположим, что мы создали статью о продвижении Интернет-магазина одежды, для которой сделали красивый, понятный для человека URL.
Но статья осталась доступна по техническому адресу, который мы больше видеть не хотим.
В этом случае, на странице со статьей, нам необходимо прописать элемент <link rel=»canonical» href=»https://dh-agency.ru/prodvijenie-magazina-odejdy/» />, в котором указан основной, канонический адрес.
Вот таким образом:
Теперь адрес https://dh-agency.ru/prodvijenie-magazina-odejdy/ будет считаться основным.
Роль канонических адресов страниц в SEO
С точки зрения поисковой оптимизации, наличие одного основного URL адреса страницы просто необходимо. Во-первых, это позволяет сэкономить время, так как роботу не приходится загружать копии контента. Во-вторых, не остается никаких сомнений, какой адрес должен участвовать в поисковой выдаче. В-третьих, снижается нагрузка на сайт, что так-же важно для посещаемого ресурса.
Нужно понимать, что краулер отводит ограниченное количество времени на индексацию сайта, поэтому многочисленные дубли страниц могут сильно ударить по эффективности его работы.
Правильно устанавливаем канонические URL адреса
Правильно установленный канонический адрес отвечает следующим требованиям:
-
Каноническая страница, указанная в элементе link rel=»canonical», обязательно должна существовать и быть доступна для пользователей;
-
Канонический адрес должен быть указан только для одного домена и поддомена. Грубо говоря, не должно быть ссылок на другие ресурсы;
-
Для страницы может быть указан один единственный канонический адрес;
-
Убедитесь, что на сайте отсутствуют рекурсии или «цепочки» канонических адресов. То есть, одна страница не должна ссылаться на другую, которая, в свою очередь, ссылается на третью или первую;
-
Элемент link rel=»canonical» должен находится между тегами <head></head>.
Уверены, что Ваши канонические адреса соответствуют всем вышеуказанным требованиям? Тогда можете считать их просто превосходными!
Понятие «каноническая ссылка»
Те, кто только начал окунаться в основы поисковой оптимизации, иногда разделяют понятия «канонический адрес» и «каноническая ссылка». На самом деле, речь идет об одном и том же — о главном URL адресе страницы.
Нет никаких канонических <a href=»»> </a> и «главных ссылок ссылок для перелинковки».
301 редирект — замена rel=»canonical»?
Когда речь заходит о выборе между 301 редиректом и элементом link rel=»canonical», мы обычно советуем использовать именно переадресацию. Все дело в том, что тег link rel=»canonical» не является обязательным, то есть, может быть проигнорирован поисковой системой.
Использование link rel=»canonical» актуально только тогда, когда сделать 301 редирект невозможно или проблематично.
Есть и еще один плюс link rel=»canonical» перед 301 редиректом — его простановку возможно сделать автоматической при создании страницы. К примеру, в WordPress эта функция уже реализована. То есть, заранее указав канонический адрес, Вы можете избавить себя от будущих проблем с индексацией.
Яндекс Вебмастер — статус «неканоническая»
В Яндекс Вебмастере есть раздел «Исключенные страницы«, добраться туда можно из меню «Индексирование» -> «Страницы в поиске» -> «Исключенные страницы«.
Перейдя в этот раздел, Вы увидите все материалы, которые были по какой либо причине загружены в базу, но исключены из поиска.
Среди прочих причин исключения Вы можете увидеть статус «Неканоническая». Нажав на троеточие, отроется сообщение следующего вида:
«Страница проиндексирована по каноническому адресу https://dh-agency.ru/category/vnutrennyaya-optimizaciya/design/, который был указан в атрибуте rel=»canonical» в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.»
Что это значит?
Ничего страшного не произошло. Робот Яндекса проиндексировал страницу по первому (написанному синем шрифтом) URL, при этом на самой странице стоял элемент link rel=»canonical», в котором, в качестве канонического, был указан другой адрес (написанный серым шрифтом).
Пользуясь данной инструкцией, робот исключил неканонический URL.
Переживать, что материал был полностью исключен из поиска не стоит, он находится в выдаче, но по другому URL адресу.
Что с этим делать?
Если Вас не устраивает URL, который был выбран в качестве основного, необходимо поменять адрес в элементе link rel=»canonical» на предпочтительный. После изменения, страницу желательно отправить на переобход индексирующему роботу.
(«Индексирование» -> «Переобход страниц«)
Так изменения будут загружены в базу в самое ближайшее время.
Только не забудьте изменить адрес в файле sitemap.xml.
- Определения каноничности
- Как выглядит атрибут каноникал
- Процесс канонизации
- Почему канониклы важны для SEO
- Случаи, когда каноникал нужен✔️
- Случай, когда можно использовать каноникал👌
- Как указать канонический адрес страницы
- Правила использования канониклов
- Как проверить каноническую страницу
- Ошибки⛔
- Ответы на вопросы
- Какую страницу выбрать канонической?
- Почему Гугл ставит каноникал не мой сайт, а на сторонний ресурс?
- Каноникал или 301 редирект?
- Нужно ли ставить каноникал сам на себя?
- Вывод
Определения каноничности
Каноническая страница — это страница, которую поисковая система считает главной в группе схожих по содержимому.
Каноническая ссылка — это ссылка, которая ведет на каноническую страницу и содержит атрибут rel со значением canonical: <link rel=»canonical» href=»ссылка»/>.
Неканоническая страница — это страница на которой размещен атрибут rel=»canonical» с адресом другой страницы.
Как выглядит атрибут каноникал
Атрибут rel=“canonical” может быть прописан двумя способами:
- <link rel=“canonical” href=“ссылка” /> — в блоке <head> страницы;
- Link: <ссылка>; rel=»canonical» — в HTTP-заголовке.
Какой из этих методов выбрать лучше всего, разберем в главе «Как указать канонический адрес страницы».
Процесс канонизации
Канонизация — это процесс выбора главной страницы среди дублей (одинаковых страниц доступных по разным адресам) и/или среди страниц с похожим контентом.
В подкасте Search Off the Record от 4 ноября 2020 сотрудник Google Мартин Сплитт рассказал, как поисковик обрабатывает канонизацию:
Сначала нужно обнаружить дубликаты, сгруппировать их вместе и отметить, что эти страницы дублируют друг друга. Затем для всех них нужно найти страницу лидера.
И то, как мы это делаем, возможно, так делают большинство людей и другие поисковые системы — сводят контент к хэшу или контрольной сумме, а затем сравнивают контрольные суммы. Это намного проще, чем сравнивать, например, 3 000 слов.
Итак, мы сокращаем содержание до контрольной суммы, потому что не хотим сканировать весь текст и потому что это просто не имеет смысла — это требует больше ресурсов, а результат будет примерно таким же. Мы вычисляем несколько видов контрольных сумм для текстового содержимого страницы, а затем сравниваем их.
На вопрос: «Обнаруживает ли такой метод только точные дубли или частичные тоже?» специалист ответил:
У нас есть несколько алгоритмов, которые пытаются обнаружить и не учитывать шаблонную часть страниц. Так, например, мы исключаем навигацию из расчета контрольной суммы, убираем нижний колонтитул. Тогда у нас остается то, что мы называем центральным элементом, то есть центральное содержимое страницы, что-то вроде самой сути страницы.
После вычисления и сравнения контрольных сумм, те, которые похожи между собой (сильно или частично) мы объединяем в дублирующий кластер.
Далее по словам Мартина, необходимо выбрать один документ из кластера, который и будет показываться в результатах поиска:
Но вычислить какая из них будет ведущей в кластере не так просто. Есть случаи, когда даже людям будет сложно определить, какая именно страница должна отображаться в результатах поиска. Мы используем более 20 сигналов, чтобы решить, какую страницу выбрать как каноническую из дублирующего кластера.
Очевидно, что один из них — это содержание страницы. Но это могут быть и другие сигналы: у какой страницы более высокий PageRank, на каком протоколе страницы (http или https), включена ли страница в карту сайта, перенаправляется ли на другую страницу, проставлен ли атрибут rel=canonical… Каждый из этих сигналов имеет свой вес, а для подсчета весовых коэффициентов мы используем машинное обучение.
После сравнения всех сигналов для всех пар страниц, мы приближаемся к фактическому определению канонической.
Почему канониклы важны для SEO
1) Поисковики не любят дублирующийся контент, потому что он засоряют выдачу. Так же алгоритмам бывает непросто выбрать правильно главную страницу. Атрибут rel=»canonical» подсказывает какой URL стоит индексировать.
Google и Яндекс заявляют, что они не всегда признают указанный канонический адрес. Из-за того, что теги каноничности считаются подсказками, а не директивами (указаниями). Учитываются различные сигналы (были рассмотрены выше). Грамотное использование тегов каноничности помогает снизить риск того, что робот сочтет канонической не ту страницу.
2) Большое количество дублирующегося контента может плохо сказаться на «краулинговом бюджете» вашего сайта. Это значит поисковые системы будут тратить свои ресурсы на сканирование неуникальных страниц вместо того, чтобы находить новый или обновленный контент.
Стоит отметить, что при грамотной настройке, поисковые боты обходят неканонические страницы заметно реже канонических.
Сотрудник Яндекса Платон Щукин подчеркивает:
Поисковой робот может посещать ссылки с неканонических страниц.
Частоту обхода назвать сложно: на планирование и обход страниц влияет очень большое число факторов. И если поисковому роботу уже известны ссылки на те страницы, которые указаны на неканонических адресах, например, из файлов sitemap, робот в любом случае будет обходить их.
3) Атрибут каноничности помогает в консолидации переходов на одинаковые или повторяющиеся страницы. Это необходимо, чтобы собрать всю информацию, которая есть о разных страницах (например, ссылки на них), и связать ее с одним URL.
Например, чтобы ссылки для страницы site.ru/tea/red?gclid=123 объединить со ссылками для site.ru/tea/red.
4) Данные из отчета об эффективности в Google Search Console с 2019 привязаны к каноническим адресам. Это значит, что для получения корректных данных из отчета нужно указать правильные канонические страницы.
5) Проставленные канониклы для каждой страницы помогают защититься от спама, когда конкуренты генерируют мусорные страницы через гет-параметры.
Случаи, когда каноникал нужен✔️
Есть несколько ситуаций, когда атрибут каноникал нужно использовать. В остальных случаях его можно использовать по своему усмотрению (рассмотрим отдельно).
Для страниц-дубликатов
Нередко одна и та же страница может открываться по разным URL-адресам. Это происходит из-за того, что раздел или товар/услуга/публикация может принадлежать нескольким категориям. В этом случае необходимо выбрать один адрес, который будет считаться основным, а для остальных страниц-копий проставить каноникал.
Пример: в интернет-магазине попасть на товарную страницу майки можно тремя способами:
- site.ru/t-shirt/nike/futbolka-sportivnaya/
- site.ru/brands/nike/futbolka-sportivnaya/
- site.ru/t-shirt/kovty/sportivnyye/futbolka-sportivnaya/
В качестве канонического урла можно выбрать любой, однако предпочтительными будут 1-й или 2-й варианты. Т.к. их уровень вложенности адреса меньше, чем у 3-го варианта. (P.S. Исследование факторов рейтинга 2016 года от Backlinko выявило сильную корреляцию между короткими адресами ссылок и высокими позициями в Google).
Также дублями с точки зрения поисковых систем считаются страницы сортировок т.к. порядок вывода содержимого не меняет сам контент. Это страницы вида:
- site.ru/divany/?sort=price_asc
- site.ru/divany/?sort=price_desc
- site.ru/divany/?sort=new
- и т.д.
Еще канониклы стоит использовать в тех случаях, когда после применения фильтров на сайте, содержимое страницы не меняется.
Например, есть страница «сплит-системы» представленная 5 моделями. После применения фильтра «Рекомендуемая площадь охлаждения» со значением «до 30 кв. м» на странице отображаются все те же 5 моделей. Т.е. в данном случае контент не изменился и поэтому стоит проставить каноникл в сторону родительской страницы.
Для страниц с похожим контентом
Если у вас есть похожий контент по разными адресами, то также стоит использовать каноникал. Например, это могут быть товары отличающиеся только цветом или размером. В этом случае выбираем из группы-страниц главную, расставляя канонические ссылки на нее. Такой вариант избавления от похожих страниц стоит применять, когда по ключу «товар+цвет», «товар+размер» нет спроса.
Для мобильных URL-адресов
Если урл адреса для мобильных устройств реализованы на отдельном домене (m.site.ru), то обязательно указывать каноническую ссылку на каждой такой странице в сторону основной (т.е. десктопной).
Для AMP-страниц
Для страниц, созданных по технологии AMP, ситуация точно такая же, что была рассмотрена выше. Для каждой AMP-страницы необходимо указать канонический адрес в сторону основной страницы.
Кстати, для Турбо-страниц, которые являются аналогом технологии AMP, по умолчанию проставляется канонический адрес.
Случай, когда можно использовать каноникал👌
Теперь рассмотрим ситуации, когда канонические адреса применяются в качестве одного из возможных решений технических проблем.
Для динамических адресов
На сайте могут формироваться динамические адреса, путем добавления различных идентификаторов и параметров в результате взаимодействия с фильтрами, за счет спама, переходов по рекламе и т.д.
- site.ru/kitchen/table?material=wood&color=red
- site.ru/kitchen/table?gclid=ABCD
Отсекать такие дубликаты можно с помощью канониклов, блокировки мусорных адресов по маске в robots.txt, с помощью директивы Clean-param для Яндекса (рекомендуется), с помощью инструмента «Параметры URL» для Гугла.
Для копий страниц на многоязычных и мультирегиональных сайтах
Версии одной страницы на разных языках считаются копиями, когда основной контент написан на одном и том же языке, а переведены лишь колонтитулы и прочие незначительные текстовые элементы. В этом случае нужно указать в качестве канонической страницы основную версию.
Использование rel=»canonical» на пагинации
Каноникал на пагинации можно использовать в двух вариациях:
- если существует общая страница, которая содержит весь контент с пагинации, то проставлять канониклы на нее;
- когда на каждой странице пагинации каноникал стоит сам на себя.
Больше информации по оптимизации страниц пагинации читайте в нашей статье.
Пример применения rel=»canonical» на пагинации от Гугла
Пример применения rel=»canonical» на пагинации от интернет-магазина Walmart
Для отдельных страниц печати
Бывает, что страницы печати формируют отдельные страницы, которые бесполезны для поисковых систем. Например:
- site.ru/gotovyy-sertifikat-covid/
- site.ru/gotovyy-sertifikat-covid/print/
Установка каноникала в сторону родительской страницы поможет избежать дублирования.
Для склейки
Использовать канониклы можно для склейки страниц, когда контент одинаковый, а URL-адреса различаются только:
- префиксом www или его отсутствием: https://site.ru и https://www.site.ru
- протоколами http и https: http://site.ru и https:/site.ru
- слешом на конце урла или его отсутствием: site.ru/seo-god/ и site.ru/seo-god
Для индексных страниц
Главная страница сайта может быть открыта по разным адресам:
- site.ru/index.html
- site.ru/index.htm
- site.ru/index.php
- site.ru/default.htm
- и т. д.
Для дублей можно указать каноническую страницу в сторону основной версии.
При разном написание URL-адреса
Например, когда страницы одинаковы по контенту, а отличаются только наличием заглавных букв в адресе:
- site.ru/author/mike/
- site.ru/Author/Mike/
Как указать канонический адрес страницы
Есть 3 основных метода указания канонической страницы. Далее рассмотрим каждый и сравним их.
HTML-код
Самый популярный способ — это использовать тег <link> в разделе <head> HTML-документа:
<link rel=»canonical» href=»ссылка на каноническую страницу» />
При этом необходимо установить каноническую ссылку для всех страниц-дублей.
Http-заголовок
Каноникализация может проводится как для обычных HTML-страниц, так и для электронных документов (PDF, DOC, XLS и т.д.).
Если у вас, например, PDF-файл доступен по разным URL-адресам, то необходимо указать предпочтительный через HTTP-заголовок следующим образом:
Link: <ссылка на каноническую страницу>; rel=»canonical»
Файл Sitemap
Все страницы в карте сайта по умолчанию считаются каноническими. По этой причине в сайтмапе не должно быть дубликатов. Иначе поисковые боты будут путаться в выборе канонического адреса.
Никаких атрибутов для указания канонической страницы использовать не нужно.
Сводная таблица методов
- Для обычного HTML-документа размещайте конструкцию <link rel=»canonical» href=»ссылка»/> непосредственно на странице в разделе <head>.
- Для документа формата .PDF, .DOC и т.д. используйте HTTP-заголовок с атрибутом rel=»canonical».
- Канонический адрес в карте сайта является менее значимым сигналом, чем атрибут rel=»canonical». Поэтому на этот метод рассчитывать не стоит. Главное, чтобы в Sitemap не попадали дубли страниц, дабы не путать поисковые системы.
Установка канониклов на различных CMS и конструкторах
Для различных CMS существуют собственные плагины, которые позволяют настроить канонические URL-адреса, например, для WordPress можно воспользоваться Yoast SEO.
Для OpenCart настройка канониклов производится средствами CMS. Необходимо зайти в настройки товара и задать параметр SEO URL.
В Тильде по умолчанию проставляется каноникал сам на себя, но так же возможно изменить значение атрибута для каждой страницы вручную.
Правила использования канониклов
Джон Мюллер советует использовать только абсолютные URL-адреса:
Вы можете использовать как относительные, так и абсолютные канонические адреса. Я бы рекомендовал использовать последние. Чтобы вы были уверены, что адреса правильно интерпретируются.
В справке Яндекса такая же рекомендация:
Указывайте канонический адрес в пределах одного домена. В качестве канонического адреса задавайте абсолютный путь, например http://example.com/blog/.
✅ Правильно:
<link rel=“canonical” href=“https://site.ru/covid/2021/” />
⛔ Не правильно :
<link rel=“canonical” href=”site.ru/covid/2021/” />
Чек-лист:
- Убедитесь, что вся или большая часть основного контента дублированной страницы также отображается на канонической странице.
- Убедитесь, что rel=canonical указан только 1 раз на странице в разделе <head> или в HTTP-заголовке.
- Убедитесь, что каноническая страница возвращает 200 ОК.
- Убедитесь, что канонический адрес доступен для сканирования и индексирования.
- Убедитесь, что каноническая страница указанная через атрибут rel=canonical совпадает со страницей в файле sitemap.
- Убедитесь, что для группы страниц-копий выбрана единственная каноническая страница.
Как проверить каноническую страницу
Чтобы узнать какую страницу поисковая система определила в качестве канонической нужно воспользоваться специальными отчетами.
Проверка канонической страницы в Google Search Console
C помощью инструмента проверки URL в Google Search Console можно проверить, какой канонический адрес выбрала (или не выбрала) поисковая система. Нужно ввести интересующий URL, отправить запрос и получить в ответ сведения из индекса Гугла. Нас интересует отчет «Покрытие» и его статус.
Важно обращать внимание на дату сканирования. Сведения о проверяемой странице могут быть устаревшими. Если это так, то есть смысл отправить каноническую страницу на переиндексацию и дождаться обновления отчета.
Итак, возможны 4 варианта статуса. Далее про каждый подробнее.
Вариант страницы с тегом canonical
Данный статус означает, что проверяемая страница дублирует другую, которую Google считает канонической, и при этом канонический адрес верно указан.
В этом случае никаких дополнительных действий предпринимать не нужно.
Страница является копией. Канонический вариант не выбран пользователем
Это значит, что у проверяемой страницы есть точные копии и ни одна из них не указана в качестве канонической в явном виде. При этом Google считает анализируемую страницу неканонической. В отчете отображается какую страницу поисковик считает главной.
Если страница выбранная Гуглом вас не устраивает, то стоит указать каноническую страницу в явном виде через HTML-код или HTTP-заголовок. Иначе можно оставить все как есть.
Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают
Это значит, что для проверяемой страницы указан канонический адрес, но Google считает, что другой URL больше подходит. Поэтому робот не проиндексировал страницу.
В справке Гугла рекомендуют пойти у них на поводу и отметить страницу как неканоническую копию. Однако если вас такой вариант не устраивает, то нужно будет проанализировать почему поисковик выбрал другую страницу (ссылка на абзац про процесс канонизации) и внести правки. Добавить каноническую страницу в карту сайта и удалить из нее дубли, проверить наличие внутренних ссылок на эту страницу, получить на нее внешние ссылки и т.д.
Страница является копией. Отправленный URL не выбран в качестве канонического
Отличие этого отчета от предыдущего в том, что страницы были принудительно отправлены на индексирование и при этом Google их считает копиями. Грубо говоря это отчет можно назвать «Зачем ты просишь меня индексировать неканонические страницы?».
Проверка канонической страницы в Яндекс.Вебмастере
В Яндекс.Вебмастере в разделе «Страницы в поиске» необходимо на вкладке «Последние изменения» отфильтровать интересующую вас страницу по условию «Статус и URL». В отчете будет указано является ли проверяемая страница канонической или нет.
Также возможно скачать данные в .XLS формате и отфильтровать данные по столбцу «status», где выбрать значение «NOT_CANONICAL». Т.о. вы получите весь список канонических страниц, которые не участвуют в поиске.
Ошибки⛔
Мы собрали наиболее популярные ошибки, которые могут возникнуть в процессе канонизации.
Блокирование с помощью файла robots.txt
Блокировка неканонических адресов в robots.txt не позволяет поисковыми роботам просканировать их содержимое. Поэтому такие страницы не смогут передавать сигналы, даже если на них установлен атрибут rel=»canonical».
Если в robots.txt была заблокирована каноническая страница, то вместо нее в поиске может участвовать копия, если она доступна для индексации.
Совмещение noindex и rel=»canonical»
Официальный ответ Джона Мюллер о различиях между сигналами noindex и rel=canonical и почему их нельзя совмещать:
Когда Google видит два URL с одного сайта, которые выглядят одинаково, а вы четко сообщаете о своих предпочтениях, то мы стараемся объединить их и обрабатывать как один (более сильный) URL вместо двух. Редиректы, rel=canonical, внутренние и внешние ссылки, файлы Sitemap, heflang и т.д. демонстрируют нам ваши предпочтения, поэтому чем более согласованно они применяются, тем скорее мы им последуем и используем их для канонической версии страницы.
С другой стороны, noindex (один) и директива disallow в файле robots.txt не являются четкими сигналами для каноникализации. Наличие на странице лишь тега noindex не говорит нам, что вы хотите объединить его с чем-то еще и что сигналы необходимо перенаправить. А директива disallow в файле robots.txt еще сложнее для понимания, так как мы не знаем, есть ли на сайте похожие страницы, поэтому не можем использовать данный сигнал для каноникализации.
Отсюда вытекает правило: нельзя смешивать noindex и rel=canonical: для нас это очень противоречивые сигналы. Обычно мы учитываем rel=canonical как более важный сигнал. Однако всякий раз, когда вы полагаетесь на интерпретацию со стороны компьютерного скрипта, вы уменьшаете вес вашего входа. А SEO сводится к передаче компьютерным скриптам информации о ваших предпочтениях.
Ошибка в написании канонического адреса
Речь идет о тех случаях, когда адрес канонической страницы по логике выбран правильно, но допущена ошибка в его написании. Например:
- утрачен слеш в конце урла или наоборот добавлен лишний;
- указан http протокол вместо https или наоборот;
- домен указан с www или без него;
- с ошибкой указан относительный адрес, например <link rel=»canonical» href=»site.ru/catalog/phones/» />.
Битые ссылки
Когда одна или несколько страниц указывают в качестве канонического адреса страницу с кодом состояния 4XX — это считается ошибкой. В этом случае сигналы с неканонических страниц никуда не перейдут.
Ссылки на страницы с редиректом
Канонические ссылки должны вести на наиболее предпочтительную версию страницы. Редирект же указывает на то, что нужно учитывать другой адрес. Из-за этого поисковые системы могут неверно интерпретировать тег или проигнорировать его вовсе.
Канонический адрес указывает на другой домен или поддомен
Эта ситуация актуальна только для Яндекса. Поисковик не учитывает канониклы, если они ведут на другой домен или поддомен.
В блоге Яндекса для вебмастеров сказано:
Стоит отметить, что межхостовый атрибут все ещё не поддерживается, поэтому, если отдельные страницы будут содержать атрибут с такими указаниями, как неканонические, они из поиска не выпадут.
Атрибут каноникал помогает указать оригинал контента. Например, если вы размещаете статью на стороннем ресурсе, но хотите чтобы в результатах поиска отображался основной URL т.е. с вашего сайта. Или у вас на основном домене и поддоменах есть одинаковые страницы (например блог).
Гугл поддерживает междоменные канонические адреса.
Конфликт канонических страниц
Не указывайте разные канонические адреса для страниц копий. Например, в карте сайта один адрес, а с помощью атрибута rel=»canonical» – другой.
Цепочка канонических адресов
Например, для страницы A канонической версией является страница B, а для страницы B указан канонический адрес C. Такие цепочки путают поисковые системы из-за чего атрибут каноникал может быть проигнорирован.
Два атрибута rel=canonical
Каноническая ссылка ведет на не релевантную страницу
301 редирект работает примерно также, как атрибут canonical. Если контент на неканонической и канонической страницах совпадает, то они склеиваются. В противном случае склейки не будет.
Если вы делаете склейку на страницу с совершенно другим контентом, то Google это будет расценивать как soft 404, что приводит к потере 100% PageRank.
Использование rel=canonical в секции <body>
Тег rel=canonical должен быть размещен в разделе <head> или в HTTP-заголовке. В секции <body> он не учитывается.
Ответы на вопросы
Какую страницу выбрать канонической?
Чтобы было проще определиться с выбором канонической страницы, обратите внимание на следующие моменты:
- какая страница из группы дублей индексируется в данный момент;
- посещаемость каждой из страниц;
- наличие внешних/внутренних ссылок и их количество;
- в качестве главной версии лучше выбирать страницу с наименьшей вложенностью URL-адреса
Предпочтительно выбирать в качестве канонической страницы ту, которая уже в индексе, обладает максимальной посещаемостью, наибольшим количеством ссылок и минимальной длинной URL-адреса.
Почему Гугл ставит каноникал не мой сайт, а на сторонний ресурс?
Такое может возникнуть по двум причинам:
- Сайт был взломан и проставлен каноникал в сторону стороннего ресурса. Проверить легко. Заходим в исходной код нужной страницы и смотрим куда ведет каноникал. Если каноническая страница указана верно, то проблема может заключаться в другом.
- Ваш контент скопировал более трастовый сайт и Гугл посчитал его источником материала (пример). В данном случае вы можете подать DMCA запрос на удаление контента.
Каноникал или 301 редирект?
Google и Яндекс могут передавать сигналы ранжирования на другой URL без 301-редиректа.
Джон Мюллер в июне 2021 года поделился своими мнением на этот счет:
Бывают случаи, когда при смене URL страницы технически невозможно поставить 301 редирект.
И для таких случаев есть шанс, что сигналы передадутся аналогично тому, как если бы стоял редирект.
При этом должны выполняться условия:
- Контент должен быть тот же;
- Старая страница должна существовать.
В общем случае лучше использовать 301 редирект, когда это возможно.
Каноникал лучше использовать в ситуациях, описанных в главе «Случаи, когда каноникал нужен».
Нужно ли ставить каноникал сам на себя?
Не обязательно. Т.е. никакого эффекта в ранжировании это не даст. Максимум защитит от появления страниц дубликатов.
Джон Мюллер заявляет, что автореферентные теги каноничности не являются обязательными, однако их применение рекомендуется.
Я рекомендую использовать автореферентные теги каноничности, поскольку это лучше всего помогает нам понять, какую именно страницу вы хотите проиндексировать, или какой адрес должен быть у проиндексированной страницы.
Даже если у вас только одна страница, иногда ее можно вызвать через разные варианты адреса — например, с определенными символами в конце, в верхнем или нижнем регистре, с www или без. Все это можно конкретизировать с помощью тега rel canonical.
Так делают в самом Гугле
В справке Яндекса сказано, что если атрибут rel=»canonical» указывает на страницу, на которой размещен — это не ошибка. Робот просто посчитает ее канонической.
А в Яндексе так не делают
Вывод
rel=“canonical” — это очередной полезный инструмент для поискового продвижения, который помогает решить проблему с дублированием контента, а также с неэффективным расходованием краулингового бюджета. Главное применять канониклы только по назначению и грамотно их настраивать, тогда и будет результат.
Содержание
- Ресурс не найден
- Документ запрещен в файле robots.txt
- Документ является неканоническим
- Читаем из Помощи Яндекса
- Атрибут rel=»canonical» тега <link>
Очень странная произошла вещь с одним сайтом, созданном на OpenCart. Все страницы выпали из индекса Яндекса — осталось только одна — главная. Первая мысль — сайт попал под фильтр. Но это не обычный сайт, а интернет-магазин, который, кстати, приносит доход его владельцу.
Я впервые написал Платону Щукину с просьбой указать причину происшедшего.
Что же это могло произойти? Описание товаров почти все уникальные, сайт еще не продвигался и обратных ссылок пока нет.
В панели Яндекс.Вебастера в разделе «Исключенные страницы» находится информация о страницах, которые не были проиндексированы роботом.
В этом разделе находится информация о страницах, которые не были проиндексированы роботом при посещении сайта. Часто индексирование страниц намеренно запрещается вебмастером – это не является ошибкой и исправления не требует. Иногда могут возникать неполадки на стороне вашего сервера или сайта, что ведет к нежелательному исключению страниц, в этом случае проблему рекомендуется устранить.
В настройках вы самостоятельно можете указать, к какой категории относится та или иная причина исключения.
| Страницы запрещены к индексированию вебмастером или не существуют | |||
|---|---|---|---|
HTTP-статус: Ресурс не найден (404)  |
1 | ||
| Документ запрещен в файле robots.txt |
21 | ||
| Документ является неканоническим |
109 |
Я проверил все три категории
Ресурс не найден
Там все ОК, судя по всему кто-то набирал УРЛ в адресной строке и ошибся.
Документ запрещен в файле robots.txt
Я проверил, здесь всё правильно, эти страницы индексировать не нужно.
|
/index.php?route=account/account |
|
/index.php?route=account/address |
|
/index.php?route=account/download |
|
/index.php?route=account/edit |
|
/index.php?route=account/forgotten |
|
/index.php?route=account/login |
|
/index.php?route=account/newsletter |
|
/index.php?route=account/order |
|
/index.php?route=account/password |
|
/index.php?route=account/register |
|
/index.php?route=account/return |
|
/index.php?route=account/return/insert |
|
З/index.php?route=account/transaction |
|
/index.php?route=account/wishlist |
|
/index.php?route=affiliate/account |
|
/index.php?route=checkout/cart |
|
/index.php?route=checkout/checkout |
|
/index.php?route=checkout/quickcheckout |
|
/index.php?route=checkout/voucher |
|
/index.php?route=product/search |
|
/index.php?route=product/search&filter_tag=Product Name |
Документ является неканоническим
А вот тут уже интересно.
В коде документа в тэге содержится параметр rel=»canonical», содержащий канонический адрес страницы, по которому она индексируется роботом. Как правило, тег с атрибутом rel=»canonical» прописывают на дублирующих страницах сайта, в этом случае ничего исправлять не требуется.
Если страницы дублями не являются и должны индексироваться роботом, то вам необходимо убрать атрибут из их исходного кода. Более подробную информацию об использовании rel=»canonical» вы можете прочитать на следующей странице нашей Помощи.
Также в этом разделе могут присутствовать страницы, содержащие в коде документа мета-тег, и поэтому вместо них индексируются html-версии. Подробнее об индексировании AJAX-сайтов вы также можете прочитать в нашей Помощи.
Далее идет список УРЛ карточек продуктов (здесь их приводить не буду).
Теперь давайте размышлять вместе. Значит так. Что мы имеем? >Недоработку в OpenCart или странную реакцию Яндекса?
Смотрим что находится в коде страницы товара. Да там есть тег <link> с параметром rel=»canonical».
<link href="//site.ru/product-name" rel="canonical" />
Дело в том, что УРЛ, указанный в теге <link> совпадает с УРЛ самой страницы. Она что камикадзе? Что за суицит такой? Я понимаю, если бы УРЛ страницы, в коде которой был бы этот тег, указывающий на оригинал, тогда вопросов нет.
Теперь проверяем страницу этого поста моего блога, который работает на Вордпресс.
<link rel="canonical" href="//www.fortress-design.com/isklyuchennye-stranicy-dokument-yavlyaetsya-nekanonicheskim/" />
И что? И чем отличаются теги на этих двух страницах? Только тем, что у OpenCart rel="canonical" после ссылки, у WordPress — вначале. Но при этом мой блог отлично индексируется. Почему так? Где логика?
Значит Яндекс думает, что в Опенкарт эти карточки товара неканонические, а являются дублями оригинальных страниц. Но они как раз и являются оригиналами. Мда, наверное придется убирать из кода этот тег. Зачем мне проблемы? То что не нужно, я и сам закрою от индексации в robots.txt.
Читаем из Помощи Яндекса
Атрибут rel=»canonical» тега <link>
Если на сайте присутствуют группы схожих по контенту страниц, вебмастер может указать для каждой страницы группы предпочитаемый (канонический) адрес, который будет участвовать в поиске. Например, страница доступна по двум адресам:
<code>www.site.ru/pages?id=2 www.site.ru/blog</code>
Если предпочитаемый адрес — /blog, это нужно отразить в коде страницы /pages?id=2:
<code><link rel="canonical" href="//www.examplesite.ru/blog"/></code>
Робот считает ссылку с атрибутом rel=»canonical» не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован.
Например, робот может не использовать указанный вами адрес, если:
- Документ по каноническому адресу недоступен для индексирования.
- В качестве канонического адреса указывается URL в другом домене или поддомене.
- Вы указали несколько канонических адресов.
Представьте ситуацию: поисковой бот приходит к вам на сайт, сканирует контент и находит несколько одинаковых страниц. Как боту выбрать лучший вариант для ранжирования?
Бот доверится подсказкам, которые вы ему предоставите (если только вы не будете манипулировать алгоритмами поисковика). Если же вы не укажете, какой URL является каноническим (оригинальным / более важным для вас), бот сделает выбор за вас. А еще бот может расценить дублирующие страницы как одинаково важные. Тогда поисковик потратит краулинговый бюджет на повторяющийся контент, а прибыльные страницы могу в индекс так и не попасть.
Как избежать такого расклада? Ответ может показаться сложным, но в этой статье я объясню все просто. Итак, чтобы бот забрал в индекс выгодные страницы, их нужно канонизировать.
Читайте ниже, что это значит, как это нужно и не нужно делать.
Вы уверены, что у вас на сайте нет дубликатов?
Канонический URL – это страница, которую Google воспринимает как наиболее важную из нескольких дублирующихся URL-ов на сайте. Возможно вы думаете: «Я не копирую URL-ы у себя на сайте, поэтому мне не о чем беспокоиться». На самом деле дубликаты могут быть созданы автоматически. Например, поисковые роботы могут зайти на вашу страницу разными способами:
- Через протоколы HTTP и HTTPS:
http://www.yourwebsite.com
https://www.yourwebsite.com
- Через WWW и не WWW:
http://example.com
http://www.example.com/
Как лучше попасть к вам на сайт? Выберите лучший способ и не забудьте рассказать поисковым системам о своем выборе.
Рассмотрим еще один пример, когда множество дубликатов создается на коммерческом сайте автоматически. Сортировка товаров с помощью URL параметров по размеру, цвету, бренду и т. д. генерирует тысячи дубликатов. Например:
- yourwebsite.com/products/girls?category=dresses&color=white
yourwebsite.com/products/girls?category=dresses&color=black
- yourwebsite.com/dress?style=casual,long-sleeve
yourwebsite.com/dress?style=casual&style=long-sleeve)
Когда бот находит на сайте практически идентичный контент на разных URL-ах, авторитет сайта/позиция в органическом поиске снижается. Ведь поисковики ценят уникальный контент и ранжируют его выше, а дубликаты только тратят их ресурсы. Поэтому важно оптимальным способом разметить, какой контент на вашем сайте оригинальный, а какой нет. В статье я расскажу о четырех способах канонизации страниц. Мы поговорим о плюсах, минусах и особенностях использования каждого из них.
1. Тег Rel=canonical
Предположим, вы хотите сделать страницу https://yourwesite.com/page.php/ канонической. Для этого добавьте элемент link с атрибутом rel=»canonical» и ссылку на каноническую страницу в заголовок head всех дубликатов:
Если у канонической страницы есть вариант для мобильных устройств, добавьте элемент link с атрибутом rel=»alternate» и ссылкой на мобильную версию, например:
link rel=»alternate» media=»only screen and (max-width: 660px)» href=»https://m.yourwesite.com/page.php/»
Элемент link с атрибутом rel=»canonical» должны содержать абсолютный URL (полный), а не относительный (сокращенный) адрес.
Тег Rel=canonical канонизирует HTML-страницы. Для других же форматов, как, например, PDF, Google рекомендует прописывать атрибут rel=canonical в HTTP-заголовке. PDF на сайте необходимо канонизировать потому, что боты просматривают и индексируют такие файлы так же, как и HTML страницы.
Этим способом можно воспользоваться только если у вас есть доступ к настройкам сервера. Не буду детально описывать процесс создания rel=canonical HTTP, так как необходимо углубиться в технические детали, и статья растянется страниц на 10. Оставляю ссылку на хорошую статью от MOZ со всеми нюансами внедрения rel=»canonical» HTTP Headers. Так же, как и в rel=canonical link, URL-ы в HTTP-заголовке должны быть абсолютными.
3. 301 редирект
301 статус код – это перенаправление пользователей и ботов на другой URL.
Когда лучше применить 301 статус код:
- смена домена сайта;
- для ошибки 404 и контента, утратившего актуальность, но имеющего релевантные ссылки и большой трафик;
- для контента, который переехал на другой URL навсегда.
4. Sitemap/Карта сайта
Sitemap, или по-русски карта сайта — это XML-файл с информацией о местонахождении URL-ов, дате их последнего обновления, частоте обновления и др. Вебмастер Google Джон Мюллер подтвердил, что страницы в картах сайта бот воспринимает как приоритетные для индексации и ранжирования.
«…мы используем URL-ы в sitemap как способ понять, какой URL следует считать каноническим для определенного контента».
Все страницы в этом файле бот считает каноническими.
Не добавляйте в Sitemap неканонические страницы.
Как делать НЕ нужно
1. НЕ канонизируйте несколько дубликатов разными способами. Предположим, у вас есть страницы А и В с одинаковым контентом. В body страницы А вы добавляете тег rel=canonical, а страницу В указываете в sitemap (напоминаю, что все страницы в sitemap бот считает каноническими). Теперь бот запутался и потратил время и ресурсы, пытаясь понять, какой же контент считать оригинальным. Не надо так.
2. НЕ используйте rel=canonical link tag/ HTTP header на страницах категорий товаров и фильтров. На коммерческих сайтах товары можно отсортировать по цвету, размеру, бренду и т.д. Если на каждой странице поставить тег canonical, то бот будет ходить по каждому параметру URL-а и тратить краулинговый бюджет там. Страницы сортировки лучше закрыть в robots.txt или в meta “noindex”, в зависимости от размера сайта и его специфики.
3. Не используйте robots.txt для канонизации. Директивы в robots.txt показывают, какие страницы/папки нужно краулить боту, а какие нет. Однако вебмастер Google не рекомендует таким образом канонизировать страницы, ведь бот не может даже зайти на страницу и понять, что это дубликат/оригинал.
Источник: Twitter
Джон Мюллер:
Блокировка через robots.txt работает так, что мы даже не можем сказать, что это дубликаты. Лучше дать поисковой системе понять, что дубликаты есть, но ранжировать нужно страницу с rel=canonical элементом…
4. НЕ линкуйте дубликаты URL-ов внутри вашего сайта. Если вы канонизируете страницу, вы считаете ее более важной. Согласитесь, это странно, если вы ссылаетесь на неканонические/менее важные версии страниц.
5. НЕ вписывайте дубликаты в URL removal tool в Google Search Console. Этот метод временно блокирует доступ ботов не только к дублям, но и к оригинальным версиям.
6. НЕ канонизируйте HTTP, если на сайте есть версия страницы с HTTPS-протоколом. Наличие SSL-сертификата (который поддерживает HTTP) является одним из факторов ранжирования Google, поэтому переход на протокол HTTPS повышает позиции страницы в поиске.
Коротко о главном
Итак, канонизация – это способ показать Google, какие страницы предпочтительно показывать в поисковой выдаче.
Используйте эти четыре рекомендованных Google способа канонизации:
- Rel=canonical link tag – когда нужно канонизировать HTML страницы;
- Rel=canonical HTTP header – когда нужно канонизировать не HTML-файлы;
- 301 redirect – когда контент навсегда переезжает на другую страницу;
- XML Sitemap — чтобы перечислить все канонические страницы на сайте и облегчить боту сканирование (теги canonical также необходимо проставить).
Чтобы оптимизировать краулинговый бюджет и отправить прибыльные страницы в индекс, следуйте этим советам:
- Не канонизируйте несколько URL-ов с одинаковым контентом разными способами;
- Нe используйте rel=canonical tag на страницах фильтров;
- Не используйте robots.txt для канонизации;
- Не линкуйте дубликаты внутри вашего сайта;
- Не отправляйте дубликаты страниц в removal tool от GSC;
- Не канонизируйте HTTP-страницы.