Зеркала сайта – точные копии сайта, которые участвуют в поиске, являются дублями и мешают продвижению. Поэтому нужно склеить все зеркала в один адрес.
- Какие могут быть зеркала сайта
- Настройка редиректов на главное зеркало
- Главное зеркало в robots.txt
- Главное зеркало сайта Яндексе
- Главное зеркало сайта в Google
Какие могут быть зеркала сайта
Проверьте всевозможные адреса вашего сайта:
- WWW. Добавьте в адресную строку WWW и посмотрите, доступен ли сайт по этому адресу.
- index.php, index.html. Добавьте к адресу главной страницы и посмотрите, есть ли дубли по этим адресам.
- Слэши. Добавьте “/” после адресной строки и проверьте перенаправление.
«www.site.com», «www.site.com/index.php», «site.com/index.php», «site.com/index.html», «www.site.com /index.html» — это всевозможные дубли сайта.
Важно: Если на сайте нет безопасного соединения HTTPS, сначала подключите SSL-сертификат, настройте переезд с HTTPS на HTTPS, после этого переходите к склейке зеркал. Как перевести сайт на HTTPS, читайте в нашей статье.
Если на ваш сайт доступен по протоколу HTTPS и со всех адресов настроен редирект, то поздравляем! Можете сразу указывать главное зеркало.
Главное зеркало может быть: https://site.com или https://www.site.com. Если сайт уже давно индексируется с WWW, то можно оставить так, если же сайт новый, то лучше использовать формат без WWW, так как на современных сайтах не обязательно указывать принадлежность к всемирной паутине (WWW), это уже определяется автоматически.
Главное зеркало в robots.txt
Сообщите поисковым роботам о домене. Пропишите главное зеркало сайта в директиву host в файле robots.txt. Файл находится в корне сайта. Отредактировать его можно через хостинг или FTP.
Настройка редиректов на главное зеркало
После того, как вы определили, что у сайта есть зеркала, необходимо выбрать главное зеркало и настроить на него перенаправления. Для этого задайте редиректы с кодом 301 со старого ресурса на новый.
Например: сайт доступен по адресу https://site.com и https://site.com/index.php. Нужно сделать перенаправление с https://site.com/index.php на https://site.com.
301 редирект будет выглядеть так:
RewriteCond %{THE_REQUEST} ^[A—Z]{3,9} /index.php HTTP/
RewriteRule ^index.php$ HTTPS://site.com/ [R=301,L]
Все редиректы прописываются в файле .htacess, который находится в корне сайта, вместе с другими техническими файлами.
Главное зеркало сайта в Яндексе
Зайдите в Яндекс.Вебмастер. Далее «Настройка сайта» — «Переезд сайта». Поставьте галочку на «Добавить HTTPS» и уберите или поставьте на «Добавить WWW». В примере мы используем сайт без WWW.
Теперь Вы показали Яндексу, что нужно индексировать сайт по адресу «https://site.com».
Главное зеркало сайта в Google
Для того, чтобы показать Google главное зеркало сайта, нужно добавить сайт в Google Search Console по тому адресу, который будет индексироваться. Функции переезда в Google Search Console нет. Если сайт уже добавлен в панель вебмастеров, то добавьте снова тот адрес, который является главным зеркалом.
После этого Google определит главное зеркало автоматически.
Спасибо, что дочитали до конца. Переходите к следующей инструкции.
На чтение 4 мин Просмотров 5.7к. Опубликовано 03.06.2018 Обновлено 13.03.2019
Когда только начинаешь заниматься сайтами, то не задумываешься, что, например, www.webmaster-seo.ru и webmaster-seo.ru – разные адреса. Эти доменные имена являются зеркалами. На каждом из них могут отображаться разные сайты.
Содержание
- Какие сайты Яндекс считает зеркалами?
- Что такое главное зеркало?
- Как указать главное зеркало в Яндекс Вебмастер?
- Индексируются ли зеркала?
- Как проверить, является ли сайт чьим-нибудь зеркалом?
- Учитываются ли характеристики неглавных зеркал на главном?
- Склеятся ли адреса, если настроить перенаправление со всех страниц одного сайта на главную страницу другого?
- Как расклеиваются зеркала?
Какие сайты Яндекс считает зеркалами?
Яндекс считает зеркалами сайты, которые содержат одинаковый контент на страницах, находящихся на одинаковых адресах. Например, www.webmaster-seo.ru/yandex-webmaster/ и webmaster-seo.ru/yandex-webmaster/. У меня стоят редиректы, поэтому все зеркала ведут на один адрес.
Какие адреса могут являться зеркалами:
- с префиксом www и без него — www.primer.ru и primer.com;
- по протоколам HTTP и HTTPS — http://primer.com и https://primer.com;
- находится в разных доменных зонах — primer.com и primer.ru;
- настроен серверный 301 редирект с одного адреса на другой — primer.com перенаправляет на primer.ru.
Что такое главное зеркало?
Главное зеркало — это доменное имя сайта, по которому он индексируется в поисковике и показывается в результатах поиска, если доступен по нескольким доменам. Можно настроить в сервисе Яндекс Вебмастера.
Как указать главное зеркало в Яндекс Вебмастер?
Если изначально не было выбрано главное зеркало сайта, то робот выберет его самостоятельно в соответствии со своим алгоритмом.
Чтобы указать главное зеркало поисковику необходимо настроить переезд в Яндекс Вебмастере.
Зайдите в раздел «Индексирование» в пункт «Переезд сайта». Выберите новый домен, который будет главным зеркалом. Если в списке нет нужного адреса, то следует добавить сайт в Яндекс Вебмастер.
Если не планируете менять домен, а просто хотите сменить протокол или префикс, то для этого есть два пункта:
- добавить https;
- добавить www.
Чтобы выбрать главное зеркало нужно пройти несколько этапов:
- Добавить сайт в Яндекс Вебмастер;
- Отметить галочкой нужный пункт;
- Сделать 301-редирект со старого домена на соответствующие страницы нового.
Раньше это делалось довольно сложно и долго. На данный момент все проходит очень быстро и, обычно, без проблем.
И да, советую переходить на HTTPS, т.к. Google дает таким адресам чуть больше преимуществ за повышенную безопасность передачи данных по этому протоколу.
Если вы планируете сделать главным адрес с протоколом HTTPS (или с префиксом www), то добавляйте адрес именно с этим протоколом (префиксом), например, https://webmaster-seo.ru.
Есть другой вариант перехода на главное зеркало – просто сделать 301-редирект. Но если сначала сделать настройки в Яндекс Вебмастере, то переезд пройдет быстрее. Яндекс пишет, что смена занимает от одной до трех недель. После этого сайт начинает участвовать в поиске под именем нового главного зеркала.
Индексируются ли зеркала?
Яндекс склеивает все домены и показывает в поиске только главное зеркало. Страницы неглавного зеркала будут в поиске до тех пора, пока страницы главного зеркала их не вытеснят. Вытесненные страницы будут исключены из поиска, но могут храниться в базе Яндекса.
Как проверить, является ли сайт чьим-нибудь зеркалом?
Проверить является ли сайт зеркалом, можно добавив его в Яндекс.Вебмастер.
- Если сайт признан неглавным зеркалом, он будет автоматически добавлен вместе со своим главным зеркалом.
- Если сайты не являются зеркалами, они будут отображаться в сервисе независимо друг от друга.
При необходимости зеркало может быть отклеено.
Учитываются ли характеристики неглавных зеркал на главном?
Да, учитываются. Например, это полезно, если интернет-ресурс переезжает на новый домен. Если старый домен станет неглавным зеркалом нового, это поможет сайту сохранить позиции в поиске.
Склеятся ли адреса, если настроить перенаправление со всех страниц одного сайта на главную страницу другого?
Да, робот склеит такие сайты, но использовать этот способ не рекомендуется. Вместо него лучше настроить перенаправление на соответствующие друг другу страницы.
Как расклеиваются зеркала?
Если сайты перестают являться зеркалами друг друга и отдают разное содержимое, в течение нескольких недель они расклеиваются роботом.
Вы можете сообщить роботу о необходимости расклейки сайтов с помощью специального инструмента в сервисе Яндекс.Вебмастер.
После того, как адреса расклеятся, они будут отображаться как отдельные, не связанные между собой ресурсы.
В комментариях к статье о Search Console и «Яндекс.Вебмастере» читатель задал вопрос о выборе основного домена сайта. Пользователь поинтересовался, какой вариант лучше: с www или без www. Ответить на вопрос можно коротко. Лучше выбрать вариант, который вам больше нравится. Действительно сложные вопросы могут появиться во время настройки зеркал и перенаправлений. Ответы на них вы найдете в статье.
Что такое зеркало сайта
Зеркала — точные копии сайта, доступные по разным URL. Например, если по адресам nash-saitik.ru и нашсайтик.рф доступен одинаковый контент, поисковые системы признают сайты зеркалами. Обратите внимание, роботы сравнивают не только главные страницы ресурсов. По разным данным, чтобы поисковики признали сайты зеркалами, уровень совпадения контента должен составлять от 80 до 100 %.
Откуда берутся зеркала сайтов? Во-первых, владельцы сами их создают. С помощью зеркал можно решить следующие задачи:
- Сбор type-in трафика. Пользователи могут по-разному вводить адрес вашего сайта в адресную строку. Если ресурс доступен по URL macro-soft.ru, на него не попадают люди, которые вводят адрес macrosoft.ru. Решить проблему можно с помощью зеркала, с которого настроен редирект.
- Обеспечение постоянной доступности сайта. Если по каким-то причинам сервер с основным сайтом становится недоступным, пользователей можно перенаправлять на зеркало, расположенное на другом сервере.
- Переезд на новый домен. Зачем? Самый простой пример — изменение названия компании. Представьте, что сайт фирмы «Рога и копыта» доступен по адресу roga-kopyta.ru. После переименования организации в «Нос и хвост» логично поменять URL сайта на nos-hvost.ru. Как сохранить авторитет и аудиторию ресурса? Задача решается с помощью зеркала сайта.
Во-вторых, из-за префикса www зеркала сайтов появляются автоматически. Физически nash-saitik.ru и www.nash-saitik.ru — разные ресурсы. В данном случае URL с префиксом www представляет собой субдомен по отношению к основному домену nash-saitik.ru.
Поскольку по двум адресам обычно доступен одинаковый контент, поисковые системы признают их зеркалами и склеивают. Термин «склейка» значит, что в поиске участвует только один ресурс. Поисковики могут выбрать основной домен или главное зеркало автоматически. Также вы можете указать соответствующие настройки самостоятельно. Об этом дальше.
Какой вариант лучше: с префиксом www или без?
Откуда взялся префикс www? В конце 80-х годов прошлого века технические возможности компьютеров отставали от задумок изобретателей. Для физического хостинга одного небольшого сайта приходилось использовать несколько веб-серверов. Например, на одной машине размещался сервис FTP, на другой почтовый сервер, а на третьей контент сайта. Это отражалось в адресах ресурсов. Например, для доступа к почтовому сервису использовался адрес mail.vash-saitik.ru, а доступ к FTP открывался с помощью адреса ftp.vash-saitik.ru.
Ученый Тим Бернерс-Ли предложил объединить размещенную на разных серверах информацию во Всемирную паутину (World Wide Web). Чтобы обеспечить техническую возможность, Бернерс-Ли с коллегами разработали язык разметки гипертекста (HTML), протокол передачи гипертекста (HTTP) и универсальные идентификаторы ресурсов (URI), производными от которых являются URL. Чтобы пользователи понимали, что ресурс находится во Всемирной паутине, к его адресу добавляли префикс www.
В настоящее время люди понимают, что ресурс находится во Всемирной паутине, независимо от префикса www. Стоит ли использовать его в адресе сайта? Это вопрос личных предпочтений: выбирайте вариант, который вам больше нравится. Сомневаетесь? Вот аргументы в пользу URL без префикса:
- Префикс www ухудшает юзабилити URL. Пользователям приходится печатать на четыре символа больше, чтобы ввести адрес в строку браузера. В первую очередь это сказывается на мобильных пользователях.
- Префикс не несет важной смысловой нагрузки. Как отмечалось выше, посетители понимают, что URL vash-saitik.ru является гиперссылкой и указывает на расположение ресурса в интернете.
- В одном из интервью создатель Всемирной паутины Тим Бернерс Ли сказал, что он отказался бы не только от префикса www в URL, но и от двойной косой черты после http. По словам ученого, благодаря этому можно сэкономить чернила и бумагу, а также защитить от вырубки много деревьев.
А вот аргументы в пользу префикса www в URL:
- Многие пользователи по привычке вводят в адресную строку URL с www.
- В офлайне префикс помогает человеку понять, что речь идет о сетевом адресе. Учитывайте это, если планируете активно продвигать ресурс с помощью полиграфической продукции и наружной рекламы.
- Некоторые вебмастера считают, что префикс повышает визуальную привлекательность коротких URL.
- Сервисы Google и «Яндекса» доступны по адресам с www.
Зачем выбирать основной домен, если можно дать пользователям возможность заходить на сайт по URL с префиксом и без? Представьте ситуацию: ресурс доступен по адресам vash-saitik.ru и www.vash-saitik.ru. Вы публикуете ценную информацию, которой пользователи делятся друг с другом. Они используют разные ссылки: с префиксом и без.
Как отмечалось выше, поисковые системы допускают в индекс только одно из зеркал. Например, поисковики могут автоматически выбрать вариант без префикса. В этом случае они не учитывают обратные ссылки с www. Ресурс теряет часть естественной ссылочной массы, которая могла бы работать на авторитет сайта.
Чтобы решить эту проблему, необходимо выбрать основной домен, настроить редирект и уведомить поисковые системы.
Как настроить серверный редирект
Представьте, что вы выбрали вариант URL с префиксом. Проверьте адрес, по которому доступен ресурс в данный момент. Если при попытке войти на сайт по URL с www браузер перенаправляет вас на адрес без префикса, это происходит благодаря серверному редиректу.
Проверить редирект можно с помощью специальных сервисов, например, Redirect Checker. Введите URL сайта в поле для анализа и нажмите кнопку Analyze. Сервис покажет редирект и его тип. В выбранном примере настроен постоянный редирект 301 с URL www.drupal-guru.ru на drupal-guru.ru.
Вы выбрали главное зеркало с префиксом. Поэтому необходимо изменить редирект: на уровне сервера перенаправить посетителей с drupal-guru.ru на www.drupal-guru.ru.
Чтобы изменить редирект, нужно отредактировать данные в файле .htaccess. Это конфигурационный файл наиболее распространенного сервера Apache. Доступ к нему можно получить через FTP.
Подключитесь к серверу с помощью любого FTP-клиента, например, с помощью FileZilla. Данные для доступа можно получить у хостинг-провайдера. В меню «Сервер» включите опцию «Принудительно отображать скрытые файлы».
В корневом каталоге найдите файл .htaccess и скачайте его на жесткий диск.
Откройте файл с помощью текстового редактора и добавьте правило переадресации. Используйте такой код:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^drupal-guru.ru
RewriteRule (.*) http://www.drupal-guru.ru/$1 [R=301,L]
Вместо URL drupal-guru.ru вставьте адрес своего сайта.
Сохраните изменения в файле и загрузите его на сервер.
Обновите настройки CMS. Если вы пользуетесь WordPress, укажите основной домен в разделе консоли «Общие настройки».
Проверьте корректность редиректа с помощью сервиса Redirect Checker.
Если вы выбрали основной домен без префикса и хотите настроить редирект с адреса с www на адрес без www, используйте следующий код:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.drupal-guru.ru
RewriteRule (.*) http://drupal-guru.ru/$1 [R=301,L]
Как сообщить о главном зеркале «Яндексу»
«Яндекс» автоматически определяет главное зеркало, если редирект настроен корректно. Но если вы изменили основной домен, сообщите об этом поисковику.
Сначала добавьте в файл robots.txt директиву Host с указанием нового адреса. Для этого скачайте документ с сервера с помощью FTP-клиента. Файл находится в корневом каталоге в папке www.
Откройте файл в текстовом редакторе. Добавьте директиву Host после директив Disallow и Allow. Если вы выбрали главное зеркало с префиксом, добавьте такую строчку:
Host: www.drupal-guru.ru
Вместо URL www.drupal-guru используйте адрес вашего сайта. Записи в файле robots.txt могут выглядеть так:
Сохраните информацию и загрузите обновленный файл robots.txt на сервер. Проверьте изменения. Файл доступен по адресу www.drupal-guru/robots.txt.
Откройте раздел «Переезд сайта» в новом кабинете для вебмастеров «Яндекса». Он находится в меню «Настройки индексирования». Отметьте галочкой пункт «Добавить www» и сохраните изменения. Изменения вступят в силу после переиндексации ресурса.
Как узнать главное зеркало сайта с помощью Search Console Google
Чтобы выбрать основной домен в поисковой консоли Google, подтвердите права на управление двумя сайтами. Для этого добавьте в консоль ресурс с префиксом и без префикса. После подтверждения прав войдите в меню настроек сайта.
Отметьте флажком вариант домена с www и сохраните изменения.
После выбора основного домена Google будет рассматривать внешние ссылки с префиксом и без как идентичные. Иными словами, естественные бэклинки вида www.drupal-guru.ru и drupal-guru.ru будут засчитываться в актив вашего ресурса.
Как настроить главное зеркало для кириллического домена
Многие владельцы сайтов для удобства пользователей регистрируют кириллические домены. Например, сеть супермаркетов «Лента» владеет кириллическим доменом лента.рф. Однако сайт организации доступен по адресу www.lenta.com. Это возможно благодаря редиректу 301 с URL лента.рф на адрес основного домена.
Если вы укажете в файле .htaccess адрес кириллического домена, правильно редирект настроить не получится. Адрес необходимо конвертировать в латиницу с помощью punycode. Для этого воспользуйтесь конвертером, например, этим.
Представьте, что настраиваете редирект с URL друпал-гуру.рф на www.drupal-guru.ru. В файл .htaccess необходимо добавить такой код:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^xn—-7sbkb0bwgfvfb.xn--p1ai
RewriteRule (.*) http://www.drupal-guru.ru/$1 [R=301,L]
Чтобы настроить редирект с www.drupal-guru.ru на друпал-гуру.рф, укажите в .htaccess такой код:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.drupal-guru.ru
RewriteRule (.*) http:// xn—-7sbkb0bwgfvfb.xn--p1ai/$1 [R=301,L]
Обратите внимание, xn—-7sbkb0bwgfvfb.xn--p1ai — это URL друпал-гуру.рф в кодировке punycode.
Как настроить редирект при переезде на новый домен
При изменении адреса сайта «Яндекс» рекомендует сохранять старый домен в качестве зеркала нового. Это минимизирует влияние переезда на позиции ресурса в выдаче и трафик. Оптимальным вариантом поисковик называет постраничный редирект 301. В файле .htaccess необходимо настроить переадресацию с каждой страницы старого сайта на соответствующую ей страницу нового сайта.
Если ресурс состоит из нескольких страниц, проблем не возникнет. Но если страниц сотни или тысячи, на настройку редиректа уйдет много времени. Кроме того, сотни или тысячи редиректов в файле .htaccess создадут дополнительную нагрузку на сервер.
Чтобы решить проблему, используйте следующий код:
Options +FollowSymLinks
RewriteEngine on
<FilesMatch «robots.txt$»>
RewriteEngine off
</FilesMatch>
RewriteCond %{HTTP_HOST} ^www.drupal-guru.ru
RewriteRule ^(.*)$ http://opencart-guru.ru/$1 [R=301,L]
RewriteCond %{HTTP_HOST} ^www.drupal-guru.ru
RewriteRule ^(.*)$ http://opencart-guru.ru/$1 [R=301,L]
В данном примере код перенаправляет пользователей с любой страницы сайта www.drupal-guru.ru на соответствующую ей страницу сайта opencart-guru.ru. Не забудьте вместо использованных для наглядности адресов указать URL ваших ресурсов.
Обратите внимание, файл robots.txt старого сайта www.drupal-guru остается доступным. В нем необходимо с помощью директивы Host указать, что основным зеркалом вы выбрали новый сайт opencart-guru.ru.
Чтобы внести корректный код в файл .htaccess, вы можете воспользоваться генераторами редиректов. Чтобы получить код, достаточно ввести URL страниц, с которых и на которые нужно настроить перенаправление. Вот несколько бесплатных генераторов:
- .htaccess Generator.
- 301 Redirect Code Generator.
- Htaccess Redirect Generator.
- 301 & 302 Redirect Generator.
- HtAccess 301 Redirect Generator Tool.
Как настроить редирект без редактирования файла .htaccess
Если вы боитесь редактировать файл .htaccess, воспользуйтесь более простыми способами настройки редиректов. Речь идет о выборе перенаправления в панели управления сайтом cPanel и расширениях для популярных CMS.
Настройка редиректа в cPanel
В панели управления войдите в меню «Перенаправления». Он находится в разделе «Домены».
При необходимости выберите тип перенаправления. По умолчанию система предлагает использовать постоянный редирект. Он подходит для настройки зеркал сайта.
Укажите домены, с которого и на который будут перенаправлены пользователи. Нажмите кнопку «Добавить», чтобы сохранить изменения.
Перенаправление с помощью плагинов
Для некоторых CMS существуют плагины, с помощью которых можно быстро настроить редирект. Например, если вы работаете с WordPress, воспользуйтесь Simple 301 Redirects. Установите плагин и войдите в меню настроек.
Укажите страницы, с которых и на которые необходимо перенаправить пользователей. В примере на иллюстрации настроен редирект со страницы записи на страницу архива.
С помощью плагина можно настроить перенаправление для всех страниц в категории. Для этого установите флажок в поле Use Wildcards. Укажите адрес категории и добавьте после него астериск. Укажите URL назначения и сохраните изменения.
В CMS Joomla! редиректы можно настроить с помощью встроенного в ядро компонента «Перенаправление». В Drupal эта задача решается с помощью модуля Redirect. Для CMS Opencart есть платные расширения для настройки перенаправлений.
Как настроить редирект на сервере Nginx
Если ваш хостинг-провайдер использует сервер Nginx, для настройки редиректов необходимо внести изменения в конфигурационный файл. Это аналог файла .htaccess сервера Apache.
Чтобы настроить редирект с домена без префикса www на домен с префиксом, укажите следующий код:
server {
server_name drupal-guru.ru;
rewrite ^/(.*)$ http://www.drupal-guru.ru/$1 permanent;
}
Перенаправление с URL с префиксом www на URL без префикса можно настроить с помощью такого кода:
server {
server_name www.drupal-guru.ru;
rewrite ^/(.*)$ http://drupal-guru.ru/$1 permanent;
}
Вы можете получить код для конфигурационного файла Nginx с помощью htaccess-конвертеров, например, этого.
- Создайте код для файла .htaccess сервера Apache с помощью одного из предложенных выше генераторов.
- Конвертируйте код для файла .htaccess в код для конфигурационного файла Nginx.
Выбрать домен легко, сложнее реализовать выбор
Чтобы выбрать основной домен и сообщить об этом поисковым системам, необходимо настроить серверные редиректы. Также необходимо изменить настройки в кабинетах для вебмастеров «Яндекс» и Google. С этими задачами может справиться любой специалист без технической подготовки. Вам понадобится доступ к FTP или панели управления сайтом, умение пользоваться генераторами редиректов и немного времени. Кстати, перед редактированием файла .htaccess создайте резервную копию. Она может понадобится, если вы внесете в файл некорректные изменения.
Содержание
- Выбор основного зеркала
- Способы смены основного зеркала
- Основной домен для Google
- Основное зеркало для Яндекса
- Проверка основного зеркала сайта в Яндекс.Вебмастере
Прежде чем начинать продвижение сайта, надо сначала определить какой домен будет основным. Иначе в индексах поисковых систем может оказаться оба сайта (с префиксом www и без него) с одинаковым содержимым.
Сайт доступен для индексации как с www, так и без www. Вам необходимо выбрать основное зеркало.
Выбор основного зеркала
Зеркалами считаются сайты, являющиеся полными или частичными копиями. Копии определяются по совпадению контента на страницах с одинаковыми адресами (site1.ru/page.html и site2.ru/page.html). Например, в большинстве случаев хосты site.ru и www.site.ru являются зеркалами, так как контент страниц, доступных по одинаковым адресам, не отличается.
Также сайты считаются зеркалами, если со страниц одного сайта настроен серверный редирект на соответствующие им страницы другого сайта (site1.ru перенаправляет на site2.ru, site1.ru/page.html перенаправляет на site2.ru/page.html и т.д.).
Так как роботы поисковых систем склеивают зеркала и индексируют только одно из них (основное), то иногда требуется вручную указать для роботов, какое именно из зеркал должно являться основным.
Способы смены основного зеркала
Существует несколько методов для смены основного зеркала:
- Изменить основное зеркало в панели вебмастера поисковой системы (инструкции для Яндекса и Google)
- С помощью директивы Host в файле robots.txt (только для Яндекса)
Пример:
#Если www.glavnoye-zerkalo.ru главное зеркало сайта, то #robots.txt для всех сайтов из группы зеркал выглядит так User-Agent: * Disallow: /forum Disallow: /cgi-bin Host: www.glavnoye-zerkalo.ru
- С помощью серверного 301 редиректа со страниц старого домена на соответствующие им страницы нового.
Это приводит к тому, что показатели сайта тИЦ, PR и ссылочное ранжирование распыляются на оба сайта. И хуже всего, то, что за дублированный контент, страницы сайта могут вообще выпасть из индекса.
Проблема в том, что поисковые машины не всегда правильно определяют главное зеркало сайта, пользуясь своими алгоритмами определения и склейки зеркал. И главным зеркалом может быть выбран совсем не тот сайт.
Поэтому лучше не надеяться на авось, а самому явным образом указать основной домен. Существует несколько способов сказать роботам поисковых систем на то, какое зеркало нужно считать основным.
Основной домен для Google
Чтобы указать для Гугла основной домен, выполните следующие действия.
-
- На главной странице
Инструментов для веб-мастеров
(www.google.com/webmasters/tools/
) выберите сайт, для которого нужно указать основной домен. - В разделе
Конфигурация сайта
перейдите вНастройки
.
- На главной странице
- В разделе
Основной домен
выберите требуемый параметр.
Кроме того, для Гугла можно прописать инструкцию в файле .htaccess
Redirect 301 / https://fortress-design.com/
Основное зеркало для Яндекса
Для Яндекса основной домен или как называет Яндекс основное зеркало указывается в файле robots.txt
host: fortress-design.com
Проверка основного зеркала сайта в Яндекс.Вебмастере
Чтобы узнать, какие страницы сайта находятся индексе в Яндексе, укажите URL сайта в специальную форму (webmaster.yandex.ru/check.xml
).
Содержание
- Что такое зеркало сайта?
- Какие бывают зеркала сайта и для чего их делают?
- В виде отдельных сайтов.
- В виде алиасов домена.
- Как сделать зеркало сайта?
- Зачем выбирать главное зеркало?
- Как узнать главное зеркало сайта?
- в Яндексе.
- в Google.
- Как выбрать основное зеркало сайта
- Как сделать главное зеркало?
- Как указать или изменить главное зеркало в Яндекс.Вебмастере?
- Как указать или изменить главное зеркало в Google Search Console?
- Как склеить зеркала сайта и правильная настройка редиректов.
- Домен главного зеркала отличается от неглавного.
- Как сделать главное зеркало с HTTPS ?
- Как сделать главное зеркало без www ?
- Как сделать главное зеркало с HTTP ?
- Как сделать главное зеркало с www
- Проверка склейки сайта
- Часто задаваемые вопросы
- Какой вариант главного зеркала выбрать?
- Как расклеить зеркала сайта?
- Как указать главное зеркало сайта в robots.txt?
- Индексируются ли зеркала сайта?
- Учитываются ли характеристики неглавных зеркал на главном?
- Что делать если у сайта изменилось главное зеркало?
- Что делать, если сайты склеены по ошибке?
- Что делать если Яндекс находит не сайт, а алиас?
- Плохо ли, если главное зеркало сайта не использует https протокол?
Что такое зеркало сайта?
Зеркалами считаются сайты, контент которых не отличаются друг от друга, при этом имеют разный адрес (протокол, поддомен, домен, порт). Самый распространенный вид зеркал — www.site.ru и site.ru. Главное зеркало — это выбранный вебмастером адрес сайта, который считается основным.
Какие бывают зеркала сайта и для чего их делают?
В первую очередь они делятся на 2 основных вида:
- Отдельные сайты — сайты размещаются в разных папках/на разных хостингах. Могут функционировать независимо от главного зеркала сайта
- Алиасы домена — не смотря на то, что адрес другой, используется та же папка на сервере, т.е. вводя адрес — мы ведем тот же самый основной сайт.
Зеркала в виде отдельных сайтов используются:
- Для доработки проекта разработчиками (тестовая версия сайта).
- Для маркетинговых экспериментов и исследований, реализация которых на одном сайте проблематична.
- Скопированные злоумышленниками для незаконных действий (обман пользователей, вымогательство).
Сайты-зеркала в виде алиасов домена применяются:
- При наличии нескольких доменных имен (например купили доменное имя по названию компании в разных доменных зонах или дополнительно купили домен по номеру телефона и т.п.)
- Классический алиас “www” (www.site.ru и site.ru)
- Стандартные протоколы: https и http
- Различные поддомены, например для маркетинговых экспериментов.
- Технические домены (обычно выдаются хостингом бесплатно, для его первой проверки и возможности работы с сайтом на время переноса ns адресов, при смене хостинга или если домен только купили).
- IP адрес сайта.
- Порт сайта (адрес вида site.ru:8080)
Зеркала сайта вида www/без www и протоколы — необходимо создавать всегда, во избежании проблем с попаданием на сайт пользователей, т.к. иногда посетители вбивают адрес сайта сразу с www/без него, следуя привычке или же, некоторые настройки форумов и блогов автоматически добавляют www. Протоколы https и http аналогично — многие форумы и сайты настроены так, что ссылка оставленная на там использует тот же протокол что сам сайт. То есть если форум находится на https, то и ссылка на ваш сайт будет с https и наоборот. Тем самым, не имея таких зеркал вы можете потерять пользователей.
Как сделать зеркало сайта?
Классическое зеркало, вида www.site.ru и протоколы http/https — в большинстве случаях создается автоматически на хостинге. В случае отсутствия зеркала www — воспользуйтесь алгоритмом для поддоменов.
Существует 4 основных варианта создания зеркал:
- Создаете поддомен и направляете его на ту же папку что и основной домен. В результате, получится, что поддомен является алиасом основного домена (зайдя на поддомен увидим искомый сайт).
- Другой домен направляете на тот же хостинг и на ту же папку. Результат будет аналогичен пункту выше.
- Делаете копию вашего сайта и размещаете ее в другой папке/на другом хостинге. Туда направляете новый домен/поддомен. Перейдя по новому адресу увидим полную копию искомого сайта, в которую можно будет вносить корректировки, при этом не затрагивая искомый сайт.
Зачем выбирать главное зеркало?
Выбирать главное зеркало, в первую очередь, нас заставляют поисковые системы, т.к. они добавляют в индекс только одно зеркало (точнее стараются так делать). Неглавные зеркала считаются дублями главного и если их не склеить или не закрыть от индексации — то можно получить пессимизацию со стороны поисковых систем и ваш сайт потеряет часть трафика.
Как узнать главное зеркало сайта?
Существует несколько вариантов определения главного зеркала сайта. Первый — используя выдачу поисковых систем:
Проверка главного зеркала в Яндексе:
- Вводим запрос вида: url:site.ru/* и смотрим количество результатов.
- После вбиваем запрос с другим адресом сайта, например: url:www.site.ru/*
Где больше результатов получили, то зеркало и считается главным со стороны поисковой системы Яндекс.
Проверка главного зеркала в Google немного сложней:
- Вводим запрос вида: site:site.ru
- И считаем сколько результатов с каким зеркалом.
Страниц какого зеркала в выдаче больше — то и главное.
Второй способ узнать главное зеркало сайта более простой и быстрый, но учитывает только поисковую систему Яндекс. Заходите в Яндекс.Вебмастер, нажимаете добавить сайт, вставляете url вашего сайта. Если вы добавили неглавное зеркало, то увидите соответствующее сообщение.
Как выбрать основное зеркало сайта
К выбору главного зеркала сайта нужно подходить ответственно, ведь от этого напрямую будут зависеть позиции вашего сайта и соответственно трафик. Если вы выбираете между «классическими» синонимами домена, ответ дан внизу статьи «Какой вариант выбрать». Ниже рассмотрим основные моменты выбора, в случае, если у вас разные алиасы — это разные домены. Порядок от наиболее важного к наименее.
- Нужно проверить историю доменов: накладывались ли на него фильтры (это можно сделать в вебмастерах), был ли спамные сайты или сайты другой тематики (для этого воспользуйтесь сайтом archive.org).
- Проверьте возраст доменов, не только дату регистрации (сервисы whois), но и предположительной индексации (тот же вебархив). Стоит отметить, если домен долго был недоступен — это минус.
- При склейке зеркал сайта, лучше выбрать сайт, который уже имеет хорошие позиции и у которого больше страниц находится в индексе.
- Если у вас известный бренд — то рекомендуем выбрать тот алиас домена, на который чаще заходят пользователи напрямую.
- Если алиасы не отличаются пунктами выше — тогда следует выбрать по эстетическому принципу, что вам больше нравится
Как сделать главное зеркало?
Если неглавное зеркало сайта сделано в качестве отдельного сайта и должно таким остаться — то достаточно его закрыть от индексации. Но стоит учитывать, что в данной ситуации, ссылки и поведенческие факторы будут накапливаться только для неглавного зеркала, т.е. основной домен с них не получит пользы.
В остальных случаях главное зеркало настраивается в 3 этапа:
- Исправляем на сайте абсолютные ссылки либо на относительные, либо с использованием главного зеркала.
- Настраиваем редиректы на главное зеркало.
- Добавляем в Яндекс.Вебмастер и Google Search Console главное зеркало сайта.
Как указать или изменить главное зеркало в Яндекс.Вебмастере?
Для того, чтобы указать главное зеркало в Яндекс.Вебмастере необходимо добавить в него все зеркала (и главное и неглавные). После чего перейти в управление неглавным зеркалом, кликнуть на “Переезд сайта” и указать главное зеркало сайта. Ниже пошаговая инструкция:
Если вы не указали главное зеркало, Яндекс может определить его автоматически (не рекомендуем ждать и проверять). Отображается это в вебмастере развернутым списком.
Вид зеркала | Пример | Склеит ли их Яндекс |
---|---|---|
Алиас домена c www и без него | www.site.ru и site.ru | Да |
Синоним сайта использует HTTPS и HTTP | http://site.ru и https://site.ru | Да |
Поддомены сайта | old.site.ru и site.ru | Да |
Используются разные доменные зоны | site.net и site.ru | Нет |
Сайт открывается на разных доменах | site.ru и other-site.ru | Нет |
Как указать или изменить главное зеркало в Google Search Console?
Не так давно Google Search Console начал работу над новым дизайном и инструментарием. В связи с переездом инструмент выбора главного зеркала пропал. На текущий момент единственный способ — это настроить 301 редирект с неглавных зеркал и добавить главное зеркало в Google Search Console.
Как склеить зеркала сайта и правильная настройка редиректов.
Финальная стадии склейки зеркал — это настройка редиректа с неглавного зеркала на главное. В большинстве случаях на хостинге установлен Apache, управление редиректами происходит через файл .htaccess в корне сайта.
Если домен главного зеркала отличается от неглавного:
RewriteCond %{HTTP_HOST} domain1.ru RewriteRule (.*) http://domain2.ru/$1 [R=301,L]
Как сделать главное зеркало с HTTPS ?
RewriteCond %{HTTPS} !=on RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
Если возникла ошибка, попробуйте другой способ:
RewriteCond %{HTTPS} off RewriteCond %{HTTP:X-Forwarded-Proto} !https RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
Как сделать главное зеркало без www ?
RewriteCond %{HTTP_HOST} ^www.(.*)$ RewriteRule ^(.*)$ http://%1/$1 [L,R=301]
Как сделать главное зеркало с HTTP ?
RewriteCond %{HTTPS} =on RewriteRule ^(.*)$ http://%{HTTP_HOST}/$1 [R=301,L]
Как сделать главное зеркало с www
RewriteCond %{HTTP_HOST} ^([^www].*)$ RewriteRule ^(.*)$ http://www.%1/$1 [L,R=301]
Проверка склейки сайта
После выполнения всех действий следует проверять корректность склейки зеркал сайта. Проверять можно используя выдачу поисковых систем — по аналогии с поиском главного зеркала, только проверяем количество страниц неглавного зеркала в индексе. Если все сделано правильно постепенно такие страницы исчезнут из выдачи. Также можно применить Яндекс.Вебмастер и Google Search Console — для проверки количества страниц в индексе поисковых систем. Рекомендуем проверять 2 раза в неделю. Срок склейки сайта может варьироваться от 2 дней до полугода.
Часто задаваемые вопросы:
Какой вариант главного зеркала выбрать?
Протокол http устаревает, при создании сайта следует сразу выбирать главное зеркало с https. Использование www — имеет исключительно эстетическое значение. Если вам очень хочется — то можно использовать www. В большинстве случаях для пользователей удобней вариант без www.
Наш вердикт: рекомендуем выбрать главное зеркало вида: https://site.ru/.
Как расклеить зеркала сайта?
При расклейке зеркал следует выполнить три пункта:
- Снять редиректы.
- Убедиться что контент сайтов отличается.
- Перейти в Яндекс.Вебмастер и нажать кнопку отклеить зеркало.
Как указать главное зеркало сайта в robots.txt?
Никак. Возможность указания зеркала сайта в robots.txt использовалась Яндексом до 2018 года, в настоящий момент данный функционал упразднен.
Индексируются ли зеркала сайта?
При правильной настройки зеркал — они не индексируются. Но если вы допустили ошибку — то неглавные зеркала сайта могут проиндексироваться и нанести вред проекту (пессимизация со стороны поисковых систем за неуникальный контент + за попытку «захвата ТОПа» сайтами одной компании / человека).
Учитываются ли характеристики неглавных зеркал на главном?
Если зеркала склеены — то характеристики переносятся на главное зеркало, иначе — нет.
Что делать если у сайта изменилось главное зеркало?
Проверить, была ли правильно настроена склейка зеркал. В большинстве случаях не был настроен редирект. Если ошибок нет, то следует написать в техническую поддержку поисковых систем.
Что делать, если сайты склеены по ошибке?
Провести работы, указанные в пункте “Как расклеить зеркала сайта?”. Если ошибка не ваша — то следует написать в техническую поддержку поисковых систем.
Что делать если Яндекс находит не сайт, а алиас?
В большинстве случаях такая проблема вызвана неправильной настройкой склейки зеркал. Убедитесь, что выполнены все пункты из “Как сделать главное зеркало”. Если ошибка не ваша — то напишите в техническую поддержку поисковых систем.
Плохо ли, если главное зеркало сайта не использует https протокол?
На текущий момент поисковые системы не понижают в ранжировании сайты, не использующие https протокол. Но https — это новая технология, которая по ряду причин лучше http. Поэтому следует задуматься о переводе сайта на https.