N aurl запрещен к индексированию тегом noindex как исправить - Исправление ошибок и поиск оптимальных решений проблем

Индексация главной страницы сайта. Где искать причину?

Здравствуйте! Кто может помочь мне, в чем может быть проблема, главная страница сайта запрещёна к индексированию тегом noindex. Не могу найти где снять запрет. Сайт http://domashniy-recepti.ru/

Давно ли у вас такое, меняли ли вы что то недавно в роботсе

Скорее всего в сео-плагине!

В сео-плагине всё нормально

Ну мне то отвечать совсем видимо не надо )

Ну чё тут сказать? Поищите noindex в файле header.php или function.php. Где-то у Вас пагинация закрыта, возможно из-за этого noindex на главной. И по этой же причине нет необходимости в строке Disallow: /page/ в роботсе. Это немного уменьшит тамошний бардак)))

У меня на этом сайте ещё поддомен есть. Главная на нём индексируется нормально.

роботс составлен seo специалистом. Установлен где то в июне месяце. У вас есть вопросы по нему?

Есть…это был не сео специалист

Что говорит по поводу сайта Гугл Вебмастер

Есть какие то ошибки в роботсе ?

Почитайте правила составления роботса на Яндексе, хотя бы про то, что заменяет *. И у Вас будут вопросы к этому сео-специалисту. Чё тут гадать, просмотрите файлы, кот. выше написал!

Проблема у дамы с Гугл так понимаю

http://domashniy-recepti.ru/

Новые сообщения и уведомления о критических ошибках отсутствуют.

Как давно проблемы начались

Я точно не могу сказать, увидела случайно в RDS что главная страница выпала из индекса где то месяц назад.

Так может ее там и не было

Бывает и такое, что главная страница выпадает с индекса, потом через несколько дней появляется, такое возможно, у меня было раньше частенько.

В индексе была, и в яндексе сейчас есть есть, но пишет Страница была проиндексирована роботом и присутствует в поиске.

Версия страницы на момент построения поиcковой базы
Дата загрузки:10.01.2017 20:39:24
HTTP-статус:URL Запрещён к индексированию тегом noindex

Да, что у вас на поддомене то висит, отдельный сайт или что

Может поддомен стоит отключить от сайта? Временно отключить, хотя не понимаю, зачем нужен на сайте поддомен? В таком случае индексация взяла часть страниц и главную на поддомен и больше ничего…

Не понимаете говорите…н да )

Главная страница статика?

Главная страница статика отключена

Да отдельный сайт http://womensecret.domashniy-recepti.ru/

Короче все написано в ГВ, а это только вам подвластно

Вы исходник сайта видели свой? В исходнике у вас имеется такая строка кода <meta name=»robots» content=»noindex,follow» /></head>
уберите noindex,follow

стерите noindex и впишите index, чтобы у вас получилось noindex,follow

тьфу запутался, в общем должно быть <meta name=»robots» content=»index,follow» />

Все же поищите в шаблонах вашей темы <meta name=»robots» content=»noindex,follow» />

Уважаемый автор вопроса. Может это странно… Но я зашла в объектный код вашей главной страницы и там написано <meta name=»robots» content=»index,follow» / Вы уже что-то подправить успели?

Да успела поправить, буду ждать результата. Спасибо!

Так мне не за что. Я позже всех зашла. )

Так где собака то была зарыта? )))

Страница была в ноиндекс нофоллу

День добрый, у меня та же ошибка. Сайт Saimantools.kz
В роботсе нет таких записей noindex. В header.php и function.php тоже нет.
Единственно в header.twig есть кавычки , но удалял их с модификатора, страница перестала загружаться.
https://yadi.sk/d/Ak546HeiHsNs…
По ссылке видно как изменилась страница в поиске.

А тут выдаёт саму ошибку
https://yadi.sk/d/PVzZT3qe3C_Y…

Источник

Тег noindex служит для обозначения фрагментов текста, запрещенных для индексирования поисковой системой Яндекс.
Тег введен в оборот системой яндекс и используется только ей и, возможно, Рамблер.
Google его не понимает и никак не учитывает.

Содержание

Передача веса закрытой ссылке
Метатег noindex
Сообщение — url запрещен к индексированию тегом noindex

Первоначально, чтобы закрыть часть текста от индексации, нужно было обернуть его, как указано ниже:

<noindex>текст, закрытый от индексации</noindex>

Поскольку тег не является частью утвержденных стандартов, возникают проблемы валидации страницы при ее проверке в любом сервисе проверки валидностью кода html.

Из-за этого яндекс ввел другую версию тега вида <!—noindex—>неиндексируемый текст<!—/noindex—>. При таком использовании страница нормально проходит проверку. Первый вариант также до сих пор работает, но более правильно использовать второй вариант.

Применять данный тег можно, например, чтобы закрыть счетчики, комментарии. Но нет смысла закрывать, например, меню в целях перераспределения ссылочного веса на сайте.

Передача веса закрытой ссылке

Тег закрывает от индексации только текст, заключенный в него, но не влияет на индексирование ссылок внутри этого текста и передачу веса по ним. Для закрытия ссылки нужно использовать атрибут rel=»nofollow», как писал здесь.

Метатег в коде страницы вида:

запрещает от индексации содержимое всей страницы (за это отвечает noindex), а также индексацию ссылок на этой страницы (за это отвечает nofollow).

Для массового проставления данного метатега, например, для архивов и других таксономий в wordpress можно использовать плагин Yoast SEO. В нем можно прописать метатеги в том числе и для отдельных страниц.

В robots.txt тег noindex не работает и не используется.

Сообщение — url запрещен к индексированию тегом noindex

В некоторых случаев вебмастер яндекс выдает сообщение, что адрес страницы, например, главной запрещен от индексации. Это значит, что на странице появился обнаружен этот метатег. Чаще всего такое бывает в двух случаях. Когда создавали сайт, то указали настройку «Попросить поисковые системы не индексировать сайт» на время разработки. Теперь нужно просто убрать эту пометку и отправить сайт в вебмастере на перепроверку. Или второй вариант — у вас стоит SEO плагин вроде Yoast Seo, в настройках которого вы указали запрет индексации, соответственно теперь его нужно убрать.

Время чтения 2 мин.Просмотры 264Опубликовано 04.08.2019Обновлено 18.08.2022

Источник

Здравствуйте! Сегодня я расскажу как возникли у меня проблемы индексации сайта и как я их решал. А возникли эти проблемы после того, как я запретил в файле robots.txt индексировать главную страницу — Disallow: /moyprimer.h1n.ru . Я это сделал потому, что она была еще в разработке и я не хотел, чтобы она попала в поиск. Потом я это убрал из robots.txt, но видимо плагин yoast seo и google работают в паре и одного исправления в файле robots.txt было недостаточно. И так все подробно и по порядку.

Сначала я привел в порядок файл robots.txt, хотя Яндекс Вебмастер не нашел ошибок в этом файле, но вот сервисе гугл почему-то ругался:

он мне выдавал ошибки:

Здесь проблема скорее всего в неправильной кодировке файла robots.txt. Проверить можно в этом сервисе:

У меня был файл в кодировке UTF8+BOM (посмотреть кодировку можно в программе блокнот notepad++) :

И user-agent выглядел у меня вот так:

ï»¿User-agent: *

После смены кодировки в notepad++ на ANSI или просто на UTF8 крогозяблы ушли перед user-agent. Запустив снова проверку через гугл я получил файл без ошибок:

Одну ошибку исправил. Но все равно почему-то в яндексе все нормально работало и главная страница проиндексировалась, а вот гугл постоянно ругался, что индексирование страницы запрещено тегом noindex:

Эту проблему я решил, исправив настройки с Нет на Да в плагине yoast seo:

После этого отправил запрос на индексацию сайта. Запрос отправился уже без ошибок:

Но после проверки индексации гул выдал следующее:

Решил я проверить свою страницу в старой версии гугла:

Здесь он точно указал на какие ресурсы у него нет доступа. Заходим по порядку в каждую строчку, на рисунке помечено стрелкой, и откроется следующее:

Внизу теперь можно скопировать wp-content/cache/wpfc-minified/fcwg2ryd/64pgw.js и вставить его в robots.txt с разрешающей директивой. Таким образом проделаем со всеми проблемными местами.

Такой robots был вначале:

User-agent: * # общие правила для роботов, кроме Яндекса и Google,
# т.к. для них правила ниже

Disallow: /category/*
Disallow: /rukovodstvo/
Disallow: */comments*
Disallow: /?s=*
Disallow: /tag/*
Disallow: /20*/*
Disallow: /comment-page*
Disallow: /*?replytocom*

Disallow: /cgi-bin # папка на хостинге
Disallow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/ # если есть подкаталог /wp/, где установлена CMS (если нет,
# правило можно удалить)
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search/ # поиск
Disallow: /author/ # архив автора
Disallow: /users/ # архив авторов
Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой
# ссылки на статью
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не # используете, правило можно удалить)
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Allow: */uploads # открываем папку с файлами uploads
Allow: /feed/turbo/ #турбо-страницы

# Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
# не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
Sitemap: https://moyprimer.h1n.ru/post-sitemap.xml
Sitemap: https://moyprimer.h1n.ru/page-sitemap.xml

# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.

Host: https://moyprimer.h1n.ru/

Такой теперь, красным шрифтом я добавил исправления:

User-agent: * # общие правила для роботов, кроме Яндекса и Google,
# т.к. для них правила ниже

Disallow: /category/*
Disallow: /rukovodstvo/
Disallow: */comments*
Disallow: /?s=*
Disallow: /tag/*
Disallow: /20*/*
Disallow: /comment-page*
Disallow: /*?replytocom*

Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не # используете, правило можно удалить)
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Allow: */uploads # открываем папку с файлами uploads
Allow: /feed/turbo/ #турбо-страницы
Allow: /wp-content/cache/wpfc-minified/fcwg2ryd/64pgw.js
Allow: /wp-content/cache/wpfc-minified/8jq52lsh/64pgw.css
Allow: /wp-content/plugins/clearfy/components/ga-cache/cache/local-ga.js
Allow: /wp-content/plugins/a3-lazy-load/assets/images/lazy_placeholder.gif
Allow: /wp-content/plugins/a3-lazy-load/assets/css/loading.gif

Host: https://moyprimer.h1n.ru/

Отправил страницу на индексацию. Посмотрим что будет.

Опять проблемы индексации. Но на этот раз были уже другие ошибки. Вновь исправил файл robots.txt и отправил страницу на индексацию. И АЛЛИЛУЙЯ, ошибок нет, страница прошла индексацию:

Вот в такой теперь форме мой robots.txt:

User-agent: * # общие правила для роботов, кроме Яндекса и Google,
# т.к. для них правила ниже

Disallow: /category/*
Disallow: /rukovodstvo/
Disallow: */comments*
Disallow: /?s=*
Disallow: /tag/*
Disallow: /20*/*
Disallow: /comment-page*
Disallow: /*?replytocom*

Disallow: /cgi-bin # папка на хостинге
Allow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/ # если есть подкаталог /wp/, где установлена CMS (если нет,
# правило можно удалить)
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search/ # поиск
Disallow: /author/ # архив автора
Disallow: /users/ # архив авторов
Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой
# ссылки на статью
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не # используете, правило можно удалить)
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Allow: */uploads # открываем папку с файлами uploads
Allow: /feed/turbo/ #турбо-страницы
Allow: /wp-content/cache/wpfc-minified/fcwg2ryd/64pgw.js
Allow: /wp-content/cache/wpfc-minified/8jq52lsh/64pgw.css
Allow: /wp-content/plugins/clearfy/components/ga-cache/cache/local-ga.js
Allow: /wp-content/plugins/a3-lazy-load/assets/images/lazy_placeholder.gif
Allow: /wp-content/plugins/a3-lazy-load/assets/css/loading.gif
Allow: /https://mc.webvisor.org/*
Allow: /https://mc.yandex.ru/watch/*

Host: https://moyprimer.h1n.ru/

Главная страница сайта имеет большое значение для его продвижения в поисковой выдаче. Поэтому для меня решение этой задачи было первоочередной. Надеюсь моя статья подскажет Вам, как решаются проблемы индексации сайта, в особенности если индексирование страницы запрещено тегом noindex.

На этом у меня все. До встречи.

Источник