Нет используемых роботом файлов sitemap как исправить на тильде

Все мы сеошники любим тильду, потому что в ней можно делать SEO-оптимизацию «без проблем») На самом деле в целом сайты на конструкторе индексируются вполне себе хорошо, но есть такие казалось бы базовые моменты как технические файлы, которые нельзя на Тильде настроить вручную из-за этого у меня в вебмастере висит вот такая проблема:

Заходим смотрим что внутри:

Так в роботсе есть ссылки на какой-то нерабочий сайтмап, лезем туда, смотрим:

Да реально есть сайтмап …/sitemap-feeds.xml ведущий на 404 ошибку, и вся прелесть в том, что на тильде нельзя корректировать robots.txt и sitemap.xml, он генерирует их автоматически из того что есть у вас в админке и если вы вручную что-то там закрываете от индекса.

Ковырялся я в админке и пытался понять что она (Тильда) хочет запихнуть в этот сайтмап и почему он недоступен. Судя по названию сайтмапа какие-то новости/лента но никто ничего подобного на сайте не создавал.

К счастью я увидел спустя некоторое время вот эту неприметную кнопочку:

Если вы зайдете туда впервые он предложит создать поток, сделайте это и создайте рандомный поток)
Это все будет выглядеть вот так после создания:

заходим внутрь и собственно вот они там эти стр:

Это какие-то базовые страницы конструктора, которые Тильда почему то хочет запуливать в RSS, но так как поток не создан, но в роботе он почему-то все равно дает ссылку на этот сайтмап то в итоге мы и получаем 404 и назойливую ошибку в вебмастере)

После создания потока у вас будет конечно сайтмап с какой-то фигней, но она уже не будет 404 и хотя бы понятно откуда растут ноги.Пока что оставлю так и отправлю ошибку на переобход, и скорее всего она пропадет, может быть потом попробую удалить вот эти стр из потока и сам поток, что бы полностью убрать эту ссылку из роботса) буду держать в курсе!

Конструктор сайтов Тильда генерирует sitemap xml и robots txt автоматически. Они помогают роботу поисковой системы обойти и проиндексировать сайт. В итоге страницы ресурса быстрее появятся в выдаче. Поэтому необходимо разобраться с принципами создания, оптимизации и настройки этих файлов.

О том, что такое Sitemap Tilda

Sitemap представляет собой ничто иное, как карту сайта. В файле размещаются ссылки на страницы интернет-проекта. Его цель — своевременно передавать поисковым системам структуру ресурса. Tilda поддерживает два типа сайтмап — в форматах xml и html:

1. Sitemap.xml — создается автоматически. Пользователь его не может добавлять или редактировать. Он не только содержит ссылки, но и транслирует поисковикам дополнительную информацию: дату последнего обновления, периодичность изменения страницы, приоритетность ссылок относительно других URL. Файл поддерживает размещение до 50 тыс. ссылок.
2. Sitemap.html — простая страница формата html, которую можно создать самостоятельно. В ней размещаются ссылки на все страницы сайта. Она необходима для передачи ссылочного веса от одной веб-страницы другой. Ссылка на Sitemap.html указывается в футоре ресурса. По рекомендациям поисковика «Яндекс» лучше размещать в sitemap.html не более 3 тыс. ссылок.

Бывает, что «Яндекс» выдает пользователю предупреждение о том, что сейчас нет используемых роботом файлов sitemap. Если появляется подобная ошибка, скорее всего вы не добавили новые страницы, и поисковик не может их проиндексировать.

Что такое robots.txt в Tilda и его особенности

Robots.txt представляет собой текстовый файл, в котором прописаны параметры индексирования сайта поисковыми системами. Он обеспечивает видимость ресурса и его выдачу при создании поискового запроса. С его помощью пользователь может выполнить настройку, например, запретить индексацию определенных страниц. Для этого используется директива Disallow. Параметр Allow, наоборот, разрешает индексирование отдельных страниц.

Файл размещается в корневом каталоге и создается автоматически. CMS Tilda не позволяет вносить какие-либо изменения в robots.txt. Нельзя настроить директивы user-agent, Disallow, Sitemap, Clean param, Allow, Crawl-Delay. Если нужно скрыть страницу из поиска, необходимо редактировать именно настройки веб-страницы, и Tilda автоматически внесет все нужные изменения в robots.txt.

Пользователю остается отправить файл в поисковые системы с помощью Yandex Webmaster и Google Search Console. Для этого нужно зарегистрироваться в данных сервисах и подтвердить права на домен. Консоль «Тильды» допускает сделать привязку этих сервисов.

Для справки! «Яндекс» строго придерживается директив robots.txt, а вот поисковик Google может его игнорировать.

Как просматривать robots.txt

Чтобы посмотреть файл, необходимо к основному URL ресурса добавить robots.txt. В адресной строке браузера URL должен иметь следующий вид: https://www.site.my/robots.txt. Откроется страница, где будут указаны параметры индексации для сайта. Файл robots.txt является публичным и открыт для просмотра на любом ресурсе.

Чтобы задать ограничения на индексацию страницы нужно:

1. Зайти в «Настройки» и перейти в раздел «SEO».
2. Выбрать вкладку «Отображение в поисковой выдаче», кликнуть по пункту «Задать специальные значения».
3. Найти и отметить чекбокс «Запретить поисковикам индексировать страницу».

Чтобы изменения вступили в силу, нужно закрыть страницу редактирования настроек. Новые данные будут автоматически внесены в файл robots.txt. Дополнительных манипуляций проводить не надо.

«Тильда» по умолчанию убирает из индексации неканонические страницы (дубли). При создании проекта, ему присваивается собственный URL xxxxx90.tilda.ws. Если пользователь привяжет к ресурсу собственное доменное имя, проект будет доступен сразу по обоим адресам, что негативно влияет на индексирование. В этой ситуации «Тильда» генерирует тег rel=»canonical» со ссылкой на каноническую страницу, которая является основной и подлежит индексации.

Как создать сайтмап на «Тильде»

Чтобы создать Sitemap на Tilda, необходимо придерживаться следующего алгоритма действий:

1. Сгенерировать новую пустую страницу.
2. Через панель управления выбрать «Заголовок», ввести «Карта сайта».
3. В меню «Настройки» установить тег заголовка H1.
4. Во вкладке «Все блоки» выбрать «Список страниц».
5. Найти блок с наименованием «Оглавление IX06».
6. Нажать кнопку «Контент» и отметить чекбоксы с доступными ссылками.
7. Сохранить изменения.
8. Открыть меню «Настройки», расположенное вверху редактора.
9. В пунктах «Заголовок» и «Описание» прописать «Карта сайта html».
10. В пункте «Адрес» указать sitemaphtml (без точек, пробелов и других знаков).
11. Сохранить изменения, опубликовать карту.

Он удобен тем, что можно добавлять ссылки в один клик и редактировать по своему усмотрению. Рекомендуем размещать карту сайта в сквозном блоке (имеющие одинаковый вид и структуру сразу на нескольких страницах). Хорошо для этого подходит хедер (шапка или верхняя область сайта) и футер (подвал или нижняя часть ресурса). Фактор правильности размещения сайтмап влияет на индексацию в поисковой выдаче — у робота будут в доступе абсолютно все страницы.

Главные особенности SEO-оптимизации сайта, созданного в «Тильде»

Чтобы вывести сайт в ТОП поисковой выдачи необходимо провести SEO-оптимизацию ресурса. «Тильда» предлагает пользователям быстрый аудит с помощью встроенного функционала — «SEO-рекомендации». Данный элемент представляет собой чек-лист, по которому можно посмотреть, какие ссылки индексируются или, наоборот, закрыты для поискового робота. Дополнительно через него можно посмотреть наличие или отсутствие тегов, тайтла, дискрипшена и другие ошибки. Чтобы использовать этот инструмент, необходимо:

1. Открыть вкладку «Мои сайты».
2. В правом углу карточки ресурса нажать на три вертикальные точки.
3. Выбрать в контекстном меню раздел SEO.
4. В меню кликнуть по вкладке «SEO-рекомендации».

Отобразится таблица, где появятся рекомендации, требующие участия пользователя.

Что еще нужно сделать для оптимизации ресурса на «Тильде»:

1. Добавить ресурс в поисковик через сервисы «Вебмастер» и Google Search Console.
2. Подключить аналитические системы для мониторинга поведенческого фактора «Яндекс Метрика» и Google Analytics.
3. Подключить SSL-сертификат для безопасного соединения.
4. Создать страницу с кодом 404 при переходе на несуществующую страницу (один из поведенческих факторов, который позволяет задержать пользователя на ресурсе). На ней рекомендуется размещать кнопку «На главную».

Интерфейс Тильды подходит для пользователей, которые не имеют больших навыков в создании интернет-проектов и SEO, поэтому необходимый функционал для этого доступен по умолчанию.

Как установить запрет на индексацию сайта

Запрет рекомендуется устанавливать перед тем, как создавать ресурс. Порядок действий:

1. Зайти в созданные сайты.
2. Нажать на три вертикальные точки в карточке.
3. В главном меню выбрать вкладку SEO.
4. Прокрутить перечень вниз до пункта «Запрет индексации».
5. Отметить чекбокс «Запретить индексировать этот сайт».

Ограничение можно установить через вставку HTML-кода:

1. В меню «Настройки сайта» выбрать раздел «Еще».
2. Найти в доступном перечне параметр «HTML-код для вставки внутрь Head».
3. Щелкнуть по ссылке «Редактировать код».
4. В поле редактирования вставить код <meta name=»robots» content=»noindex, nofollow»>.
5. Нажать «Сохранить».

Как только ресурс будет готов к публикации, необходимо снять запрет на индексирование в настройках или вновь отредактировать HTML-код.

Рекомендация по запрету на индексацию применима на этапе разработки, так как позволяет исключить из поисковой выдачи технически неготовый ресурс, где еще отсутствуют мета-данные, аналитика, не подключены сертификаты безопасного соединения и не настроено отображение страниц для разных устройств.

Что делать, если в robots.txt в «Тильде» сайт закрыт для индексирования

Подобная ошибка появляется, если установлены ограничения на индексирование ресурса в настройках. Тильда robots txt корректирует самостоятельно, как только пользователь применит новые параметры. Чтобы устранить сбой, нужно:

1. Перейти в «Настройки» и выбрать раздел SEO.
2. В перечне найти параметр «Запрет индексации».
3. Снять отметку в чекбоксе «Запретить поисковикам индексировать этот сайт».
4. Вверху нажать «Сохранить изменения».

Иногда ошибка появляется, если были отредактированы параметры в меню «Ограничить доступ». Например, установлен логин и пароль для доступа к опубликованным страницам. Также ресурс может быть закрыт от индексирования, если просмотр разрешен только с определенных IP-адресов. Нужно зайти в «Настройки сайта» и выбрать вкладку «Ограничить доступ». Необходимо убрать логин и пароль, а также удалить IP-адреса. После этого ошибка должна исчезнуть.

Если создавался личный кабинет, страницы, размещенные в профиле, автоматически исключаются из индексации и к ним нельзя привязать аналитические инструменты. Это связано с правилами безопасности. Пользовательские данные должны быть защищены.

Избавляемся от ошибок sitemap-feeds.xml и sitemap-store.xml на «Тильде»

Ошибки появляются, если подключены «Потоки» и «Товары». Первая функция появилась недавно. Это панель управления, где можно создавать и редактировать посты для блога. Как раз все дело в модуле «Потоки». Из-за него появляется ошибка sitemap-feeds.xml, так как конструктор автоматически создает сайтмап и вносит изменения в robots.txt. Если посмотреть «роботс», то там обнаружится нерабочий sitemap-feeds.xml. Если заглянем в «Потоки» и кликнем по названию поста, откроется таблица с рандомными файлами. Они и являются причиной сбоя. Чтобы решить проблему — удаляем их.

Эти рандомные файлы, которые создает конструктор, появятся только один раз при первом использовании плагина «Потоки». Когда будете делать добавление новых постов, подобного уже происходить не будет. Также допускается полностью взять и деактивировать модуль, если он не нужен: «Настройки» → «Еще» → «Подключаемые модули» → «Удалить потоки и отключить модуль».

Ошибка sitemap-store.xml появляется при первом использовании плагина «Товары». Если зайти в него впервые, там будут находится рандомные файлы, созданные конструктором. Для устранения проблемы нужно удалить элементы. При добавлении новых товаров ошибка уже не появится.

После создания файла sitemap.html, его нужно внести в Yandex Webmaster. Это поможет поисковому роботу своевременно узнавать о новых страницах и индексировать их. Ссылка быстрее появится в поиске. Добавление файла производится согласно следующему алгоритму:

1. В «Яндекс.Вебмастер» выбираем необходимый ресурс на «Тильде».
2. Открываем в боковом меню вкладку «Индексирование».
3. В подменю нужно перейти в раздел «Переобход страниц».
4. Внизу кликаем по кнопке «Добавить сайт».
5. В пустое поле вставить ссылку на карту сайта.
6. Щелкаем по кнопке «Добавить».

Вам удалось зарегистрировать сайтмап. Поисковой робот обойдет страницу и после этого появится статус задачи. Полный обход будет зависеть от размера сайтмапа. В среднем срок индексирования составляет 3 дня. В разделе «Отправленные страницы» можно кликнуть по кнопке «Отслеживать». Откроется панель мониторинга, где отображаются проиндексированные и рекомендованные к выдаче страницы, последние изменения, проверенные мета-данные, дата переобхода, статус ссылки. В «Яндекс.Вебмастере» установлен лимит — можно добавить только 20 страниц в сутки.

Почему сайт на «Тильде не виден» для поисковиков

Если вы зарегистрировали сайт в поисковых системах «Яндекс» и «Гугл», провели SEO-оптимизацию, но ресурс не отображается при поиске, это не означает, что вы где-то или что-то сделали не так. Продвижение — сложная вещь. Без базовых знаний добиться результата практически невозможно или он будет минимальным. «Тильда», хоть и имеет функционал, который поможет пользователю оптимизировать сайт, не представляет собой мифическое средство, способное решить все проблемы. Это добротный инструмент, но не более. При нужных знаниях (не только в CEO) можно создавать хорошие сайты на «Тильде» с неплохой посещаемостью.

Не малозначимым будет поведенческий фактор, который позволит определить полезность, качество самого ресурса, отдельных страниц. Требуется работать с семантикой, так как это фундамент, позволяющий узнать тематику и охарактеризовать деятельность. Семантика строится на ключевых запросах, которые помогут пользователю попасть на нужный ресурс и искать ответы на вопросы.

Нужно работать над уникальностью контента, поисковые роботы могут проигнорировать и не проиндексировать страницы, так как посчитают их незначимыми, если там будут размещаться взятые с других сайтов материалы.

Форум

Поиск по теме

Нет используемых роботом файлов Sitemap

Здравствуйте, не могу сообразить, то ли надо ждать 14 дней, то ли что-то не так делаю. В статусе вебмастера ошибка сохраняется после проверки. Как решить вопрос? Спасибо.

Доброе день.
Нужно ждать индексации сайта. Яндекс не сразу обновляет информацию.

Добрый день. Возникли следующие вопросы:
1. обнаружила, что нет ни одной страницы сайта https://ingmar.nethouse.ru/#/ в гугле. А в Яндексе есть.
2. файл sitemap нужно как-то в гугл добавлять и в другие поисковые системы? Или достаточно того, что он есть в корневом меню сайта? (Может поэтому сайта нет в гугле)

Здравствуйте!
1. Как давно создан сайт?
2. Исправьте robots.txt на вашем сайте, инструкция http://nethouse.ru/about/instruction. koe_robots_txt
3. Без собственного домена 2 уровня файл sitemap вы не сможете добавить в поисковые системы, самостоятельно, только ждать пока его сами поисковики проиндексируют (если он сформирован на вашем сайте, инструкция http://nethouse.ru/about/instruction. avlyat_sitemap )
4. Воспользуйтесь инструкцией «Как добавить сайт в поисковые системы, если сайт работает на тарифе «Старт» http://nethouse.ru/about/instruction. a_tarife_start

1. Сайт создан 2 сентября 2016 года. Но у меня другой сайт создан в конце октября, так он и в гугле, и в яндексе есть. Я с такой ситуацией впервые столкнулась. Обычно все сайты нормально равномерно индексировались в поисковиках.
2. Не понимаю зачем исправлять robots.txt, если у меня сайт с доменом 3-го уровня, а они автоматически подключаются к ssl сертификату?
3. То есть sitemap в поисковики добавляют только в случае подтверждения прав на сайт (при домене 2- го уровня), правильно я поняла?
4. А этот пункт на практике попробую

Одна страница сайта в Гугл есть (см.скриншот)

Источник

Как добавить в WordPress robots.txt и SiteMap

Вообще любая оптимизация сайта (не важно SEO или какая-нибудь другая) начинается еще на стадии разработки.

Однако, очень часто сайт создается впопыхах, кем-попало (кого смогли найти за те деньги), без технического задания, а если оно и есть, то меняется прямо на ходу. Поэтому, ко мне часто поступают обращения с просьбой подготовить сайт на движке WordPress (поскольку популярная платформа) под SEO-оптимизацию.

Метатэги

Ок. Начнем с простого. Установим плагин «All In One SEO Pack». Делается это в админке, в разделе «Плагины», в подпункте «Добавить новый».

На открывшейся странице, в строку поиска, вводите название плагина, ищите, устанавливаете, активируете.

После этого в окне редактирования или создания поста, ниже поля куда вы вводите текст, появляются поля для тайтла, дескрипшина и кейвордсов. Если не знаете что это или зачем, то вы ни шиша не понимаете в SEO. Но у меня для вас хорошая новость, вся инфа есть в интернете. Воспользуйтесь поиском Яндекса, Гугла, поищите на ютубе. Не тупите!

Про метатэги пишу в этом посте исключительно для комплекта. Даже настроек самого плагина не буду касаться. Это та часть SEO-оптимизации, которую лучше сделать одновременно с добавлением Сайтмапа и Роботса, о которых пойдет речь дальше. Почему? Потому, что это займет всего пару минут, а в будущем точно понадобится.

Sitemap.xml

Теперь добавим карту сайта. Это тоже делается с помощью плагина. Их много, но я предпочитаю тот, что зовется «Google XML Sitemaps». Ставится ровно так же как и предыдущий.

Настраивается в разделе админки (левое вертикальное меню) «Настройки», подпункт «XML-Sitemap». Собственно, достаточно тупо снять галочку с пункта «Add sitemap URL to the virtual robots.txt file.» и сохранить (там есть кнопка сохранения, если пролистаете ниже).

Чтобы убедиться, что все работает, откройте в соседней вкладке ссылку типа http://ваш_сайт/sitemap.xml

Увидели что-то вроде этого?

Отлично. Не закрывайте вкладку. Она нам еще пригодится. А пока переходим в админку.

Robots.txt

Этот файл можно заливать без каких-либо плагинов. По FTP например. Но если нет доступа или хочется все проделать с комфортом, то… Ставим плагин. Как вы уже убедились на предыдущих примерах, это очень простое действие, но профессионалы берут за это деньги.

Итак, ставим плагин «WordPress Robots.txt File». Опять-же, можете выбрать другой, который будет работать.

Ставим плагин, активируем, переходим в «Настройки», в подпункт «Чтение».

На открывшейся странице видим поле robots.txt

Если оно чем-то заполнено — удалите. Сейчас мы его заполним новым содержимым.

Перейдите по ссылке (желательно открыть эту ссылку в новой вкладке). На открывшейся странице вы можете видеть три поля и кнопку.

Скопируйте из адресной строки браузера адрес вашего сайта и вставьте его в поле с надписью «Введите адрес сайта».

Теперь перейдите во вкладку с Сайтмапом. Помните, выше по тексту я просил ее не закрывать? Скопируйте из адресной строки путь к файлу sitemap.xml и вставьте в поле «Введите адрес вашего файла sitemap.xml».

Нажмите кнопку «Создать robots.txt».

Если все сделано правильно, в поле под кнопкой появится текст. Скопируйте его весь и вставьте в поле robots.txt, открытое в админке вашего сайта («Настройки», «Чтение»).

Нажмите кнопку «Сохранить изменения».

Перейдите по ссылке типа http://ваш_сайт/robots.txt

Если на открывшейся странице вы видите текст, который только что копировали и вставляли из поля, значит все установилось как надо.

Т.е. только что, благодаря умению читать и искать, вы сами, своими руками, установили Карту сайта и файл директив для поисковых роботов. Браво!

А с вами был Доктор Лексиум. До новых постов.

Вот в этой статье **ссылка удалена** автор утверждает о том, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете «Исключенные страницы» появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Вот и не знаю кому верить…

В приведённой статье сказано:
«Disallow: /wp-content/uploads — закрываем именно эту папку, поскольку она может содержать разного рода документы, например, PDF, DOC и т.д., которые не стоит пускать в индекс. Закрывать «wp-content» полностью чревато проблемами.»

Я бы не советовал закрывать папку uploads от индексации. Незачем хранить в ней такие текстовые файлы и PDF, появление которых в выдаче было бы нежелательным. Лучше положить такое в отдельную папку, и уже её закрыть.
Если же яндекс.вебмастер ругается на то, что содержимое не поддерживается, значит с содержимым и правда имеется проблема. Может там вместо картинки отдаётся какая-нибудь ошибка, или сервер коряво настроен и прикручивает к файлу некорректный MIME-type. Причин подобному может быть не мало.

Источник

Ошибка «Нет используемых роботом файлов Sitemap» появляется в панели вебмастера, если Яндекс не видит карту сайта. Уточним, что карта веб-ресурса — это документ в формате xml или txt, в котором содержится актуальных список всех разделов и URL-адресов ресурса. При её отсутствии поисковик может не сразу увидеть обновление проекта, из-за чего новые страницы попадут в индекс с задержкой.

Почему робот не видит карту сайта?

Чаще всего информации об отсутствии используемых роботом файлов sitemap появляется, если:

В первом случае нет повода для беспокойства. Яндекс обрабатывает документы с задержкой и, если вы загрузили корректный файл, в течение нескольких дней ошибка пропадёт. Однако, чтобы не терять время, пока он находится в очереди на обработку мы рекомендуем вам пошагово проверить другие возможные ошибки. Как это сделать мы расскажем далее.

Загрузка карты сайта

Первым делом перейдите в панель вебмастера Яндекс и откройте вкладку «Индексирование» — «Файлы Sitemap». Далее добавьте ссылку на карту ресурса в специальное поле. В течение двух недель система проверит документ и, если вы всё сделали правильно, напротив ссылки появится код ответа «ОК».

Аналогично необходимо загрузить документ в Google Search Console.

Настройка robots.txt

Иногда поисковая система может не видеть карту проекта из-за того, что её индексация запрещена в файле robots.txt. В таком случае перед ссылкой будет стоять директива «Disallow» и вам необходимо изменить её на «allow» .

Если же в robots.txt вовсе нет ссылки на документ, вы можете её добавить, прописав следующий код: «User-agent: * Allow: / Sitemap: [ссылка на документ]». Однако в таком случае вы откроете её для всех пользователей и этой информацией смогут воспользоваться злоумышленники. Поэтому мы рекомендуем предварительно посоветоваться со специалистом.

Проблемы с названием

Иногда отсутствие используемых роботом файлов с картой сайта может быть вызвано тем, что вы назвали документ нестандартным именем. Во избежание проблем лучше присваивать документу стандартное наименование «sitemap.xml» .

Как сформировать карту сайта?

В завершение рассмотрим ситуацию, когда на сервере вовсе отсутствует документ с картой ресурса.

Если у вас нет возможности нанимать специалиста в области SEO, вы можете воспользоваться автоматически генератором по созданию карты интернет-проекта. Однако этот способ платный и не всегда качественный. Поэтому некоторые большинство пользователей пытаются создать карту вручную с помощью рекомендаций Яндекс и Гугл. Однако следует иметь в виду, что они содержат не всю информацию. От себя также добавим, что при формировании файла sitemap, необходимо соблюдать следующие требования:

Как видите, без базовых знаний в области сайтостроения и поисковой оптимизации создать sitemap самостоятельно не так просто. Поэтому во избежание возможных ошибок и траты времени мы рекомендуем все-таки обратиться за помощью к профессионалам.

Часто поисковики не видят сайт на тильде или не видят некоторые страницы. В этой статье расскажу и покажу, как устранить эти проблемы.

Причины почему сайт на тильде не видят поисковики Google и Яднекс

• Не добавили сайт в поисковики google и яндекс;
• Запретили индексирование сайта;
• Не прописали страницам title и description;
• Не добавили карту sitemap.

Как добавить сайт на тильде в поисковики Google и Яндекс?

1. Заходите в тильду → нажимаете настройки сайта

2. Нажимаете seo

3. Чтобы добавить в GOOGLE SEARCH CONSOLE нажимаете на кнопку редактировать, Чтобы добавить в ЯНДЕКС ВЕБМАСТЕР нажимаете на кнопку редактировать

4. Нажимаете на кнопку подключить, входите в аккаунт гугл и нажимаете кнопку также с яндексом, входите в аккаунт яндекс и нажимаете на кнопку. Также сразу нужно подгрузить sitemap, просто нажав на кнопку.

5. Нажимаете на кнопку сохранить изменения, затем на кнопку закрыть

6. Нажимаете на кнопку опубликовать все страницы

Теперь вы добавили сайт в поисковики Google и Яндекс, им потребуется до 14 дней, чтобы обойти ваш сайт и добавить в поисковик, а также обновить информацию.

Как узнать запретили ли индексирование сайта на тильде или нет? Как снять запрет индексации тильда

Заходите в тильду → нажимаете настройки сайта → seo. Далее ищите пункт запрет индексации. Там не должно быть галочки, просто пустой кружок, если галочка есть, нужно нажать и снять, затем нажимаете на кнопку сохранить изменения и опубликовать все страницы

Таким способом вы сняли запрет на индексацию с сайта на тильде, сайт сможет нормально индексироваться и будет показываться в поисковиках гугл и яндекс.

Как прописать страницам на тильде title и description?

Наводите на страницу → нажимаете на настройки. Далее прописываете заголовок и описание страницы и нажимаете сохранить, закрываете страницу и нажимаете на кнопку опубликовать

Таким способом вы прописали title и description сайту на тильде, они помогут при индексировании сайта роботом, а также людям, которые будут искать данную страницу или сайт.

Как ускорить индексирование сайта на тильде в поисковиках Google и Яндекс ?

Чтобы ускорить индексирование сайта на тильде, вам нужно добавить карту sitemap. Также есть ещё метод, его опишу позже.

Что такое карта sitemap и как добавить карту sitemap на сайт на тильде?

Карта sitemap содержит ссылки на все страницы сайта и помогает роботу гугла и яндекса понять сколько страниц и какие нужно добавить в поисковики.

Её можно добавить при регистрации сайта в поисковиках гугл и яндекс, также можно добавить и другим методом, его опишу позже. Выше уже описал, как добавить карту сайтмап при регистрации сайта на тильде в поисковиках.

Как проверить показывается ли сайт на тильде в поисковиках Google и Яндекс?

Заходите в поисковик google и яндекс, в каждом пишите site:сюда ваш домен, например, site:shallpav.ru, чтобы проверить есть ли страницы сайта в поисковиках. Если ничего нет, то сайт ещё не добавлен или робот не успел пройти по нему и добавить в поисковики.

Видео инструкция почему сайт на тильде не видят поисковики Google и Яндекс

Полезное

Как добавить кнопку WhatsApp на сайте, на тильде

Как добавить ссылку на Telegram тильда

Разработка сайта от Павла Шаламова

В последнее время часто приходится отвечать на вопросы, связанные с файлами sitemap. Всплеск интереса к этому далеко не самому важному аспекту оптимизации сайтов объясняется выходом новой версии Яндекс.Вебмастера, который помечает отсутствие карты сайта как ошибку.

В разделе “Возможные проблемы” показывается следующее уведомление:

Нет используемых роботом файлов Sitemap
Робот не использует ни одного файла Sitemap. Это может негативно сказаться на скорости индексирования новых страниц сайта. Если корректные файлы Sitemap уже добавлены в очередь на обработку, сообщение автоматически исчезнет с началом их использования.
Обратите внимание на раздел «Файлы Sitemap».

Так ли страшно это предупреждение? Обязательно ли создавать sitemap и если да, то для чего? Разложим по полочкам.

Это файл, содержащий список адресов страниц сайта, сформированный по специальному (достаточно простому) стандарту. Подробно о нем можно почитать на www.sitemaps.org.

Чаще всего используется формат xml, который позволяет указывать помимо самих URL-адресов также некоторые их характеристики (частоту обновления и изменения, относительную значимость страницы). Однако можно использовать и совсем простую структуру. Это файл txt, содержащий список URL (каждый с новой строки) – и больше ничего.

Назначение списка – предоставить поисковым паукам информацию об имеющихся на сайте документах. Это помогает роботу найти все страницы ресурса и добавить их в результаты поиска. Дополнительные данные из xml – это рекомендация поисковым паукам чаще или реже посещать те или иные страницы. Кстати, не слышал ничего о том, как эти рекомендации выполняются. Очень может быть что они не учитываются вообще или являются значительно более слабым сигналом по сравнению с другими факторами.

Мифы о карте сайта

1. Достаточно сделать sitemap.xml – и об индексации можно не беспокоиться

Это самое частое заблуждение, сталкиваюсь регулярно. На самом деле для крупных сайтов (сотни тысяч страниц) полнота индекса – одна из наиболее важных проблем и простым размещением карты сайта она не решается. Карта дает роботу возможность найти все страницы, но это не значит, что а) индексации не помешает что-то другое, например, технические проблемы и б) поисковая система сочтет страницу “достойной” быть в поиске.

Для индексации всех страниц даже относительно небольшого (30 – 50 тысяч страниц) сайта нередко приходится прилагать дополнительные усилия. См. обзорную статью на эту тему а также описание автоматизированного подхода к ускорению индексации.

2. Sitemap обязателен для всех сайтов

Маленькие проекты (до тысячи страниц) с более-менее адекватной структурой, когда можно в пару кликов перейти на любую страницу, прекрасно себя чувствуют и без него. Это понятно как из общих соображений (основной механизм нахождения материалов для индексации – это переходы по внутренним ссылкам), так и из практики. Видел десятки сайтов без карты, которые полностью корректно воспринимались роботом.

Наконец, о том же говорит Гугл в своей справке:

Если страницы файла корректно связаны друг с другом, поисковые роботы могут обнаружить большую часть материалов. Тем не менее, с помощью файла Sitemap можно оптимизировать сканирование сайта, особенно в следующих случаях:

• Размер сайта очень велик. Поисковые роботы Google могут пропустить недавно созданные или измененные страницы.
• Сайт содержит большой архив страниц, которые не связаны друг с другом. Чтобы они были успешно просканированы, их можно перечислить в файле Sitemap.
• Ваш сайт создан недавно, и на него указывает мало ссылок. Робот Googlebot и другие поисковые роботы сканируют Интернет, переходя по ссылкам с одной страницы на другую. Если на ваш сайт указывает мало ссылок, его будет сложного найти.
• На сайте используется мультимедийный контент, он отображается в Новостях Google или использует другие аннотации, совместимые с файлами Sitemap. Из файлов Sitemap может получать дополнительную информацию для отображения в результатах поиска.

3. Если удалить страницу из sitemap, она выпадет из индекса

Аналогично – миф. Сталкивался с огромным количеством сайтов, где sitemap отваливался из-за технических проблем или отдавался роботам в сильно урезанном виде. Это могло вредить попаданию в поиск новых страниц, но со старыми все было в порядке.

Наоборот, нередко используется прием “удалим из карты все проиндексированное чтобы сосредоточить внимание робота на новых страницах”. Он дает определенный эффект в плане оптимизации краулинга (сканирования) сайта. Однако для большинства случаев я не рекомендую его использовать, о причинах см. ниже.

4. Обязательно нужно настраивать все доп. параметры (приоритет, частота обновления)

Нет. Как уже упоминалось, можно без проблем использовать обычный txt-файл со списком url. Разумеется, хуже от указания максимума информации в карте не будет. Однако:

1. Нет достоверных данных о том, что поисковики действительно учитывают эти инструкции. Вообще-то Яндекс зачастую игнорирует даже куда более жесткую рекомендацию – заголовок сервера Last-Modified и If-Modified-Since (см. подробнее).
2. Даже если сигналы учитываются строго по заявлениям поисковиков – то есть как рекомендация – то выигрыш в эффективности сканирования будет чаще всего весьма незначителен. Исключение – по-настоящему крупные проекты, где полнота индекса критична.
3. Указание всех данных требует от SEO-аналитика дополнительной кропотливой работы по подбору их значений.
4. Аналогично, настройка генерации файла со всеми параметрами – это дополнительные затраты на разработку.
5. Пункты 3 и 4 еще серьезнее, чем кажутся. Ведь сайт меняется, должны меняться и расширенные данные, иначе рекомендации станут неактуальными.

Думаю, на этом хватит о мифах, перейдем к настоящим рекомендациям.

Как правильно работать с sitemap?

Большая часть необходимых сведений о создании файлов и предоставлении роботам доступа к ним содержится в справке поисковых систем. См. помощь Google и Яндекса. Я же расскажу о нескольких неочевидных моментах.

Во-первых, файл со списком url сайта, к которому легко получить доступ, может пригодиться не только поисковым роботам. Он крайне удобен для ряда задач SEO-аналитики.

Пара примеров.

Оценка полноты и качества индекса

Раз мы точно знаем количество доступных для поисковых систем страниц (число ссылок в карте посчитать несложно) – значит, можем быстро оценить, насколько полно он проиндексирован. Делаем грубую оценку через оператор “site:” (лучше с некоторыми ухищрениями, см. о проверке индексации в Google).

Если количество страниц в выдаче меньше, чем в карте – находим те, что ускользнули от роботов и загоняем их в поиск – правкой структуры, Твиттером (инструкция) и т.д.

Если больше – то в поиск могли попасть случайно сгенерированные, “мусорные” страницы. Их нужно найти и либо довести до ума, либо закрыть с помощью robots.txt, canonical, мета-тегов. Опять же, для поиска лишнего пригодится список нужного, чем и является sitemap.

Поиск страниц, которые не приносят трафик

Если страница есть на сайте, но не приносит нам посетителей в течение долгого времени, с ней что-то не так. Подобные url нужно найти и разобраться в причинах – зачастую это помогает здорово поднять трафик.

Как это сделать? Хотя бы так:

Строим в Метрике отчет по страницам входа из поиска за квартал:

Фильтруем по источнику – по одной из поисковых систем, под которую работаем:

И выгружаем список страниц (данные таблицы) в excel.

Теперь нам осталось:

а) перегнать xml-карту в excel (для этого есть море онлайн-конвертеров).

б) используя функции excel находим url, которые есть в столбце из карты, но нет в столбце из Метрики.

Алгоритм выглядит довольно громоздко, но ничего сложного в нем нет. А для ленивых ценящих свое время (таких как я) есть автоматизация процесса. Один из отчетов моего сервиса анализа сайта как раз проверяет списки из sitemap по разным параметрам. Например, вчера вышло обновление, где на основе sitemap работает поиск потенциально опасных страниц, которые загоняются в индекс ссылочным спамом от конкурентов, желающих навредить сайту.

Подобных примеров можно привести еще много. Суть не в них, а в том, что  иметь под рукой актуальный перечень страниц сайта очень полезно. К нему можно быстро получить доступ с помощью разных сервисов и софта (на крайний случай – используя excel) и использовать в процессе оптимизации сайта.

Да что там говорить, даже стандартный технический аудит с применением парсеров вроде Screaming Frog делать удобнее, если подать на вход не url главной страницы, как обычно, а sitemap. Процесс делается более управляемым: можно заранее отобрать для анализа часть страниц (например, по самому проблемному разделу) и не ждать, пока будут обработаны другие.

Это был первый не очень очевидный момент.

Как лучше дать роботам доступ к карте?

В некоторых случаях лучше не указывать ссылку на stiemap в robots.txt, а отправлять вручную через Google Search Console и Яндекс.Вебмастер. Дело в том, что в robots.txt ее может увидеть кто угодно. Например, какой-нибудь злодей, который ищет где спарсить контент. Не стоит облегчать ему задачу.

Если дать SEO-паранойе разгуляться еще сильнее – то приходит мысль не использовать стандартное имя (sitemap.xml), а назвать файл как-нибудь иначе, чтобы ее не нашли, введя традиционное название.

Не скажу, что это особо критичный совет, но почему бы не подстелить соломки, если это несложно?

Резюме

1. Файл sitemap помогает сайту в плане индексации, но отнюдь не является панацеей. Если есть проблемы с полнотой индекса – их нужно решать комплексно.
2. Использовать необязательно, но желательно для крупных сайтов и некоторых специфичных задач (см. выше цитату из справки Google).
3. Предыдущий пункт справедлив в отношении задачи “облегчить жизнь поисковым роботам”. Однако для задач анализа сайта и принятия решений в процессе оптимизации иметь под рукой карту удобно практически для всех сайтов (кроме совсем маленьких).
4. Важнейшее требование к sitemap (помимо соответствия стандартам) – это полнота и актуальность. Для задач SEO-аналитики карта выступает как эталон, с которым сравнивают другие списки url-адресов (те, что в индексе; на которые есть входящие ссылки; на которые есть переходы из поиска и так далее). Поэтому при создании нужно сразу позаботиться о ее регулярном обновлении.
5. Если есть необходимость управлять индексацией путем удаления уже проиндексированных страниц из sitemap, то можно иметь 2 разных файла – один отдавать роботам, а другой держать для собственных нужд по анализу.

Уф, вроде бы простой предмет, а статья почти на 1500 слов. Поздравляю себя с ее написанием и вас – с прочтением. Мы оба небывало усидчивы для эпохи социальных сетей и непрерывного отвлечения!