Анализ индексации страницы
Инструмент Анализ индексации страницы проверяет, не закрыта ли страница от поисковых роботов Яндекса.
Зачем это нужно
Если страница закрыта от роботов, они ее не обойдут и не проиндексируют, то есть не добавят в индекс — поисковую базу Яндекса.
Это может привести к потере переходов из поиска, так как результаты поисковой выдачи формируются из индекса.
Подробно: Как работает поиск Яндекса.
Если страница доступна для индексирования роботами, это не означает, что она участвует в поиске. Страница может обходиться роботами, но при этом быть исключенной из поиска. Подробно: Почему страницы исключены из поиска.
Какие страницы можно проверить
Проверить можно страницы любого сайта, приложения, мессенджера, не только своего. Добавлять свой сайт в Яндекс Вебмастер не обязательно.
Что именно проверяет инструмент
Настройки файла robots.txt
Инструмент проверяет, не закрыта ли страница от обхода роботами Яндекса через директивы в файле robots.txt.
Пример
User-agent: Yandex
Disallow: /private/
Если ваша страница находится в закрытой директории, она не будет индексироваться.
Подробно: Использование файла robots.txt.
Метатег robots в HTML-коде
Проверяется значение метатега robots в элементе head HTML-кода страницы. Если значение тега noindex — страница закрыта от обхода роботами.
Пример
<meta name="robots" content="noindex">
Подробно: Настройка правил загрузки и индексирования страниц.
Как проверить страницу
Чтобы использовать инструмент, авторизовываться в Яндексе и добавлять свой сайт в Яндекс Вебмастер не обязательно. Если вы не авторизованы в Яндексе, перед проверкой страницы появится капча для защиты от спама.
-
Перейдите в Яндекс Вебмастер: Инструменты → Анализ индексации страницы.
-
Введите полный адрес страницы, которую хотите проверить. Убедитесь, что адрес правильный и страница на сайте доступна для посетителей. Нет, например, проблем с сервером или со скоростью загрузки страницы.
-
Запустите проверку — нажмите Проверить.
Результаты проверки
Страница доступна для индексирования
Если все проверки пройдены успешно, вы увидите сообщение, что страница доступна для поисковых роботов.
Страница закрыта от индексирования
Если обнаружены проблемы, инструмент укажет причину.
Проверить страницу не получилось
Если проверить страницу не получилось, инструмент об этом сообщит. Возможно, причина в технических проблемах на сайте или в неправильном URL.
Что делать, если страница закрыта от индексирования
Для вашего сайта
Если страница находится на вашем сайте:
Причина в файле robots.txt
- Откройте файл robots.txt в корневой папке сайта.
- Убедитесь, что для пути вашей страницы нет директивы
Disallow. - Удалите или измените соответствующую директиву.
Причина в значении метатега
- Откройте HTML-код страницы.
- Найдите метатег
<meta name="robots">в разделе<head>. - Убедитесь, что он не содержит значений
noindex. - При необходимости удалите или измените метатег.
Для стороннего ресурса
Если площадка вам не принадлежит, вы можете связаться с ее владельцем и показать ему результаты проверки.
Открыть контент для индексирования может только владелец площадки: сайта, канала в мессенджере, группы в социальной сети. Изменить настройки публикации больше не может никто.
Частые вопросы
Почему инструмент показывает ошибку, хотя страница доступна
Возможно, страница была временно недоступна или загружается слишком медленно. Убедитесь, что URL страницы правильный и проблем с загрузкой страницы на сайте нет. После этого запустите проверку еще раз.
Как часто нужно проверять доступность страницы для поисковых роботов
Рекомендуем проверять для важных страниц:
- после внесения изменений в robots.txt или метатеги;
- при добавлении нового контента на сторонние ресурсы;
- регулярно страницы со своим контентом на сторонних ресурсах.
Совет
Чтобы следить за индексированием важных страниц на своем сайте, используйте инструмент Мониторинг важных страниц.
Можно ли проверить несколько страниц одновременно
Инструмент проверяет только одну ссылку за один раз. Для массовой проверки страниц своего сайта используйте другие инструменты Яндекс Вебмастера, например:
- для проверки robots.txt — Анализ robots.txt;
- для проверки статуса страниц своего сайта в поиске — Страницы в поиске.