Как работает поиск Яндекса

Чтобы ваш сайт начал отображаться в результатах поиска, Яндекс с помощью роботов должен узнать о его существовании.

Робот — это система, которая обходит страницы сайтов и загружает их в свою базу. У Яндекса есть множество роботов. Сохранение страниц в базу и их дальнейшая обработка с помощью алгоритмов называется индексированием. На основе загруженных данных формируются результаты поиска. Они регулярно обновляются, и позиции сайта могут меняться.

До того, как сайт попадет в результаты поиска, должно пройти несколько этапов:

Этап 1. Обход сайта

Этап 2. Загрузка и обработка данных (индексирование)

Этап 3. Формирование базы страниц, которые могут участвовать в поиске

Этап 4. Формирование результатов поиска

Этап 1. Обход сайта

Робот самостоятельно определяет, какие сайты и как часто нужно посещать, а также какое количество страниц следует обойти на каждом из них.

При обходе робот учитывает список уже известных страниц, который формируется на основе следующих данных:

Роботы постоянно отслеживают появление новых ссылок, обновление контента уже загруженных страниц и их доступность. Это происходит до тех пор, пока:

  • ссылка размещена на вашем или стороннем сайте;
  • страница не запрещена для индексирования в файле robots.txt.

Когда робот пытается загрузить страницу сайта, он получает от сервера ответ с HTTP-статусом:

Код HTTP-статуса

Примечание

200 OK

Робот обойдет страницу.

3XX

Роботу нужно обойти страницу, которая является целью редиректа. Подробнее об обработке редиректов.

4XX и 5XX

Страница с таким кодом не будет участвовать в поиске. Если до момента обращения робота она находилась в поиске, то будет удалена из него.

Чтобы страница не выпала из поиска, настройте сервер так, чтобы он отвечал кодом 429. Робот обращается к странице и проверяет код ответа. Это может быть полезно, если из-за неполадок с CMS страница сайта выглядит некорректно. После исправления измените ответ сервера.

Примечание

Если страница будет отвечать кодом 429 продолжительное время, это будет указывать, что сервер испытывает затруднения с нагрузкой. Следовательно, это может снизить скорость обхода сайта.
Полезные инструменты
  • Диагностика — помогает убедиться в качестве сайта и исправить ошибки, если они есть.
  • Статистика обхода — показывает, какие страницы обошел робот и как часто он посещает сайт.
  • Как переиндексировать сайт — позволяет сообщить о новой странице сайта или об обновлении уже участвующей в поиске странице.
  • Региональность — помогает роботу правильно определить регион сайта и показывать его по геозависимым запросам.
  • Проверка ответа сервера — показывает, доступна ли для робота страница, которая должна быть проиндексирована.

Поддержка версии HTTP/2

Робот Яндекса поддерживает версию HTTP/2. Протокол HTTP/2 ускоряет загрузку страниц, в том числе и на мобильных устройствах, что облегчает посетителям взаимодействие с сайтом. Также этот протокол уменьшает нагрузку на сервер и экономит трафик. На частоту обхода страниц и изменение позиций сайта в результатах поиска Яндекса протокол HTTP/2 напрямую не влияет.

Если вы используете HTTP/1.1, робот продолжит индексировать ваш сайт. Эти протоколы совместимы, поэтому конфликтов с настройками вашего сервера не будет.

Этап 2. Загрузка и обработка данных (индексирование)

Робот определяет содержание страницы и сохраняет ее в свою базу. Для этого он анализирует контент страницы, например:

  • Содержимое метатега description, элемента title.
  • Директиву noindex в метатеге robots. Если она найдена, то страница не попадет в результаты поиска.
  • Атрибут rel="canonical", указывающий на адрес, который вы считаете приоритетным для отображения в поиске для группы одинаковых по содержанию страниц.
  • Текст, изображения и видео. Если робот определит, что контент нескольких страниц совпадает, он может признать их дублирующими.
Рекомендации
Полезные инструменты
  • Диагностика — помогает убедиться в качестве сайта и исправить ошибки, если они есть.
  • Статистика обхода — показывает, какие страницы обошел робот и как часто он посещает сайт.
  • Как переиндексировать сайт — позволяет сообщить о новой странице сайта или об обновлении уже участвующей в поиске странице.

Этап 3. Формирование базы страниц, которые могут участвовать в поиске

На основе собранной роботом информации алгоритмы определяют страницы, которые могут участвовать в результатах поиска. При этом алгоритмы учитывают множество факторов ранжирования и индексирования, благодаря которым принимается окончательное решение. Например, в базу не попадут закрытые от индексирования страницы или страницы-дубли.

Возможна ситуация, когда страница содержит оригинальный, структурированный текст, но алгоритм не добавляет ее в базу, так как вероятность ее попадания в зону видимости на поиске очень низкая. Например, из-за невостребованности пользователями или высокой конкуренции в данной теме.

Полезные инструменты

Чтобы узнать о появлении в результатах поиска поддомена сайта, подпишитесь на уведомления.

Алгоритм определяет качество страницы, а именно:

  • насколько полно содержимое страницы отвечает на поисковый запрос (то есть является релевантной);
  • понятно и полезно ли ее содержимое для пользователя;
  • удобна ли страница (как структурирован текст, выделены абзацы и заголовки разного уровня и т. д.).

Если страница достаточно качественная, то она с большей вероятностью отобразится в результатах поиска. Таким образом, не все страницы сайта можно увидеть в поиске Яндекса. Также они могут исчезать из результатов поиска.

Как улучшить позиции сайта в поиске

Полезные инструменты

Вопросы и ответы

Вопросы об отображении сайта в результатах поиска

Проверьте, показываются ли страницы в поиске. Для этого на Яндексе введите в строку поиска URL страницы, которую нужно проверить:

Пример: url:https://example.com/page/.

Пример: https://example.com/page/.

Это значит, что страница уже проиндексирована — добавлена в базу робота. Если вы не находите страницу по определенному запросу или она отображается на низких позициях, попробуйте самостоятельно определить причину изменения позиций сайта.

Или уточните вопрос:

Позиции сайта по запросам понизились

Посмотрите причины изменения позиций, также проверьте сайт на безопасность и нарушения. Если Вебмастер обнаружил угрозу или нарушение, следуйте указанным в сервисе рекомендациям.

На сайте нет нарушений и угроз

Изменение позиций сайта в результатах поиска в большинстве случаев является допустимым. Оно может быть связано с постоянными корректировками алгоритмов, динамичностью поисковой выдачи, а также с колебаниями популярности сайта.

Убедитесь, что запросы, по которым ваш сайт занимал лидирующие позиции, имели достаточно показов в динамике. Для этого сравните статистику ваших поисковых запросов в Вебмастере с историей запросов Вордстата.

При анализе позиций сайта учитывайте персонализацию поисковой выдачи. Например, поисковый запрос может показываться на лидирующих позициях для частых посетителей сайта, для других пользователей поиска сайт может занимать разные позиции.

Сайт длительное время занимал лидирующие позиции

Обратитесь в службу поддержки, если изменение позиций сопровождается всеми перечисленными условиями:

  • сайт длительное время занимал лидирующие позиции с учетом динамичности и персонализации поисковой выдачи;
  • позиции сайта изменились более чем на несколько десятков пунктов (при меньших изменениях проверьте, соответствует ли ваш сайт рекомендациям: Как улучшить позиции сайта в поиске);
  • снизился трафик на сайт.
Сайт размещается низко в результатах поиска

Если сайт по каким-либо запросам сейчас не занимает желаемых позиций, возможно, он пока не набрал достаточной релевантности. Проверьте показатели сайта, описанные в данном разделе.

По определенному запросу находится другая страница сайта

Проверьте, есть ли нужная вам страница в поиске, с помощью оператора url (пример).

Страницы нет в поиске
  • У нужной вам страницы может быть [дубль](*дубль). О том, как это проверить и исправить, см. в разделе Дублирование страниц. Также страница может не попасть в поиск или пропасть из него по другим причинам.
  • Если сайт сменил адрес, а в поиске страница отображается по старому адресу, проверьте, что вы правильно перевезли сайт.
Страница есть в поиске

Будет ли показана страница в результатах поиска по запросу или нет, определяет специальный алгоритм. Например, для показа содержимое страницы должно соответствовать поисковому запросу. Подробнее см. в разделе Этап 4. Формирование результатов поиска.

Если страница, которая находится в поиске, полностью не соответствует запросу, напишите в службу поддержки.

Сайт не находится в результатах поиска

Если вы не находите в поиске новые страницы сайта, перейдите в раздел Как добавить сайт в поиск. Если страницы раньше находились в поиске, а сейчас пропали, посмотрите причины исключения страниц.

Если сайт не находится из-за исправления поискового запроса, перейдите в Справку Поиска.

Снизилась посещаемость сайта

Если вы заметили снижение посещаемости на сайте, проверьте, не обнаружены ли на нем нарушения или проблемы с безопасностью.

На сайте нет нарушений и угроз

Изменение трафика может быть связано с изменением спроса. Проверьте динамику интересов посетителей сайта с помощью истории подбора слов или показателя «Спрос» в мониторинге поисковых запросов.

Я проверил, спрос не изменился, но трафик упал

Посещаемость из результатов поиска может снизиться из-за изменений позиции сайта.

Позиции сайтов по запросам постоянно меняются. Возможные причины этого:

  • произошли изменения в ранжировании (переобучение формул, классификаторов, появление и обновление факторов), метриках качества (новые аспекты, изменения в инструкциях), алгоритмах антиспама и антифрода;
  • изменились предпочтения пользователей (спрос упал или сместился на другие товары или услуги, изменились ожидания пользователей, паттерны навигации, выбора и т. д.);
  • изменилась конкурентная среда (появились новые продавцы, сервисы, новые типы контента и сайты, изменился контент, ценообразование, сервис и т. д.);
  • изменения на сайтах: страницы могли попасть в поиск или выпасть из него, могли измениться заголовки, метатеги, контент страниц, другие сайты могли стать удобнее для пользователей, стали вызывать больше доверия аудитории.

Подробно о причинах

Если изменение трафика сильное и затрагивает значительную часть сайта, напишите в службу поддержки.

Пожаловаться на копирование информации с моего сайта

Если на другом ресурсе размещен только контент идентичный вашему, этого не достаточно для исключения сайта из поиска.

Чтобы защитить свои авторские права, можно обратиться с жалобой непосредственно к администратору сайта с идентичным, на ваш взгляд, контентом или воспользоваться иными законными способами защиты своих прав.

Если вы не можете договориться с администрацией ресурса, попробуйте написать хостинг-провайдеру, на сервере которого находится сайт.

Это значит, что сайт или часть страниц еще не проиндексированы роботом Яндекса. Подробно о том, как робот обходит сайт, см. в разделе Как работает поиск Яндекса.

Уточните ваш вопрос:

Сайт добавлен в Вебмастер, но еще не появился в поиске

Как правило, после добавления в Вебмастер сайты могут появиться в результатах поиска в течение двух недель. Если этого не происходит, возможно, индексирование сайта запрещено в файле robots.txt или с помощью метатегов.

Также сайт может быть недоступен из-за ошибки сервера. Проверить доступность сайта можно с помощью инструмента .

Если у сайта изменился адрес, робот мог не успеть отследить это. Проверьте, правильно ли настроены адреса сайта.

Сайт доступен для робота, но не появляется в поиске

Отправьте страницы на принудительное посещение роботом с помощью инструмента Переобход страниц. В течение двух недель страницы появятся в поиске.

Новые страницы сайта не попадают в поиск

Посмотрите рекомендации — они помогут добавить страницы в поиск.

Сайт или страницы пропали из результатов поиска

Посмотрите причины, по которым страницы могут пропасть из поиска и рекомендации по их устранению в разделе Почему страницы исключены из поиска.

  • Разные страницы сайта признаются дублями
    Страницы с разным содержанием могут считаться дублями, если отвечали роботу сообщением об ошибке (например, на сайте была установлена заглушка). Проверьте, как отвечают страницы сейчас. Если страницы отдают разное содержимое, отправьте их на переобход — так они смогут быстрее вернуться в результаты поиска.
    Чтобы избежать исключения страниц из поиска в случае кратковременной недоступности сайта, настройте HTTP-код ответа 503.

  • Страница признана маловостребованной и удалена из поиска
    Исключение страниц из поиска не является ошибкой со стороны сайта или индексирующего робота: исключаются страницы, которые пользователи не смогут обнаружить по запросам, поэтому их исключение не должно повлиять на видимость проиндексированных страниц сайта. Подробно см. в разделе Малоценные или маловостребованные страницы.

    Напишите в службу поддержки, если:

    • страницы занимали высокие позиции в результатах поиска до момента их исключения;
    • позиции сайта после исключения страниц существенно понизились;
    • количестве переходов из поисковой системы значительно сократилось после исключения страниц.
Сайт или отдельные страницы не обновляются в поиске

Чтобы ускорить изменение страниц сайта в результатах поиска, воспользуйтесь инструкцией Как переиндексировать сайт.

Информация на сайте изменена, но в поиске старая версия

Проверьте, что:

  • страницы доступны для робота с помощью инструмента Проверка ответа сервера;
  • информация о страницах есть в файле Sitemap;
  • в файле robots.txt запрещающие директивы Disallow, noindex и HTML-элемент noindex закрывают от индексирования только служебные и дублирующие страницы.
Сайт или отдельные страницы запрещены в robots.txt, но продолжают находиться в поиске

Если при удалении страниц сайта вы следовали инструкциям и после того, как сайт посетил робот Яндекса, прошло больше двух недель, напишите в службу поддержки.

Если вы использовали редирект, робот постепенно отследит перенаправление, и по мере обхода сайта старые страницы будут пропадать из результатов поиска. Чтобы робот быстрее узнал об изменениях, отправьте страницы на переобход.

Если адреса страниц меняются со сменой доменного имени сайта, то на обновление данных в поиске может потребоваться более месяца. Проверьте, правильно ли настроены адреса сайта.

Как удалить из поиска сайт или отдельные страницы

Посмотрите рекомендации в разделе Как удалить страницы из поиска.

Плохо индексируются картинки

Чтобы задать вопрос, напишите в техническую поддержку сервиса Яндекс Картинки.

Плохо индексируется видео

Чтобы задать вопрос, напишите в техническую поддержку поиска Яндекса по видео.

Робот создает чрезмерную нагрузку на сайт или сервер

Посмотрите рекомендации по снижению нагрузки на сайт.

Описание страницы в сниппете отличается от содержимого в description

В результатах поиска в качестве описания страницы используется текст, наиболее релевантный поисковому запросу: содержимое метатега Descripton или текст, размещенный на странице. Подробнее см. в разделе Сниппет.

В результатах поиска отображаются ссылки на внутренние фреймы сайта

Перед загрузкой страницы с помощью консоли браузера проверьте, открыт ли родительский фрейм с навигацией. Если он закрыт, откройте его.

Мой сервер не выдает last-modified

Даже если сервер не выдает дату последней модификации документа (last-modified), ваш сайт будет проиндексирован. Однако в этом случае следует учитывать следующее:

  • В результатах поиска не будет показываться дата рядом со страницами вашего сайта.

  • Робот не сможет получить информацию о том, обновилась ли страница сайта с момента последнего индексирования. Количество страниц, получаемых роботом с сайта за один заход, ограничено, поэтому изменившиеся страницы будут переиндексироваться реже.

Как кодировка влияет на индексирование

Тип используемой на сайте кодировки не влияет на индексирование сайта. Если ваш сервер не передает в заголовке кодировку, робот Яндекса также определит ее самостоятельно.

Можно ли управлять частотой переиндексирования с помощью директивы Revisit-After?

Нет. Робот Яндекса ее игнорирует.

Яндекс индексирует сайт на иностранном домене?

Да. Сайты, содержащие страницы на русском, украинском, белорусском языках, индексируются автоматически. Ресурсы на английском, немецком и французском языках индексируются, если они могут быть интересны пользователям.

Как влияет на индексирование большое количество заданных параметров в URL и его длина

Большое количество заданных параметров в URL и повторяющихся вложенных директорий, а также слишком большая длина URL может привести к ухудшению индексирования сайта.

Максимальная длина URL — 1024 символов.

Индексирует ли робот архивы GZIP?

Да, робот индексирует архивы в формате GZIP (сжатие GNU ZIP).

Индексирует ли робот URL с якорем (#)?

Робот Яндекса не индексирует адреса страниц с якорем, кроме AJAX-страниц (с символом #!). Например, страница http://example.com/page/#title не попадет в базу робота, он проиндексирует страницу http://example.com/page/ (адрес до символа #).

Как робот индексирует страницы пагинации

Робот не учитывает атрибут rel со значениями prev и next. Поэтому страницы пагинации могут индексироваться и участвовать в поиске без ограничений.

Узнайте больше




Также вы можете перейти на сервис

Ссылка, которая связывает страницы одного сайта. Страницы могут находиться в разных каталогах одного домена или на поддоменах.

Ссылка, которая расположена на другом сайте.

Запрос, который относится к определенному региону. Например, [такси], [купить айфон]. Подробно

Предыдущая
Термины и определения
Следующая
Как добавить сайт в поиск