Чем плохи дубли

Что такое дубли

Дубли — это страницы с почти или полностью одинаковым текстовым содержимым, которые находятся на одном сайте по разным адресам (URL).

Например, адрес главной страницы может быть:

• https://example.com/;
• https://www.example.com/;
• https://example.com/index;
• https://example.com/index.html;
• https://example.com/?utm_source=link&utm_medium=source-example&utm_campaign=partner-offer.

Страницы с совпадающим текстом поисковый робот объединяет в группу дублей. Из этой группы робот выберет одну страницу-дубль, которая будет показываться в результатах поиска. Робот время от времени может менять свой выбор.

Чем плохи дубли

• Робот индексирует вместо одной страницы несколько: на обход дублей тратится время и ресурсы сайта и Поиска.
• Новые страницы могут индексироваться медленнее.
• Дубли могут конкурировать между собой в поиске.
• Робот может посчитать дублем и исключить из поиска страницу, которая является целевой и важна для сайта.

Откуда берутся дубли

Причиной появления дублей могут быть:

• особенности системы управления контентом (CMS), например, адреса страниц могут быть со слешом на конце (/) или без него;
• настройки веб-сервера, которые делают доступными страницы сайта по протоколу HTTP или HTTPS, адрес страницы с префиксом www или без него;
• GET-параметры в ссылках, например, отслеживающие UTM-метки рекламных систем;
• одна и та же страница сайта может быть добавлена в разные разделы и поэтому иметь разные URL.

Как узнать в Яндекс Вебмастере, какие страницы Поиск считает дублями

Чтобы получить список дублей, используйте инструмент Индексирование → Страницы в поиске: вкладка Исключённые страницы, колонка Статус, фильтр Дубль. Чтобы узнать подробности, нажмите на три точки.

Чтобы узнать, не является ли конкретная страница дублем, введите ее адрес в фильтр по URL.

Чтобы найти дубли, которые появились из-за ссылок с GET-параметрами, запустите диагностику: Оптимизация сайта → Диагностика сайта. Информация о дублях появится в разделе с критичными проблемами.

Также о критичных проблемах сообщается на странице Яндекс Вебмастера Сводка.

Подробно:

• Страницы в поиске
• Критичные проблемы

Как удалить дубли из Поиска

• Настройте редиректы: с неглавных адресов сайта на главный, со страниц-дублей на нужную страницу.
• Укажите в коде страницы с помощью атрибута rel="canonical", какую из страниц-дублей вы хотите добавить в поиск.
• Закройте дубли от индексирования в файле robots.txt.
• Закройте дубли от индексирования в коде страницы атрибутом noindex метатега robots.

Подробно:

• Как избавиться от страниц-дублей
• Что такое переезд сайта и как его совершить
• Главный и неглавные адреса сайта

Разгруппировка

Владелец сайта, имеющего поддомены и часто попадающего в топ выдачи, может предложить переквалифицировать свой домен в интернет-портал через обращение в Яндекс Вебмастере. Для этого нужно предоставить описание сервисов и их владельцев на поддоменах.

Подробно:

• Разгруппировка