--- metadata: - name: generator content: Diplodoc Platform v5.55.2 alternate: - https://yandex.uz/support/webmaster/ru/error-dictionary/robots-txt.md - href: ru/error-dictionary/robots-txt.md type: text/markdown title: Markdown version - href: ../llms.txt type: text/markdown title: llms.txt --- > **Documentation Index:** Fetch the complete configuration index at https://yandex.uz/support/webmaster/ru/llms.txt # Справочник по ошибкам анализа robots.txt ## Ошибки анализа файла robots.txt {#errors} Перечень ошибок, которые могут возникнуть при [анализе файла `robots.txt`](https://yandex.uz/support/webmaster/ru/indexing-options/robots-txt-analyzer.md). #| || **Ошибка** | **Расширение Яндекса** | **Описание** || || Правило начинается не с символа / и не с символа * | Да | Правило может начинаться только с символа `/` или `*`. Убедитесь, что каждое правило `Allow` или `Disallow` начинается с `/` (для указания пути) или `*` (для использования маски). {% cut "Пример" %} ❌ `Disallow: admin` ✅ `Disallow: /admin` {% endcut %} || || Найдено несколько правил вида User-agent: * | Нет | Допускается только одно правило `User-agent: *` в файле. Объедините все правила для всех роботов в один блок с `User-agent: *`. Если нужны специфичные правила для конкретных роботов, укажите их отдельными блоками до или после общего блока. {% cut "Пример" %} ``` translate=no User-agent: Yandex Disallow: /private/ User-agent: * Disallow: /admin/ ``` {% endcut %} || || Превышен допустимый размер ` robots.txt` | Да | Количество правил в файле превышает 2048. Оптимизируйте правила, объединяя похожие директивы. Используйте маски `*` для группировки путей. Например, вместо отдельных правил для `/page1/`, `/page2/`, `/page3/` используйте `/page*/`. Проверьте, можно ли закрыть целые разделы сайта одним правилом вместо перечисления отдельных страниц. Если нужно закрыть много страниц, используйте метатег `robots` или заголовок `X-Robots-Tag` на уровне сервера. Подробно см. [Настройка правил загрузки и индексирования страниц](https://yandex.uz/support/webmaster/ru/controlling-robot/metatags.md#meta-robots). || || Перед правилом нет директивы User-agent. | Нет | Правило должно всегда следовать за директивой `User-agent`. Возможно, файл содержит пустую строку после `User-agent` или директива отсутствует. Убедитесь, что каждый блок правил начинается с директивы `User-agent`. Удалите лишние пустые строки между `User-agent` и первым правилом. {% cut "Пример" %} #| || ❌ ``` translate=no User-agent: * Disallow: /admin/ ``` | ✅ ``` translate=no User-agent: * Disallow: /admin/ ``` || |# {% endcut %} || || Слишком длинное правило | Да | Правило превышает допустимую длину — 1024 символа. Разбейте длинное правило на несколько коротких. Используйте маски `*` для сокращения правил. Если правило содержит длинный URL с параметрами, рассмотрите использование директивы [`Clean-param`](https://yandex.uz/support/webmaster/ru/robot-workings/clean-param.md) для игнорирования параметров. {% cut "Пример" %} Было: `Disallow: /catalog/category1/subcategory1/product-with-very-long-name-and-parameters?param1=value1¶m2=value2...` Стало: `Disallow: /catalog/*/product-with-very-long-name*` {% endcut %} || || Некорректный формат URL файла Sitemap | Да | В качестве URL файла `Sitemap` должен быть указан полный адрес, включая протокол. Укажите полный URL с протоколом (`http://` или `https://`). {% cut "Пример" %} ❌ `Sitemap: www.example.com/sitemap.xml` или `Sitemap: /sitemap.xml` ✅ `Sitemap: https://www.example.com/sitemap.xml` {% endcut %} || || Некорректный формат директивы Clean-param | Да | Нарушен синтаксис директивы `Clean-param`. Используйте правильный формат: `Clean-param: параметры путь`. Параметры перечисляются через символ `&` и отделяются от префикса пути пробелом. {% cut "Пример" %} Роботы должны игнорировать параметры `utm_source` и `utm_medium` для всех страниц в разделе `/catalog`, считая их одной страницей без дублирования контента: ❌ `Clean-param: utm_source&utm_medium/catalog` (нет пробела после параметров) ✅ `Clean-param: utm_source&utm_medium /catalog` {% endcut %} Подробно см. [Директива Clean-param](https://yandex.uz/support/webmaster/ru/robot-workings/clean-param.md). || || Возможно, был использован недопустимый символ | Да | В правилах `robots.txt` для Яндекса допустимы только спецсимволы `*` (любая последовательность символов) и `$` (конец URL). Удалите или замените недопустимые спецсимволы. {% cut "Пример правильного использования" %} * `Disallow: /*.pdf$` — запрет на индексацию PDF-файлов. * `Disallow: /admin*` — запрет на индексацию всех страниц, которые начинаются с `/admin`. {% endcut %} || || Обнаружена неизвестная директива | Да | Обнаружена директива, не описанная в [правилах использования robots.txt](https://yandex.uz/support/webmaster/ru/controlling-robot/robots-txt.md). Возможно, эта директива используется роботами других поисковых систем. Проверьте правильность написания директивы (возможна опечатка). Убедитесь, что используете только [поддерживаемые Яндексом директивы](https://yandex.uz/support/webmaster/ru/controlling-robot/metatags.md#sup). || || Синтаксическая ошибка | Да | Строка не может быть интерпретирована как директива `robots.txt`. Проверьте правильность написания директив (регистр не важен, но должно быть корректное название). Убедитесь, что используется правильный разделитель — двоеточие `:` после названия директивы. Удалите лишние символы, пробелы в начале строки или некорректные переносы строк. {% cut "Пример" %} ❌ `Disallow /admin` (нет двоеточия) ✅ `Disallow: /admin` {% endcut %} || || Неизвестная ошибка | Да | При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки. Проверьте кодировку файла — должна быть UTF-8. Убедитесь, что файл находится в корневом каталоге сайта (доступен по адресу `https://example.com/robots.txt`). Проверьте, что сервер возвращает корректный HTTP-статус (200 OK). Если ошибка повторяется, обратитесь в службу поддержки с указанием домена и скриншотом ошибки. || |# ## Ошибки проверки URL {#url-errors} Перечень ошибок проверки URL в инструменте **Анализ robots.txt**. #| || **Ошибка** | **Описание и как исправить** || || Синтаксическая ошибка | Ошибка синтаксиса URL. Проверьте правильность написания URL. || || Этот URL не принадлежит вашему домену | Заданный URL не принадлежит сайту, для которого производится анализ файла. Убедитесь, что указываете URL именно того сайта, который добавлен в Яндекс Вебмастер. Например, указан верный протокол `http://` или `https://`. Проверьте, что используете [главный адрес сайта](https://yandex.uz/support/webmaster/ru/yandex-indexing/site-addresses.md) и правильно написали домен (возможна опечатка). || |# ## Как избежать ошибок в файле robots.txt {#tips} * Проверяйте файл после каждого изменения — используйте инструмент [Анализ robots.txt](https://yandex.uz/support/webmaster/ru/indexing-options/robots-txt-analyzer.md) в Яндекс Вебмастере. * Используйте простые правила — чем проще структура файла, тем меньше вероятность ошибки. * Тестируйте на конкретных URL — в инструменте [Анализ robots.txt](https://yandex.uz/support/webmaster/ru/indexing-options/robots-txt-analyzer.md) можно проверить, как правила применяются к конкретным страницам. * Следите за размером файла — если правил становится слишком много, пересмотрите стратегию управления индексацией. * Документируйте изменения — добавляйте комментарии (строки, начинающиеся с `#`) для пояснения сложных правил. Подробно см. [Использование файла robots.txt](https://yandex.uz/support/webmaster/ru/controlling-robot/robots-txt.md).
{% cut "Написать в службу поддержки" %}
{% endcut %}



Также вы можете перейти на сервис

[![](../_assets/logo/logo-pic.svg)](https://webmaster.yandex.ru/) [![](../_assets/logo/logo-ru.svg)](https://webmaster.yandex.ru/)