Справочник по ошибкам анализа robots.txt
Ошибки
Перечень ошибок, возникающих при анализе файла robots.txt.
| Ошибка | Расширение Яндекса | Описание |
|---|---|---|
| Правило начинается не с символа / и не с символа * | Да | Правило может начинаться только с символа / или *. |
| Найдено несколько правил вида User-agent: * | Нет | Допускается только одно правило такого типа. |
| Превышен допустимый размер robots.txt | Да | Количество правил в файле превышает 2048. |
| Перед правилом нет директивы User-agent. | Нет | Правило должно всегда следовать за директивой User-agent. Возможно, файл содержит пустую строку после User-agent. |
| Слишком длинное правило | Да | Правило превышает допустимую длину (1024 символа). |
| Некорректный формат URL файла Sitemap | Да | В качестве URL файла Sitemap должен быть указан полный адрес, включая протокол. Например, https://www.example.com/sitemap.xml |
| Некорректный формат директивы Clean-param | Да | В директиве Clean-param указывается один или несколько параметров, которые робот будет игнорировать, и префикс пути. Параметры перечисляются через символ & и отделяются от префикса пути пробелом. |
| Ошибка | Расширение Яндекса | Описание |
|---|---|---|
| Правило начинается не с символа / и не с символа * | Да | Правило может начинаться только с символа / или *. |
| Найдено несколько правил вида User-agent: * | Нет | Допускается только одно правило такого типа. |
| Превышен допустимый размер robots.txt | Да | Количество правил в файле превышает 2048. |
| Перед правилом нет директивы User-agent. | Нет | Правило должно всегда следовать за директивой User-agent. Возможно, файл содержит пустую строку после User-agent. |
| Слишком длинное правило | Да | Правило превышает допустимую длину (1024 символа). |
| Некорректный формат URL файла Sitemap | Да | В качестве URL файла Sitemap должен быть указан полный адрес, включая протокол. Например, https://www.example.com/sitemap.xml |
| Некорректный формат директивы Clean-param | Да | В директиве Clean-param указывается один или несколько параметров, которые робот будет игнорировать, и префикс пути. Параметры перечисляются через символ & и отделяются от префикса пути пробелом. |
Предупреждения
Перечень предупреждений, возникающих при анализе файла robots.txt.
| Предупреждение | Расширение Яндекса | Описание |
|---|---|---|
| Возможно, был использован недопустимый символ | Да | Обнаружен спецсимвол, отличный от * и $. |
| Обнаружена неизвестная директива | Да | Обнаружена директива, не описанная в правилах использования robots.txt. Возможно, эта директива используется роботами других поисковых систем. |
| Синтаксическая ошибка | Да | Строка не может быть интерпретирована как директива robots.txt. |
| Неизвестная ошибка | Да | При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки. |
| Предупреждение | Расширение Яндекса | Описание |
|---|---|---|
| Возможно, был использован недопустимый символ | Да | Обнаружен спецсимвол, отличный от * и $. |
| Обнаружена неизвестная директива | Да | Обнаружена директива, не описанная в правилах использования robots.txt. Возможно, эта директива используется роботами других поисковых систем. |
| Синтаксическая ошибка | Да | Строка не может быть интерпретирована как директива robots.txt. |
| Неизвестная ошибка | Да | При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки. |
Ошибки проверки URL
Перечень ошибок проверки URL в инструменте Анализ robots.txt.
| Ошибка | Описание |
|---|---|
| Синтаксическая ошибка | Ошибка синтаксиса URL. |
| Этот URL не принадлежит вашему домену | Заданный URL не принадлежит сайту, для которого производится анализ файла. Возможно, вы указали неглавный адрес вашего сайта или допустили ошибку в написании имени домена. |
| Ошибка | Описание |
|---|---|
| Синтаксическая ошибка | Ошибка синтаксиса URL. |
| Этот URL не принадлежит вашему домену | Заданный URL не принадлежит сайту, для которого производится анализ файла. Возможно, вы указали неглавный адрес вашего сайта или допустили ошибку в написании имени домена. |
