---
metadata:
  - name: generator
    content: Diplodoc Platform v5.50.6
alternate:
  - https://yandex.uz/support/webmaster/ru/indexing-options/robots-txt-analyzer.md
---
> **Documentation Index:** Fetch the complete configuration index at https://yandex.uz/support/webmaster/ru/llms.txt


# Анализ robots.txt

Файл `robots.txt` — это текстовый файл, который размещается в корневом каталоге сайта и содержит инструкции для поисковых роботов. С его помощью можно указать, какие разделы или страницы сайта можно индексировать, а какие — нет.

Правильно настроенный файл помогает оптимизировать процесс индексации и снизить нагрузку на сервер, а также предотвратить обход поисковыми роботами ненужных или служебных страниц. Подробно см. [Использование файла robots.txt](https://yandex.uz/support/webmaster/ru/controlling-robot/robots-txt.md).



#|
||
<svg width="57" height="71" viewBox="0 0 57 71" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M49.599 62.923H1V1H37.5L49.599 13.099V62.923Z" fill="white" stroke="black" stroke-width="0.5" stroke-miterlimit="10" stroke-linecap="round" stroke-linejoin="round"/><path d="M37.5 13.099H49.599L37.5 1V13.099Z" fill="black" stroke="black" stroke-width="0.5" stroke-miterlimit="10" stroke-linecap="round" stroke-linejoin="round"/><path d="M56.676 70H8.07703V8.077H44.577L56.676 20.176V70Z" fill="white" stroke="black" stroke-width="0.5" stroke-miterlimit="10" stroke-linecap="round" stroke-linejoin="round"/><path d="M44.577 20.176H56.676L44.577 8.077V20.176Z" fill="black" stroke="black" stroke-width="0.5" stroke-miterlimit="10" stroke-linecap="round" stroke-linejoin="round"/><path d="M15.154 26.574H49.599" stroke="black" stroke-miterlimit="10"/><path d="M15.154 30.536H49.599" stroke="black" stroke-miterlimit="10"/><path d="M15.154 53.187H49.599" stroke="black" stroke-miterlimit="10"/><path d="M15.154 57.149H32.376" stroke="black" stroke-miterlimit="10"/><path d="M49.553 34.499H15.2V49.225H49.553V34.499Z" fill="#FFCA00" stroke="black" stroke-width="0.5" stroke-miterlimit="10" stroke-linecap="round" stroke-linejoin="round"/></svg>
|
<!-- source: ru/_includes/controlling-robot/robots-txt/id-robots-txt/les-25.md -->
Урок [Как управлять индексированием сайта](https://yandex.ru/adv/edu/webmaster/webmaster-start/kak-upravlyat-indeksirovaniem-sayta/?from=webmaster-help).
<!-- endsource: ru/_includes/controlling-robot/robots-txt/id-robots-txt/les-25.md -->
||
|#


Инструмент [Анализ robots.txt](https://webmaster.yandex.ru/site/tools/robotstxt/) предназначен для проверки и анализа файла `robots.txt`. Он позволяет:

- проверить, есть ли в файле синтаксические ошибки или противоречия, которые могут повлиять на индексацию сайта;
- отследить изменения в файле;
- понять, какие страницы разрешены или запрещены для индексации;
- сэкономить время при анализе файла, особенно на крупных сайтах со сложной структурой.


## Как проверить файл {#check}

{% list tabs %}

- Cайт добавлен в Яндекс Вебмастер

  1. В основном меню слева выберите сайт, который хотите проверить.
     
     Если вы [добавили](https://yandex.uz/support/webmaster/ru/service/quick-start.md) и [подтвердили права](https://yandex.uz/support/webmaster/ru/service/rights.md) только на один сайт, он будет отображаться в сервисе по умолчанию.

  1. Перейдите на страницу **Инструменты** → **Анализ robots.txt**. Содержимое файла `robots.txt` для добавленного сайта отобразится на странице. Проверка запустится автоматически.

- Cайт не добавлен в Яндекс Вебмастер

  1. В Яндекс Вебмастере перейдите на страницу [Анализ robots.txt](https://webmaster.yandex.ru/tools/robotstxt/).

  1. Заполните поле **Адрес сайта** — укажите сайт, который хотите проверить. Например, `https://example.com`.
  1. Нажмите значок <svg width="24" height="24" viewBox="0 0 24 24" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M9.16349 2.81901C9 3.13988 9 3.55992 9 4.4V11H7.80263C6.91953 11 6.47798 11 6.26863 11.1762C6.08688 11.3292 5.98838 11.5593 6.00308 11.7964C6.02002 12.0696 6.32476 12.3891 6.93423 13.0282L11.1316 17.4294C11.4341 17.7467 11.5854 17.9053 11.7615 17.9643C11.9163 18.0163 12.0837 18.0163 12.2385 17.9643C12.4146 17.9053 12.5659 17.7467 12.8684 17.4294L12.8684 17.4294L17.0658 13.0282C17.6752 12.3891 17.98 12.0696 17.9969 11.7964C18.0116 11.5593 17.9131 11.3292 17.7314 11.1762C17.522 11 17.0805 11 16.1974 11H15V4.4C15 3.55992 15 3.13988 14.8365 2.81901C14.6927 2.53677 14.4632 2.3073 14.181 2.16349C13.8601 2 13.4401 2 12.6 2H11.4C10.5599 2 10.1399 2 9.81901 2.16349C9.53677 2.3073 9.3073 2.53677 9.16349 2.81901ZM5 21C5 21.5523 5.44772 22 6 22H18C18.5523 22 19 21.5523 19 21C19 20.4477 18.5523 20 18 20H6C5.44772 20 5 20.4477 5 21Z" fill="currentColor"/></svg>. Содержимое `robots.txt` и результаты анализа отобразятся ниже.

  Вы также можете написать содержимое файла, чтобы после проверки скопировать его в `robots.txt`:

  1. В область под полем **Адрес сайта** добавьте все необходимые [директивы](https://yandex.uz/support/webmaster/ru/controlling-robot/robots-txt.md#recommend).
  1. Нажмите **Проверить**.

{% endlist %}

В разделах для робота Яндекса (`User-agent: Yandex` или `User-agent: *`) инструмент проверяет директивы с учетом [правил использования robots.txt](https://yandex.uz/support/webmaster/ru/controlling-robot/robots-txt.md). Остальные разделы проверяются в соответствии со [стандартом](http://www.robotstxt.org/robotstxt.html).

Отчет о проверке отобразится в разделе **Результаты анализа robots.txt**:

* На вкладке **Правила обхода** покажутся все директивы, которые учитывают роботы Яндекса при индексировании.
* На вкладке **Ошибки** могут показаться ошибки, из-за которых инструмент не смог обработать строку, секцию или весь файл. Подробное описание см. в разделе [Справочник по ошибкам анализа robots.txt](https://yandex.uz/support/webmaster/ru/error-dictionary/robots-txt.md).

![](../_assets/robot-txt.png =600x){.border-yes}

При необходимости внесите правки в поле с кодом из файла и нажмите **Проверить**. Если ошибок нет, а правила отображаются корректно, скопируйте полученный код в файл `robots.txt`.

## Как отслеживать изменения файла {#changelog}

Яндекс Вебмастер регулярно проверяет обновления файла `robots.txt` и сохраняет версии с учетом даты и времени изменения.

Если в сервисе есть информация об изменениях файла, на странице **Инструменты**&nbsp;→ **Анализ robots.txt** будет доступен список версий за последние 6 месяцев. Максимальное количество сохраненных версий — 100. 

Чтобы посмотреть список версий, [добавьте](https://yandex.uz/support/webmaster/ru/service/quick-start.md) сайт в Яндекс Вебмастер и [подтвердите права](https://yandex.uz/support/webmaster/ru/service/rights.md) на него.

Текущая версия файла загружается автоматически. Чтобы посмотреть предыдущую версию, выберите ее из списка **Версия robots.txt**. В поле ниже отобразится содержимое файла и результаты проверки.

Чтобы своевременно узнавать об изменениях файла `robots.txt`, [настройте уведомления](https://yandex.uz/support/webmaster/ru/service/notifications.md#sites).


## Как узнать, обойдет ли робот определенный URL {#list}

1. Перейдите на страницу **Инструменты**&nbsp;→ **Анализ robots.txt** и [добавьте](#check) файл `robots.txt` для проверки.
1. Под результатами анализа файла отобразится блок **Доступ к страницам**. В поле **Список страниц** добавьте адрес одной или нескольких страниц, доступ к которым хотите проверить.

   Можно указать полный URL или адрес относительно корневого каталога сайта. Например, `https://example.com/page/` или `/page/`.

1. Нажмите **Проверить**.

Ниже отобразится результат проверки для каждой страницы:

<div class="borderless-table">

| Статус  | Значение  |
| ----------- | ----------- |
| Владелец площадки разрешил показ страницы в поиске Яндекса | Страница открыта для индексирования |
| Владелец площадки запретил показ страницы в поиске Яндекса | Страница недоступна для индексирования |
| Не удалось провести полную проверку | Страница содержит ошибку (например, не загружается, ведет на другой адрес или отвечает с ошибкой) |

</div>

![](../_assets/url-index.png =700x){.border-yes}


## Вопросы и ответы {#qanda}


{% cut "Ошибка «Этот URL не принадлежит вашему домену»" %}


Вероятно, в списке URL указан неглавный адрес сайта — например, `http://example.com` вместо `http://www.example.com`. Для системы это разные URL. Убедитесь, что проверяемые адреса принадлежат сайту, для которого анализируется файл `robots.txt`.


{% endcut %}

<!-- source: ru/_includes/support-chat-ru-en.md -->
---
<!-- endsource: ru/_includes/support-chat-ru-en.md -->


<div class="cut-button">


{% cut "Сообщить об ошибке в работе инструмента" %}

Укажите инструмент, в работе которого вы нашли ошибку, опишите ситуацию как можно подробнее, а при необходимости приложите , иллюстрирующий ситуацию.



<div style="padding: 15px;
        margin: 10px 0;
        background: #FFFFFF;
        border-radius: 10px;
        border: 1px solid var(--yc-color-line-generic);">
    <iframe style="background: #FFFFFF;"
        height="700"
        width="100%"
        frameborder="0"
        src="https://forms.yandex.ru/surveys/3522/?&theme1=Oshibka v rabote instrumenta&iframe=1">
    </iframe>
</div>








{% endcut %}


</div>


<!-- source: ru/_includes/cut-button-style.md -->

<!-- endsource: ru/_includes/cut-button-style.md -->

<!-- source: ru/_includes/table-style-1.md -->

<!-- endsource: ru/_includes/table-style-1.md -->

<!-- source: ru/_includes/border-style.md -->

<!-- endsource: ru/_includes/border-style.md -->

<!-- source: ru/_includes/footer.md -->
<div width="100%" align="center" class="main-footer"> 
<br><br><br>
Также вы можете перейти на сервис 
<br><br>


[<svg xmlns="http://www.w3.org/2000/svg" preserveAspectRatio="xMidYMid" width="45" height="41" viewBox="0 0 94 86"><defs></defs><g id="svg-5mboo2xj__webmaster" fill-rule="evenodd"><path d="M23 56l-5 5-18-18 18-18 5 5-13 13 13 13z" id="svg-5mboo2xj__path-1" class="cls-3"/><path d="M71 30l5-5 18 18-18 18-5-5 13-13-13-13z" id="svg-5mboo2xj__path-2" class="cls-3"/><path d="M71 13.955c0-3.902-1.589-7.431-4.151-9.975l-4.187 11.967-11.324-3.984 4.188-11.97c-7.039.739-12.526 6.707-12.526 13.962 0 3.903 1.589 7.431 4.151 9.975l-11.625 34.153c-7.039.739-12.526 6.706-12.526 13.962 0 3.902 1.589 7.431 4.151 9.975l4.187-11.967 11.324 3.984-4.188 11.969c7.039-.738 12.526-6.706 12.526-13.961 0-3.902-1.589-7.431-4.151-9.975l11.625-34.153c7.039-.739 12.526-6.706 12.526-13.962z" id="svg-5mboo2xj__path-3" class="cls-5"/></g></svg>](https://webmaster.yandex.ru/) [<svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" width="200" height="31" viewBox="0 0 238 37"><path fill="currentColor" d="M12.46 29.42L16.29 29.42L16.29 7.39L10.71 7.39C5.10 7.39 2.16 10.27 2.16 14.52C2.16 17.91 3.77 19.91 6.66 21.97L1.65 29.42L5.80 29.42L11.38 21.08L9.45 19.78C7.10 18.20 5.96 16.96 5.96 14.30C5.96 11.95 7.61 10.37 10.75 10.37L12.46 10.37ZM86.41 29.73C88.16 29.73 89.39 29.42 90.31 28.75L90.31 25.68C89.36 26.34 88.22 26.75 86.64 26.75C83.94 26.75 82.83 24.66 82.83 21.37C82.83 17.91 84.20 16.14 86.67 16.14C88.13 16.14 89.55 16.64 90.31 17.12L90.31 13.92C89.52 13.47 88.13 13.16 86.26 13.16C81.44 13.16 78.93 16.61 78.93 21.46C78.93 26.79 81.37 29.73 86.41 29.73ZM62.83 28.34L62.83 25.26C61.66 26.06 59.69 26.75 57.85 26.75C55.09 26.75 54.05 25.46 53.89 22.79L62.99 22.79L62.99 20.80C62.99 15.25 60.55 13.16 56.77 13.16C52.18 13.16 49.99 16.67 49.99 21.49C49.99 27.04 52.72 29.73 57.54 29.73C59.94 29.73 61.72 29.10 62.83 28.34ZM74.88 29.42L79.15 29.42L73.10 20.95L78.43 13.47L74.62 13.47L69.30 20.95L69.30 13.47L65.52 13.47L65.52 29.42L69.30 29.42L69.30 21.71ZM49.07 26.44L47.39 26.44L47.39 13.47L36.39 13.47L36.39 14.84C36.39 18.73 36.14 23.77 34.81 26.44L33.63 26.44L33.63 33.06L37.12 33.06L37.12 29.42L45.58 29.42L45.58 33.06L49.07 33.06ZM28.28 13.47L28.28 19.78L23.24 19.78L23.24 13.47L19.46 13.47L19.46 29.42L23.24 29.42L23.24 22.76L28.28 22.76L28.28 29.42L32.05 29.42L32.05 13.47ZM56.71 16.14C58.58 16.14 59.15 17.69 59.15 19.69L59.15 20.00L53.89 20.00C53.99 17.47 54.90 16.14 56.71 16.14ZM43.62 26.44L38.29 26.44C39.34 24.03 39.63 19.69 39.63 16.93L39.63 16.45L43.62 16.45ZM99.19 7.39L99.19 29.42L105.56 29.42C110.76 29.42 113.90 27.42 113.90 23.08C113.90 20.16 112.31 18.51 109.36 17.97C111.71 17.37 113.23 15.91 113.23 12.93C113.23 9.13 110.60 7.39 105.72 7.39ZM105.75 16.64L103.02 16.64L103.02 10.37L105.78 10.37C108.16 10.37 109.43 11.16 109.43 13.38C109.43 15.72 108.03 16.64 105.75 16.64ZM105.85 26.44L103.02 26.44L103.02 19.50L105.81 19.50C108.70 19.50 110.00 20.41 110.00 22.86C110.00 25.49 108.45 26.44 105.85 26.44ZM128.48 28.34L128.48 25.26C127.31 26.06 125.34 26.75 123.50 26.75C120.75 26.75 119.70 25.46 119.54 22.79L128.64 22.79L128.64 20.80C128.64 15.25 126.20 13.16 122.43 13.16C117.83 13.16 115.64 16.67 115.64 21.49C115.64 27.04 118.37 29.73 123.19 29.73C125.60 29.73 127.37 29.10 128.48 28.34ZM122.36 16.14C124.23 16.14 124.80 17.69 124.80 19.69L124.80 20.00L119.54 20.00C119.64 17.47 120.56 16.14 122.36 16.14ZM130.54 20.03L130.54 20.70C130.54 26.98 133.36 29.73 137.48 29.73C141.60 29.73 144.55 26.82 144.55 21.75C144.55 16.39 141.83 13.66 138.47 13.66C136.18 13.66 134.47 14.68 133.62 16.55C134.12 12.36 135.77 11.00 140.15 10.68C142.05 10.56 142.97 10.27 143.60 9.89L143.60 6.85C142.94 7.20 142.05 7.42 139.86 7.58C132.70 8.15 130.54 12.36 130.54 20.03ZM134.44 21.75C134.44 18.26 135.52 16.67 137.61 16.67C139.64 16.67 140.72 18.13 140.72 21.75C140.72 25.30 139.58 26.75 137.48 26.75C135.52 26.75 134.44 25.14 134.44 21.75ZM160.69 29.42L164.36 29.42L164.30 13.47L159.13 13.47L155.68 24.09L152.57 13.47L147.09 13.47L147.09 29.42L150.29 29.42L150.29 17.50L153.74 29.42L156.82 29.42L160.69 17.50ZM179.45 18.54C179.45 14.68 177.49 13.22 173.49 13.22C170.99 13.22 169.02 14.01 167.88 14.68L167.88 17.82C168.90 17.05 171.12 16.23 173.05 16.23C174.86 16.23 175.68 16.86 175.68 18.58L175.68 19.46L175.08 19.46C169.31 19.46 166.74 21.37 166.74 24.60C166.74 27.83 168.71 29.64 171.62 29.64C173.84 29.64 174.79 28.91 175.52 28.15L175.68 28.15C175.71 28.56 175.84 29.10 175.97 29.42L179.64 29.42C179.52 28.12 179.45 26.82 179.45 25.52ZM175.68 25.61C175.21 26.31 174.32 26.88 172.99 26.88C171.40 26.88 170.61 25.99 170.61 24.63C170.61 22.82 171.91 22.16 175.14 22.16L175.68 22.16ZM189.34 29.73C191.09 29.73 192.32 29.42 193.24 28.75L193.24 25.68C192.29 26.34 191.15 26.75 189.57 26.75C186.87 26.75 185.76 24.66 185.76 21.37C185.76 17.91 187.13 16.14 189.60 16.14C191.06 16.14 192.48 16.64 193.24 17.12L193.24 13.92C192.45 13.47 191.06 13.16 189.19 13.16C184.37 13.16 181.86 16.61 181.86 21.46C181.86 26.79 184.30 29.73 189.34 29.73ZM207.32 16.45L207.32 13.47L194.67 13.47L194.67 16.45L199.11 16.45L199.11 29.42L202.88 29.42L202.88 16.45ZM220.79 28.34L220.79 25.26C219.62 26.06 217.65 26.75 215.81 26.75C213.06 26.75 212.01 25.46 211.85 22.79L220.95 22.79L220.95 20.80C220.95 15.25 218.51 13.16 214.74 13.16C210.14 13.16 207.95 16.67 207.95 21.49C207.95 27.04 210.68 29.73 215.50 29.73C217.91 29.73 219.68 29.10 220.79 28.34ZM214.67 16.14C216.54 16.14 217.11 17.69 217.11 19.69L217.11 20.00L211.85 20.00C211.95 17.47 212.87 16.14 214.67 16.14ZM226.97 13.47L223.49 13.47L223.49 34.01L227.26 34.01L227.26 27.55C228.21 28.97 229.60 29.73 231.22 29.73C234.90 29.73 237.43 26.79 237.43 21.43C237.43 16.10 234.96 13.16 231.41 13.16C229.63 13.16 228.18 13.98 227.16 15.53ZM230.27 26.75C228.27 26.75 227.26 25.14 227.26 21.46C227.26 17.75 228.34 16.14 230.46 16.14C232.52 16.14 233.53 17.75 233.53 21.43C233.53 25.14 232.46 26.75 230.27 26.75Z"/></svg>](https://webmaster.yandex.ru/)





</div>


<!-- source: ru/_includes/styles/footer-style.md -->

<!-- endsource: ru/_includes/styles/footer-style.md -->
<!-- endsource: ru/_includes/footer.md -->

<!-- source: ru/_includes/dl-indentation.md -->

<!-- endsource: ru/_includes/dl-indentation.md -->