Введите домен или URL сайта, чтобы проверить файл robots.txt онлайн: доступность, директивы User-agent, Allow, Disallow, Sitemap и возможные ошибки в правилах обхода.
| № строки | Текст | Ошибки |
|---|
| URL | Результат |
|---|
Частые вопросы
Как проверить robots.txt на сайте?
Введите домен или URL сайта в инструмент. Сервис найдёт файл по адресу /robots.txt, проверит код ответа, прочитает содержимое и покажет директивы для поисковых роботов.
Как посмотреть robots.txt сайта вручную?
Откройте в браузере адрес домена и добавьте /robots.txt. Например, для example.ru файл должен открываться по адресу https://example.ru/robots.txt.
Какие директивы проверяются в robots.txt?
Инструмент анализирует User-agent, Allow, Disallow и Sitemap. Эти директивы показывают, для каких роботов заданы правила, какие разделы открыты или закрыты для обхода и где указаны XML-карты сайта.
Что означает Disallow в robots.txt?
Disallow запрещает указанному роботу обходить путь на сайте. Например, Disallow: /admin/ закрывает для обхода раздел /admin/ в рамках той группы User-agent, где указано правило.
Что означает Allow в robots.txt?
Allow разрешает обход конкретного пути, даже если более широкий раздел закрыт через Disallow. Это используют, когда нужно закрыть папку, но оставить доступ к отдельным страницам или файлам внутри неё.
Можно ли закрыть страницу от индексации через robots.txt?
Robots.txt управляет обходом страниц, а не гарантированным удалением из индекса. Чтобы запретить индексацию страницы, используйте meta robots noindex или закройте страницу авторизацией.
Почему важно указывать Sitemap в robots.txt?
Директива Sitemap помогает поисковым роботам быстрее найти XML-карту сайта. Если в robots.txt нет ссылки на карту сайта, её можно проверить отдельно через валидатор Sitemap XML.
Что делать, если robots.txt закрывает весь сайт?
Проверьте, нет ли правила Disallow: / для User-agent: * или нужного поискового робота. Такое правило запрещает обход всего сайта и может мешать поисковым системам сканировать важные страницы.
