Как создать и настроить robots.txt в WordPress

Если нужно закрыть служебные разделы сайта от лишней индексации, обычно начинают с файла robots.txt. В WordPress его часто пытаются «докрутить» вручную, но здесь легко ошибиться: одна лишняя директива может закрыть от поисковых роботов важные страницы или, наоборот, оставить открытым то, что лучше не показывать в выдаче.

Разберём, как создать и настроить robots.txt в WordPress без лишних рисков: где он должен лежать, что в него обычно пишут, как проверить результат и что делать, если файл не работает так, как вы ожидали.

Что делает robots.txt и чего от него не стоит ждать

robots.txt — это текстовый файл в корне сайта, который подсказывает поисковым роботам, какие разделы можно или нельзя обходить. Для WordPress это удобно, когда нужно ограничить доступ к служебным URL: административной части, внутренним поисковым страницам, техническим каталогам плагинов или временным разделам.

Но важно понимать границу его возможностей. robots.txt не прячет страницу от пользователей и не удаляет её из индекса сам по себе. Если на страницу уже есть внешние ссылки, поисковик может знать о ней даже без обхода. Для полного запрета индексации обычно используют noindex через мета-тег или заголовок ответа, а robots.txt применяют именно для управления обходом.

Где находится robots.txt в WordPress

В WordPress файл robots.txt может существовать в двух вариантах:

  • физический файл в корне сайта, рядом с wp-config.php;
  • виртуальный файл, который WordPress отдаёт динамически, если физического файла нет.

Если вы открываете https://ваш-домен/robots.txt и видите содержимое, значит файл уже есть — либо реальный, либо сгенерированный системой. Для ручной настройки лучше использовать именно физический файл в корне сайта. Тогда вы контролируете содержимое напрямую и не зависите от поведения плагинов или темы.

Как создать robots.txt вручную

Самый надёжный способ — создать обычный текстовый файл с именем robots.txt и загрузить его в корневую директорию сайта по FTP, через файловый менеджер хостинга или через SSH, если он у вас есть.

Перед заменой файла проверьте, нет ли уже рабочего robots.txt. Если он существует, не удаляйте его вслепую: сначала сохраните копию. Это особенно важно на живом сайте, где уже могут быть настроены правила для поисковых систем.

Минимально корректный файл для WordPress обычно выглядит так:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

Здесь:

  • User-agent: * означает, что правило относится ко всем роботам;
  • Disallow: /wp-admin/ закрывает административный раздел от обхода;
  • Allow: /wp-admin/admin-ajax.php оставляет доступ к AJAX-скрипту, который нужен многим темам и плагинам;
  • Sitemap: указывает адрес карты сайта, если она у вас есть.

Если карта сайта находится по другому адресу, подставьте свой реальный URL. Не пишите выдуманный путь «на всякий случай» — поисковик просто не найдёт карту.

Что обычно закрывают в WordPress, а что лучше не трогать

В WordPress действительно есть несколько служебных мест, которые часто не нужны в обходе поисковикам. Но закрывать всё подряд не стоит: часть URL может участвовать в работе сайта или помогать поиску понимать структуру страниц.

Обычно имеет смысл ограничить:

  • /wp-admin/ — административную часть;
  • /wp-login.php — страницу входа, если вы сознательно хотите ограничить её обход;
  • технические каталоги, если они доступны извне и не нужны в индексе;
  • служебные параметры и внутренние результаты поиска, если они создают мусорные URL.

Не стоит без необходимости закрывать:

  • /wp-content/uploads/, если там лежат изображения и файлы, которые должны находиться в поиске;
  • CSS и JS, если они нужны для корректного рендеринга страниц поисковыми системами;
  • разделы, которые вы хотите видеть в выдаче.

Частая ошибка — попытка закрыть слишком много через шаблонные правила. Например, если запретить весь /wp-content/, поисковик может потерять доступ к изображениям и другим ресурсам, которые важны для отображения страниц. Это уже не «чистка», а потенциальная проблема с обходом сайта.

Как настроить robots.txt под свой сайт без лишних рисков

Если вам нужен аккуратный рабочий вариант, начните с малого и добавляйте только то, что действительно нужно закрыть. Для большинства обычных сайтов достаточно базового файла с доступом к карте сайта и запретом на административную часть.

Если у вас есть служебные разделы, которые создают много мусорных URL, добавляйте правила точечно. Например, если внутренний поиск генерирует страницы, которые не должны обходиться, можно закрыть соответствующий путь. Но прежде чем писать правило, убедитесь, что этот URL действительно не нужен поисковику и не используется где-то внутри сайта.

Полезный принцип здесь простой: в robots.txt попадают только те разделы, которые не должны участвовать в обходе. Всё остальное лучше не трогать. Чем короче и понятнее файл, тем меньше шанс случайно перекрыть важный раздел.

Как проверить, что robots.txt работает правильно

После сохранения файла откройте в браузере адрес https://ваш-домен/robots.txt. Если файл настроен верно, вы увидите именно тот текст, который загрузили на сервер. Если вместо него отображается старое содержимое или страница ошибки, значит файл лежит не там, где нужно, либо его перехватывает другое правило на сервере.

Дальше проверьте несколько вещей:

  • открывается ли файл по HTTPS;
  • нет ли в нём лишних символов, пустых строк с ошибками или опечаток в директивах;
  • совпадает ли адрес карты сайта с реальным;
  • не закрыли ли вы случайно важные разделы.

Если вы используете инструменты для вебмастеров поисковых систем, там обычно можно проверить, как робот видит robots.txt и не блокирует ли он нужные страницы. Это особенно полезно после правок, когда нужно убедиться, что правило сработало именно так, как вы задумали.

Когда WordPress-решения удобнее ручной правки

Ручное редактирование robots.txt — нормальный вариант, если вы понимаете, что делаете, и у вас небольшой набор правил. Но на сайтах, где одновременно нужно управлять дублями, служебными страницами и другими SEO-настройками, удобнее использовать плагин, который помогает централизованно управлять техническими файлами и базовой очисткой сайта. В экосистеме WPShop для таких задач может подойти Clearfy Pro, если вам нужен не только контроль над robots.txt, но и дополнительные SEO-настройки.

При этом плагин не отменяет здравый смысл: перед сохранением правил всё равно нужно понимать, что именно вы закрываете. Автоматизация удобна, но не заменяет проверку результата.

Что делать, если robots.txt не меняется

Если вы отредактировали файл, а в браузере видите старую версию, обычно причина в одном из трёх мест:

  • файл загружен не в корень сайта;
  • на сервере есть кэширование ответа;
  • WordPress или другой плагин отдаёт виртуальный robots.txt вместо физического файла.

В такой ситуации проверьте, есть ли реальный файл в корне сайта и не конфликтует ли он с настройками хостинга. Иногда помогает очистка серверного и плагинного кэша, но если проблема в правах доступа или в неверном пути, кэш не поможет.

Если вы работаете через FTP или файловый менеджер, убедитесь, что файл называется именно robots.txt, а не robots.txt.txt и не сохранён в кодировке с лишними символами. Для такого файла достаточно обычного текста без форматирования.

Хорошо настроенный robots.txt не должен быть длинным и сложным. Его задача — аккуратно подсказать роботам, куда не ходить, и не мешать обходу важных страниц. Если держать это правило в голове, файл получится полезным, а не проблемным.

⭐⭐⭐⭐⭐