Если в robots.txt у вас появилась строка с XML sitemap, это не всегда ошибка. Но бывают сценарии, когда карту сайта не хотят дублировать в robots.txt: например, файл генерируется плагином, а вы отдаёте sitemap через отдельный индекс; или на сайте несколько карт, и в robots.txt остаётся устаревшая ссылка; или нужно убрать лишний шум при технической проверке. Важно не перепутать удаление строки из robots.txt с отключением самой sitemap — это разные вещи.
Когда проблема действительно есть
Сначала проверьте, что именно вы хотите исправить. Если поисковик не индексирует страницы, причина почти никогда не в том, что sitemap указан в robots.txt. А вот если в файле лежит старая ссылка на несуществующую карту, дублируется несколько sitemap-адресов или robots.txt генерируется автоматически и вы не можете его нормально контролировать, тогда правка оправдана.
Что смотреть в первую очередь
- Откройте
/robots.txtи найдите строки видаSitemap: https://example.com/sitemap_index.xml. - Проверьте, открывается ли сама sitemap в браузере и отдаёт ли код ответа 200.
- Сравните адрес в robots.txt с фактическим адресом, который генерирует ваш SEO-плагин или ядро сайта.
- Если sitemap менялась после миграции, убедитесь, что в robots.txt не остался старый домен или путь.
Если sitemap в robots.txt есть, но сама карта сайта корректна и доступна, это не критическая ошибка. Тогда решение зависит от того, хотите ли вы убрать именно строку из robots.txt или полностью взять файл под ручной контроль.
Как WordPress и плагины добавляют sitemap в robots.txt
В WordPress robots.txt может быть виртуальным, то есть не лежать физически в корне сайта. Его содержимое формируется на лету. Многие SEO-плагины и некоторые темы добавляют туда строку Sitemap: автоматически. Поэтому удаление через файловый менеджер часто не работает: вы правите не тот файл.
Есть три рабочих подхода: фильтр в WordPress, настройка SEO-плагина или собственный физический robots.txt. Выбор зависит от того, кто именно генерирует файл и насколько у вас сложная конфигурация.
| Способ | Когда подходит | Минус |
|---|---|---|
| Фильтр в теме или плагине | Нужен точечный контроль без отключения sitemap | Требуется код и понимание, кто генерирует robots.txt |
| Настройка SEO-плагина | Плагин сам добавляет строку sitemap | Не во всех плагинах есть удобный переключатель |
| Физический robots.txt | Нужен полностью ручной файл | Можно случайно сломать правила для ботов |
Пошаговое решение через фильтр WordPress
Если robots.txt формируется WordPress-ом, можно изменить его содержимое через фильтр robots_txt. Это самый предсказуемый вариант, когда нужно убрать строку sitemap, но оставить остальные правила.
<?php
add_filter('robots_txt', function ($output, $public) {
$lines = preg_split('/\r\n|\r|\n/', $output);
$lines = array_filter($lines, function ($line) {
return stripos($line, 'Sitemap:') !== 0;
});
return implode("\n", $lines);
}, 10, 2);Этот код удаляет все строки, начинающиеся с Sitemap:. Его можно добавить в functions.php дочерней темы, но практичнее вынести в небольшой mu-plugin, чтобы он не зависел от темы.
Если нужно убрать только конкретную sitemap, а остальные оставить, фильтр лучше сделать точечным:
<?php
add_filter('robots_txt', function ($output) {
$output = str_replace(
"Sitemap: https://example.com/sitemap_index.xml\n",
'',
$output
);
return $output;
});Здесь важно совпадение строки до символа. Если у вас другой протокол, домен или завершающий перевод строки, замену нужно подстроить под реальный вывод.
Если sitemap добавляет SEO-плагин
У популярных SEO-плагинов логика может отличаться. Иногда строка sitemap включается настройкой, иногда плагин просто выводит её в robots.txt без отдельного переключателя. В таком случае сначала проверьте настройки самого плагина: разделы, связанные с XML sitemap, robots.txt или advanced settings.
Если отдельной опции нет, а строку нужно убрать, используйте фильтр выше. Это безопаснее, чем редактировать ядро плагина: обновление не вернёт проблему назад.
Когда лучше не трогать robots.txt вручную
Если у вас несколько sitemap-файлов, отдельные карты для записей, страниц, таксономий и медиа, ручной robots.txt легко устаревает. В такой конфигурации лучше оставить генерацию плагину и убрать только лишнюю строку через фильтр. Тогда карта сайта останется актуальной, а файл robots.txt не будет содержать мусорных ссылок.
Проверка результата после изменения
После правки важно проверить не только внешний вид файла, но и то, как его видит бот. Делайте проверку в таком порядке:
- Откройте
https://ваш-домен/robots.txtв браузере. - Убедитесь, что строка
Sitemap:исчезла или осталась только нужная версия. - Проверьте, что остальные директивы
User-agent,DisallowиAllowне пропали. - Откройте сам sitemap и убедитесь, что он отдаёт
200 OK. - Если используете Search Console, отправьте sitemap заново и посмотрите, нет ли ошибок чтения.
Для быстрой проверки ответа сервера можно использовать curl:
curl -I https://example.com/robots.txt
curl -I https://example.com/sitemap_index.xmlЕсли robots.txt отдаёт 200, а sitemap — 404 или 500, проблема не в строке Sitemap:. Тогда нужно чинить генерацию карты сайта или конфликт плагинов.
Частые ошибки и как их исправить
Удалили sitemap из robots.txt, но поисковик всё равно её видит
Это нормально. Поисковики могут находить карту сайта не только через robots.txt, но и по внутренним ссылкам, из Search Console или из старых обходов. Удаление строки не означает мгновенное исчезновение из индекса или из отчётов.
Сломали robots.txt целиком
Так бывает, если вместо фильтра создали физический файл и забыли перенести правила для ботов. В результате пропадают важные директивы, а иногда закрывается доступ к нужным разделам. Исправление простое: верните исходный robots.txt, затем добавляйте правки точечно и проверяйте итоговый вывод.
Убрали не ту sitemap
На многосайтовых или сложных проектах часто есть несколько карт: основная, новостная, для изображений, для кастомных типов записей. Если вы удалили только одну строку, а другая осталась, проверьте, не генерирует ли её другой плагин или кастомный код.
Редактировали файл в корне, но ничего не изменилось
Это признак виртуального robots.txt. WordPress отдает его через обработчик, а не из физического файла. В таком случае нужен фильтр или настройка плагина, а не правка через FTP.
Что делать, если нужен полный ручной контроль
Иногда проще отказаться от автоматической генерации robots.txt и положить свой файл в корень сайта. Но это имеет смысл только если вы понимаете, какие правила уже используются и кто их обслуживает. Перед этим сохраните текущий вывод robots.txt и проверьте, не завязаны ли на него другие сервисы.
Минимальный безопасный вариант — начать с копии текущего файла, убрать только строку sitemap и не менять остальное. После этого снова проверьте доступность файла в браузере и в инструментах для вебмастеров.
Практика по безопасности и производительности
Не держите robots.txt и sitemap в разнобой. Если sitemap меняется после миграции, смены домена или установки нового SEO-плагина, сразу обновляйте и robots.txt, и настройки в Search Console. Иначе вы получите старые ссылки, лишние запросы к несуществующим адресам и путаницу в диагностике.
Если на сайте стоит плагин, который умеет чистить технический мусор и управлять SEO-выводом, имеет смысл централизовать такие правки в одном месте. Например, в Clearfy Pro есть инструменты для технической чистки и управления SEO-элементами; это удобно, когда нужно не только убрать sitemap из robots.txt, но и привести в порядок другие системные мелочи. Подробности можно посмотреть на странице плагина: Clearfy Pro.
Главное правило здесь простое: не отключайте sitemap целиком, если ваша цель — только убрать строку из robots.txt. Карта сайта и robots.txt решают разные задачи, и смешивать их опасно для индексации.