Генератор robots.txt

Где robots.txt реально нужен

Первый и самый частый случай — интернет-магазин. В корзине, в личном кабинете и на странице оформления заказа нет ничего, что стоит показывать в поиске, но все эти адреса отлично индексируются, если не закрыть их заранее. Поисковая выдача по запросу «купить кроссовки» не должна была содержать страницу с формой ввода промокода. Второй случай — форум или блог с комментариями: там есть поиск, архив по тегам, страницы сортировки и пагинация, и без запрета robots.txt в индекс попадают десятки почти одинаковых адресов. Список закрываемых разделов заранее приводят к единому виду: сортировка строк покажет дубли и разнобой в записях, которые потом переносятся в правила. Третий — сайт на стадии разработки, который уже открыт по домену, но обсуждать его с поиском ещё рано.

Отдельная категория — сайты, у которых есть личный кабинет с авторизацией. Иногда на такие разделы попадает robots.txt из коробки, и это ошибка: закрытый раздел всё равно попадает в индекс как «страница без описания», а по запросам вроде «site:домен личный кабинет» находится. Четвёртый случай — переезд на новый домен. Старый robots.txt может содержать правила для старых разделов, и их нужно переписать под новую структуру, иначе новые разделы случайно окажутся закрыты. Пятый — крупные каталоги, где в индексе держится сотня тысяч адресов, и правила помогают убрать из обхода всё, что не является товаром.

• Интернет-магазин: корзина, кабинет, оформление заказа
• Форум и блог: поиск, теги, пагинация, архивы
• Личный кабинет с авторизацией
• Стадинг и тестовые сборки на основном домене
• Переезд на новый домен со сменой структуры
• Каталоги с большим числом служебных адресов

Типичные ошибки в robots.txt

Первая ошибка — файл лежит не в корне. Если положить robots.txt в папку сайта или в подпапку static, робот его не найдёт, и все правила молча перестанут работать. Вторая ошибка — запрет страниц, которые нужно индексировать: закрыть весь сайт строкой Disallow: / и забыть про это. Третья — одновременно закрыть страницу и повесить на неё noindex. Робот не доходит до страницы, значит, тег он не видит, а в выдаче остаётся голый адрес с пустым описанием.

Четвёртая ошибка — рассчитывать, что robots.txt защищает личные данные. Это не так: закрытая страница всё равно доступна любому, кто вставит адрес в строку браузера. Если данные не должны быть видны вообще, нужен вход на сервер, а не правило для робота. Пятая — путать Allow и Disallow: правило Allow не отменяет более специфичный Disallow, и если сначала закрыть /admin/, а потом открыть /admin/login, путь всё равно останется закрытым. Шестая — писать запрет на параметры слишком широко: Disallow: /*?* закрывает не только мусорные фильтры, но и нормальные адреса с UTM-метками, по которым приходят ссылки с рекламы.

• Файл положен в папку, а не в корень сайта
• Disallow: / закрывает сайт целиком и об этом забыли
• Страница закрыта от обхода и от индексации одновременно
• Robots.txt использован как способ спрятать личные данные
• Allow: /admin/login не работает поверх Disallow: /admin/
• Disallow: /*?* режет нормальные адреса с метками

Разбор файла по шагам на примере

Возьмём типовой интернет-магазин на домене example.com. Задача: закрыть личный кабинет и панель управления, оставить папку админки WordPress открытой для роботов, запретить JSON-выгрузки, объявить главное зеркало и подключить карту сайта. Шаг первый — домен: пишем example.com, без протокола, чтобы в директивах Host и Sitemap не оказалось https:// дважды. Шаг второй — правила: отмечаем закрытие /private/ и /admin/, запрет *.json и разблокировку /wp-admin/. Шаг третий — получатель правил: оставляем звёздочку, чтобы файл применялся ко всем роботам. Дальше понадобится адрес самой карты сайта, его удобно собрать отдельно в генераторе sitemap.xml.

Дальше формируется сам файл. Сначала идёт блок комментариев: в нём прямо сказано, что файл должен лежать по адресу https://example.com/robots.txt и отдаваться с кодом 200 и типом text/plain. Затем строка User-agent: * и сами правила. Потом служебные директивы для Яндекса: Clean-param с параметром ref и Host с доменом. В конце — Sitemap с полным адресом карты сайта. Такой порядок не обязателен, но он привычен: роботы читают файл построчно, а человек читает его сверху вниз, и сначала видит объяснение, потом правила.

Файл собирается целиком в памяти вкладки: ни один символ robots.txt не уходит на сервер, пока вы сами не скопируете его или не скачаете.

robots.txt, sitemap и остальное: что за что отвечает

Файлы, которые упоминают рядом, отвечают за разные вещи, и их часто путают. robots.txt говорит роботу, куда не ходить. sitemap.xml говорит роботу, куда идти и что считать главным. Карта сайта — это список адресов, а не запрет; закрытый в robots.txt адрес из карты нужно убрать, иначе получится противоречие, которое поисковики разрешают не всегда. Для robots.txt есть наглядный аналог в виде карты сайта для ручной проверки структуры — вспомогательные инструменты вроде генератора карты сайта показывают, что вообще попадёт в индекс, а robots.txt отвечает за то, что туда не попадёт.

Отдельная связка — теги и заголовки страницы. Мета-теги title и description собираются в генераторе мета-тегов, а robots.txt на них не влияет: он управляет обходом, а не заголовками. Третий элемент — файл .htaccess, который отвечает за редиректы и коды ответов на уровне сервера; его правила пишутся в генераторе .htaccess. Четвёртый — технические заголовки вроде X-Robots-Tag, которые сервер отдаёт вместе со страницей. Если разбираетесь с этими правилами впервые, начните с простого: один файл в корне, одна строка Sitemap, никаких глобальных запретов. Отдельно стоит проверить, что сервер отдал файл именно как текст: справочник HTTP-статусов подскажет, что означает код ответа.

• robots.txt управляет обходом, sitemap.xml перечисляет адреса
• Закрытый в robots.txt адрес не должен попадать в карту сайта
• Title и description живут в мета-тегах, а не в robots.txt
• Коды ответов и редиректы задаёт сервер, а не robots.txt
• noindex на странице требует, чтобы робот до неё дошёл
• Пустой robots.txt с директивой Sitemap — уже полезный файл