Генератор sitemap.xml

Когда карта сайта приносит больше пользы

Первый случай — новый сайт. Робот узнаёт о страницах из ссылок, а на новом домене ссылок ещё нет: карта превращается в список, по которому обход начинается осмысленно, с главной страницы и разделов. Второй случай — большой каталог, где обход всех товаров занимает несколько дней, а половина ссылок ведёт в тупики. Здесь карта экономит время робота: он идёт по списку, а не перебирает бесконечные пагинации. Третий — сайт с плохой перелинковкой, где важные страницы спрятаны за три клика и почти не упоминаются в меню. Четвёртый — сайт после переезда, когда старые адреса закрыты, а новые ещё не заработали.

Пятый случай — интернет-магазин, где у каждого товара есть несколько адресов: с цветом, с размером, с фильтром. Карта помогает показать роботу, какие из этих вариантов считать основными, а какие — производными от одного товара. Шестой — сайт с нерусскими адресами, где часть страниц доступна по транслитерации, а часть по латинице. Седьмой — любой сайт, где важна скорость обновления: новостной раздел с часовыми публикациями или каталог с частыми остатками. Восьмой — ресурс с большим архивом, где старые страницы давно не обновляются, и карта помогает роботу отличить свежее от архивного.

• Новый сайт, у которого ещё нет внешних ссылок
• Большой каталог, где обход по ссылкам не успевает
• Важные страницы, плохо связанные с остальными
• Переезд на новый домен со сменой адресов
• Магазин с фильтрами, цветами и вариантами товара
• Сайт с транслитерацией адресов и дублями на латинице

Частые ошибки при составлении карты

Первая ошибка — положить в карту всё подряд. Служебные адреса, страницы поиска, фильтры и дубли выглядят как нормальные страницы, но для робота это шум, из-за которого обход растягивается. Вторая — указать адреса с метками: utm-разметка в карте не нужна, робот всё равно приводит адреса к каноническому виду. Третья — забыть протокол и написать адреса как /about. Такой файл формально невалиден, и часть поисковиков разбирает его частично или не разбирает совсем.

Четвёртая ошибка — поставить дату изменения в будущее или обновлять её без изменений. Робот быстро замечает, что lastmod меняется, а содержимое нет, и перестаёт ориентироваться на метку. Пятая — дубликаты: один адрес, записанный с www и без или с завершающим слэшем и без, считается разными строками, но для поисковика это один документ, и повтор снижает доверие к карте. Шестая — загрузить файл не в корень, а в папку: robots.txt работает только из корня, и с картой сайта то же самое, если на неё ссылаются через директиву Sitemap.

• В карту попали служебные страницы и страницы поиска
• Адреса записаны с utm-метками рекламы
• Адреса без протокола: /about вместо полного адреса
• lastmod меняется, хотя страница не менялась
• Один и тот же адрес записан несколько раз
• Файл загружен не в корень сайта

Разбор примера по шагам

Возьмём блог на домене example.com, у которого 24 страницы. Задача: собрать карту из выгрузки CSV, проставить дату изменения и не допустить попадания служебных адресов. Шаг первый — домен: вписываем example.com, чтобы относительные адреса превратились в абсолютные. Шаг второй — источник: выбираем CSV, потому что адреса пришли из таблицы, где в первой колонке ссылки, а во второй дата редактирования. Шаг третий — вставляем выгрузку: заголовок url,lastmod в генераторе распознаётся и пропускается, а строки вида https://example.com/posts/...,2026-02-11 разбираются на адрес и дату. Если выгрузка приходит не в CSV, а обычным текстом, её сперва приводят к табличному виду, например через конвертер CSV в JSON.

После разбора остаётся собрать файл. Для каждого адреса записывается блок url с четырьмя строками: loc с полным адресом, lastmod с датой из CSV или с общей датой, changefreq с выбранной частотой и priority с выбранным числом. Все элементы перечисляются в порядке, который требует протокол: сначала loc, потом lastmod, changefreq и priority. Корневой urlset с пространством имён пишется один раз в начале, закрывается в конце. Дальше остаётся проверить счётчики: сколько адресов попало в файл, сколько повторов убрано, укладывается ли вес в 50 МБ.

Всё происходит в памяти вкладки: ни список адресов, ни готовый XML не покидают компьютер, пока вы сами не скопируете их.

Карта сайта, robots.txt и мета-теги: кто за что отвечает

Эти три вещи часто путают, потому что все три про поиск и все три живут в текстовых файлах. Карта сайта — это список адресов, которые стоит обойти и которые считаются основными. robots.txt — это запреты на обход, и его правила собираются в генераторе robots.txt. Мета-теги title и description — это то, что робот увидит, когда страница попадёт в выдачу, и они собираются в генераторе мета-тегов. Связка выглядит так: карта говорит, куда идти, robots.txt говорит, куда не идти, а мета-теги определяют, как страница будет выглядеть в результатах.

Ещё один слой — файл .htaccess, где на уровне сервера задаются редиректы и коды ответов, включая X-Robots-Tag. Его правила пишет генератор .htaccess. Отдельно стоит сказать про проверку: сначала убедитесь, что карта вообще доступна по адресу и отдаётся как XML, потом отправьте её в панель вебмастера и дождитесь обработки, а уже потом судите по статистике индексации. Иначе легко потратить день, разбираясь с цифрами, которые ещё не успели посчитать. Код ответа на саму карту стоит проверить отдельно: справочник HTTP-статусов поможет отличить рабочий файл от страницы с ошибкой.

• Карта сайта перечисляет адреса, robots.txt запрещает обход
• Title и description задают вид страницы в выдаче
• Коды ответов и редиректы живут в конфигурации сервера
• Закрытую в robots.txt страницу не стоит держать в карте
• Сначала проверьте доступность файла, потом смотрите статистику
• Для больших сайтов делают индекс карт, а не один гигантский файл