Если в индексе начали появляться страницы вида /page/2/, /page/3/ и похожие вариации архивов, это не всегда ошибка. Но в реальных проектах именно пагинация часто раздувает индекс мусорными URL, особенно когда у сайта есть теги, рубрики, авторские архивы и фильтры. Ниже — рабочая схема, как понять, что именно у вас индексируется, и как закрыть лишнее без поломки внутренней перелинковки.
Когда пагинация становится проблемой
Пагинированные страницы нужны пользователю и поисковику, если на них есть уникальный набор записей. Проблема начинается, когда:
- в индекс попадают страницы архивов с почти одинаковым контентом;
- в выдаче видны URL с параметрами и дублирующимися путями;
- поисковик тратит краулинговый бюджет на второстепенные страницы;
- в Search Console растёт число «Просканировано, но не проиндексировано» для архивов;
- на сайте есть несколько слоёв архивов: рубрики, метки, авторы, даты, поиск, фильтры.
Важно не путать две задачи: закрыть от индексации и убрать из обхода. Для пагинации чаще достаточно noindex, а вот robots.txt нужен только в отдельных случаях, когда вы точно понимаете последствия.
Диагностика: что именно дублируется
Сначала проверьте, какие URL реально попали в индекс. Не ориентируйтесь только на визуальный поиск по сайту. Нужны три источника: Search Console, серверные логи или аналитика краулинга, и сам HTML страниц.
Что смотреть в Search Console
Откройте отчёт по страницам и найдите группы URL с /page/, ?paged= или похожими параметрами. Если в индексе есть только глубокие страницы архивов, а не первые страницы рубрик, это уже сигнал, что поисковик считает их полезными, но не обязательно нужными для показа.
Проверка HTML
На проблемной странице откройте исходный код и найдите:
<meta name="robots" content="noindex,follow">или его отсутствие;<link rel="canonical" ...>;- нет ли конфликтующих директив от темы и SEO-плагина;
- не подставляет ли шаблон canonical на первую страницу архива для всех страниц пагинации.
Если canonical указывает на первую страницу, а в индексе всё равно есть страницы /page/2/, значит поисковик либо ещё не переобработал URL, либо страница доступна и выглядит достаточно самостоятельной.
Пошаговое решение
Ниже — безопасный порядок действий. Он подходит для большинства сайтов на WordPress, где SEO-плагин уже управляет мета-тегами.
Шаг 1. Определите, какие архивы закрывать
Обычно имеет смысл закрывать:
- страницы поиска;
- авторские архивы на небольших сайтах;
- метки, если они не несут самостоятельной ценности;
- страницы пагинации архивов, если они не нужны в поиске;
- служебные страницы с параметрами сортировки и фильтрации.
Не стоит автоматически закрывать всё подряд. Если рубрика сильная и на второй-третьей странице есть полезные записи, noindex может быть спорным решением. В таком случае лучше оставить индексируемой первую страницу, а пагинацию не усиливать внутренними ссылками.
Шаг 2. Настройте noindex для архивов
Если вы используете SEO-плагин, проверьте его настройки для архивов. В большинстве случаев можно задать noindex для меток, авторов, дат и поиска. Для пагинации это часто делается автоматически через шаблон мета-robots, но не всегда.
Если нужен кодовый вариант, можно добавить фильтр в тему или мини-плагин. Пример ниже ставит noindex,follow для страниц пагинации архивов:
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_paged() && ( is_category() || is_tag() || is_author() || is_archive() ) ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Этот вариант работает через стандартный фильтр WordPress и не зависит от конкретного SEO-плагина. Но если плагин уже выводит свои robots-мета, проверьте итоговый HTML, чтобы не получить конфликт.
Шаг 3. Проверьте canonical
Для страниц пагинации canonical обычно должен указывать на саму текущую страницу, а не на первую страницу архива. Если canonical всегда ведёт на первую страницу, поисковик может игнорировать пагинацию как дубликат, но это не универсальное правило и зависит от шаблона и плагина.
Если у вас кастомная тема и canonical собирается вручную, проверьте логику. Для пагинированных архивов не стоит бездумно переписывать canonical на главную рубрики. Это часто ломает понимание структуры архива.
Шаг 4. Уберите лишние ссылки на глубину
Если на сайте есть блоки «похожие записи», бесконечная лента или виджеты, которые массово ведут на глубокие страницы архивов, поисковик будет чаще их обходить. Снизьте количество ссылок на вторые и третьи страницы, если они не несут ценности.
Практически это означает:
- не выводить пагинацию в сайдбаре через дополнительные виджеты;
- не ставить ссылки на
/page/2/в хлебных крошках; - не дублировать архивы в XML-картах, если это делает плагин по ошибке;
- не создавать отдельные страницы-обёртки с тем же списком записей.
Сравнение подходов: плагин, код или robots.txt
| Подход | Когда использовать | Плюсы | Минусы |
|---|---|---|---|
| SEO-плагин | Если уже есть Yoast, Rank Math или аналог | Быстро, без правки темы | Нужно проверить конфликт с темой |
Код через wp_robots | Нужна точечная логика | Прозрачно и управляемо | Требует теста после обновлений |
| robots.txt | Только для явных служебных URL | Снимает нагрузку на обход | Не убирает URL из индекса мгновенно, можно случайно закрыть важное |
Если задача именно в дублях пагинации, чаще всего достаточно noindex и нормального canonical. robots.txt применяйте осторожно: если поисковик уже знает URL, запрет на обход не гарантирует его исчезновение из индекса.
Пример точечной настройки для служебных архивов
Иногда нужно закрыть не все архивы, а только конкретные типы. Например, авторские страницы на небольшом корпоративном сайте. Тогда можно сделать отдельную логику:
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
if ( is_search() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Такой подход лучше, чем глобально закрывать все архивы. Он оставляет рубрики и страницы записей в нормальном режиме, а служебные разделы не засоряют индекс.
Проверка результата после внедрения
После изменений не ограничивайтесь просмотром кода страницы. Нужна проверка на трёх уровнях:
- HTML страницы содержит нужный robots-мета.
- Canonical не конфликтует с логикой архива.
- В Search Console новые URL уходят в переобход без роста ошибок.
Чек-лист для проверки:
- открыть 2–3 страницы пагинации и сравнить исходный код;
- проверить, что
noindexесть только там, где нужно; - убедиться, что страницы не закрыты случайно в
robots.txt; - посмотреть, не исчезли ли важные архивы из внутренней перелинковки;
- проверить отчёт о страницах в Search Console через 1–3 обхода, а не сразу после правки.
Если используете кэш, очистите его после внесения изменений. Иначе вы увидите старый robots-мета и решите, что код не сработал.
Частые ошибки и как их исправить
Ставят noindex в robots.txt
Это не работает. Директива noindex в robots.txt для современных поисковиков не является надёжным способом управления индексацией. Используйте meta robots или заголовки, если это поддерживается вашей схемой.
Закрывают пагинацию и ломают обход записей
Если поставить noindex,follow, ссылки на записи внутри страницы остаются доступны для обхода. Если же вы ещё и запретили обход в robots.txt, поисковик может хуже находить новые материалы через архивы.
Конфликтуют тема и SEO-плагин
Одна часть кода выводит canonical на текущую страницу, другая — на первую страницу архива. В итоге в HTML два разных сигнала. Решение простое: оставьте один источник правды. Либо плагин, либо тема.
Закрывают всё подряд
Если без разбора поставить noindex на рубрики, метки, авторов и пагинацию, можно потерять полезные входные страницы. На небольших сайтах это особенно заметно: архивы иногда приводят трафик лучше, чем отдельные записи.
Безопасность и производительность
Любая правка SEO-логики должна быть воспроизводимой. Не вносите её прямо в functions.php активной темы, если тема часто обновляется. Лучше использовать дочернюю тему или маленький mu-plugin. Так вы не потеряете настройку при обновлении.
Если сайт большой, не гоняйте вручную десятки страниц после каждого изменения. Достаточно проверить несколько типовых URL и затем дождаться переобхода. Для ускорения можно отправить на повторную проверку только ключевые страницы в Search Console.
Когда проблема идёт не только от пагинации, а от общего SEO-мусора — дублей архивов, лишних мета-тегов, служебных страниц и пустых таксономий — иногда проще собрать это в одном месте. В таких случаях уместно посмотреть на Clearfy Pro, если вам нужен набор точечных настроек для чистки WordPress без ручного разрастания кода.
Главный критерий успеха здесь простой: поисковик перестаёт тратить внимание на второстепенные страницы, а важные архивы и записи остаются доступны и логично связаны между собой.