Как закрыть страницы пагинации от индексации в WordPress без лишних дублей

Страницы пагинации часто попадают в индекс без пользы: поисковик видит десятки URL с почти одинаковым набором записей, а вы получаете размытый краулинговый бюджет и лишние дубли. Проблема не в самой пагинации, а в том, как она участвует в индексации и каноникализации.

Ниже — рабочий сценарий для WordPress: как закрыть пагинированные страницы от индексации, не ломая навигацию, и как проверить, что решение действительно сработало.

Когда пагинацию стоит закрывать от индексации

Не каждая пагинированная страница должна быть noindex. Если на сайте есть длинные архивы, а страницы 2, 3, 4 содержат уникальные записи, иногда лучше оставить их доступными для обхода. Но если это:

• архивы с почти одинаковым набором карточек;
• страницы тегов с низкой ценностью;
• результаты фильтров, которые создают много однотипных URL;
• страницы, которые не дают самостоятельного поискового спроса;

тогда закрытие пагинации от индексации обычно оправдано. Важно не путать noindex и запрет обхода через robots.txt: если вы закроете URL от обхода, поисковик может не увидеть каноникал и другие сигналы.

Диагностика: что именно сейчас индексируется

Перед правками проверьте три вещи: какие URL уже в индексе, как формируется canonical и не дублируются ли страницы пагинации через параметры. Для быстрой проверки используйте:

• поиск в Google по шаблону site:example.com inurl:/page/;
• просмотр исходного кода страницы и поиск rel="canonical";
• проверку ответа сервера для страниц /page/2/, /page/3/ и так далее.

Если canonical на пагинированной странице указывает на саму страницу, а не на первую страницу архива, это не всегда ошибка. Но если задача — убрать такие URL из индекса, нужно явно задать правила.

Что проверить в первую очередь

• нет ли у страниц пагинации случайного noindex от темы или SEO-плагина;
• не генерируется ли несколько вариантов одного и того же URL: со слешем, без слеша, с параметрами;
• не закрыт ли архив целиком в robots.txt вместо точечной настройки;
• не ломается ли пагинация после включения кеша или редиректов.

Пошаговое решение через SEO-плагин и код

Самый безопасный вариант — не править шаблоны вручную, а использовать SEO-плагин, если он уже стоит на сайте. Если плагин позволяет задать noindex для архивов или таксономий, это предпочтительнее, чем хардкод в теме. Но иногда нужна точечная логика: например, закрыть только страницы архивов, начиная со второй.

Ниже пример, который добавляет noindex,follow на страницы пагинированных архивов и таксономий, но не трогает главную страницу архива.

add_filter( 'wp_robots', function( array $robots ) {
    if ( is_paged() && ( is_archive() || is_search() || is_home() ) ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Этот подход использует штатный фильтр wp_robots, который есть в современных версиях WordPress. Он не отключает обход, а только просит поисковик не индексировать такие страницы.

Если у вас старый SEO-плагин, он может перезаписывать robots meta. Тогда проверьте, не конфликтует ли код с настройками плагина. В идеале должен быть один источник правды: либо плагин, либо код.

Если нужно закрыть только архивы записей и категорий

Иногда пагинация на главной блога должна индексироваться, а категории — нет. Тогда логика может быть более узкой:

add_filter( 'wp_robots', function( array $robots ) {
    if ( is_paged() && ( is_category() || is_tag() || is_tax() ) ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Такой вариант удобен, если на сайте есть сильная главная лента, а архивы таксономий создают много слабых страниц.

Сравнение подходов: плагин, код, robots.txt

Если цель — убрать дубли из индекса, robots.txt обычно не лучший инструмент. Поисковику лучше дать увидеть страницу и явно сообщить, что её не нужно индексировать.

Проверка результата после внедрения

После изменений не ограничивайтесь визуальной проверкой. Сначала откройте страницу пагинации, например /category/news/page/2/, и посмотрите исходный код. В блоке <head> должен появиться robots meta с noindex.

Дальше проверьте:

• код ответа страницы — должен оставаться 200, а не 404 или 301 на странный адрес;
• canonical — он должен быть осмысленным и не указывать на несуществующий URL;
• наличие страницы в индексе — со временем она должна выпадать, но не мгновенно;
• логи обхода, если они доступны, чтобы увидеть, не выросло ли число лишних запросов.

Если используете Google Search Console, проверьте отчет по страницам и инспекцию URL. Для уже проиндексированных страниц важно не только поставить noindex, но и убедиться, что страница доступна для обхода.

Частые ошибки и как их исправить

Закрыли пагинацию в robots.txt

Это частая ошибка. Если URL запрещен для обхода, поисковик может не увидеть noindex и продолжит держать страницу в индексе как известный URL. Для удаления дублей это слабое решение.

Поставили noindex на все архивы без разбора

Так можно случайно закрыть полезные страницы категорий, которые приносят трафик. Сначала разделите архивы по ценности: что нужно индексировать, а что нет.

Сломали canonical в теме

Иногда тема или кастомный шаблон выводит canonical вручную и конфликтует с SEO-плагином. Проверьте исходный код: если там два canonical, это уже проблема. Оставьте только один источник генерации.

Забыли про кеш

После правок старый HTML может продолжать отдаваться из кеша. Очистите серверный кеш, кеш плагина и, если есть, CDN. Иначе вы будете проверять уже неактуальную версию страницы.

Практические советы по безопасности и производительности

Если правите код, добавляйте его в дочернюю тему или в небольшой mu-plugin, а не в основной файл темы. Так обновление не сотрет изменения. Перед правкой сделайте резервную копию и проверьте изменения на staging-копии.

Для сайтов с большим количеством архивов полезно дополнительно сократить число бесполезных URL на уровне генерации контента: убрать лишние теги, не плодить пустые таксономии, не создавать архивы без записей. Это снижает нагрузку на обход и уменьшает шанс появления дублей.

Если нужен более широкий набор инструментов для чистки дублей, служебных ссылок и SEO-мелочей, можно посмотреть в сторону Clearfy Pro, но только если его функции реально закрывают вашу задачу и не конфликтуют с текущим SEO-стеком.

Мини-чек-лист перед публикацией

• Проверили, какие страницы пагинации уже в индексе.
• Убедились, что canonical не дублируется.
• Добавили noindex,follow только там, где это нужно.
• Очистили кеш и проверили исходный HTML.
• Протестировали несколько URL вручную: /page/2/, /page/3/, архивы категорий и тегов.

Если после внедрения страницы пагинации продолжают индексироваться, проблема обычно не в самом noindex, а в кеше, конфликте плагинов или в том, что поисковик еще не переобходил URL. В таких случаях сначала проверяют HTML-ответ, а уже потом ищут более сложные причины.