Как закрыть от индексации теги, страницы архивов и авторов в WordPress без лишних дублей

На небольших и средних сайтах WordPress чаще всего индексируются не только полезные страницы, но и архивы тегов, авторов, дат и служебные страницы пагинации. В итоге в поиске появляются дубли, а краулинговый бюджет уходит на мусорные URL. Проблема не в самих архивах как таковых, а в том, что они часто не несут самостоятельной ценности и повторяют уже опубликованные записи.

Ниже разберём, какие архивы обычно закрывают от индексации, как сделать это без поломки сайта и как проверить результат после внедрения. Подходы будут два: через SEO-плагин и через код, если нужен точечный контроль.

Когда архивы становятся проблемой

Не каждый архив нужно закрывать. Если у вас редакционный сайт с сильной рубрикацией, теги и авторские страницы могут быть полезны. Но на практике чаще встречается другая картина: десятки тегов с 1–2 записями, архивы авторов без уникального описания, страницы дат, которые дублируют ленту публикаций. Такие URL редко дают ценность пользователю и часто создают технический шум.

Типичные признаки, что архивы пора ограничить

• в индексе есть страницы тегов с одинаковыми сниппетами и почти одинаковым контентом;
• архивы авторов ведут на одну и ту же ленту записей без дополнительного смысла;
• страницы пагинации индексируются вместо основных материалов;
• в Search Console растёт число страниц, которые не приносят трафик, но попадают в обход робота;
• на сайте много автоматически созданных тегов, которые никто не поддерживает.

Диагностика: что именно закрывать

Перед правками не стоит отключать всё подряд. Сначала посмотрите, какие архивы уже есть в индексе и какие из них реально нужны. Для этого достаточно открыть несколько типовых URL и проверить мета-теги, заголовки ответа и содержимое страницы.

Что проверить вручную

• есть ли у архива уникальный текст, а не только список записей;
• отличается ли страница автора от обычной ленты;
• нужны ли страницы тегов для внутренней навигации;
• есть ли у сайта отдельная стратегия для архивов дат;
• не используются ли архивы как посадочные страницы из меню или хлебных крошек.

Если архив нужен пользователю, но не нужен в поиске, его обычно оставляют доступным для обхода, но закрывают от индексации. Если архив не нужен вообще, его лучше убрать из генерации или перенаправить на более полезную страницу.

Сравнение подходов: плагин, код или комбинированная схема

Пошаговое решение через SEO-плагин

Если на сайте уже установлен SEO-плагин, это самый безопасный путь. В большинстве случаев достаточно отключить индексацию для архивов тегов, авторов и дат в настройках таксономий и архивов. Названия пунктов могут отличаться, но логика одна: для ненужных архивов выставляется noindex, а при необходимости ещё и отключается вывод в sitemap.

Что обычно настраивают

• архивы тегов — noindex, если теги не несут самостоятельной ценности;
• архивы авторов — noindex, если на сайте один автор или страницы пустые;
• архивы дат — чаще всего закрывают полностью;
• страницы пагинации архивов — проверяют отдельно, чтобы не получить лишние дубли;
• служебные таксономии — исключают из карты сайта, если они не нужны в поиске.

После изменения настроек не забудьте обновить sitemap и очистить кеш, если он есть. Иначе поисковик и браузер могут ещё какое-то время видеть старую версию страниц.

Решение через код: точечное управление noindex

Если нужен контроль без тяжёлого плагина, можно добавить правила в functions.php дочерней темы или в отдельный mu-plugin. Ниже пример, который закрывает от индексации архивы тегов, авторов и дат, но оставляет страницы доступными для обхода.

<?php
add_filter('wp_robots', function( array $robots ) {
    if ( is_tag() || is_author() || is_date() ) {
        $robots['noindex']  = true;
        $robots['nofollow'] = false;
    }

    return $robots;
});

Этот вариант не ломает навигацию и не удаляет архивы из сайта. Он только просит поисковый робот не индексировать такие страницы. Для большинства проектов этого достаточно.

Если нужно убрать архивы из sitemap

Одного noindex иногда мало. Если архивы продолжают попадать в sitemap, их стоит исключить на уровне генератора карты сайта. В WordPress это зависит от конкретного SEO-плагина. Если плагина нет, а используется стандартный XML sitemap WordPress, можно ограничить вывод через фильтры, но делать это нужно аккуратно и только для тех архивов, которые точно не нужны.

Пример для исключения автора из sitemap в стандартной генерации WordPress:

<?php
add_filter('wp_sitemaps_add_provider', function( $provider, $name ) {
    if ( 'users' === $name ) {
        return false;
    }

    return $provider;
}, 10, 2);

Это решение подходит, если авторские архивы не нужны ни пользователям, ни поиску. Если на сайте несколько авторов и у каждого есть уникальная страница с описанием, такой шаг может быть лишним.

Проверка результата после внедрения

После настройки важно не ограничиться визуальной проверкой. Нужно убедиться, что поисковый робот видит именно то, что вы задумали.

Чек-лист проверки

• откройте архив тега, автора и даты в браузере;
• проверьте исходный код страницы и наличие noindex в robots-мета или HTTP-заголовке;
• посмотрите, не попал ли URL в sitemap;
• очистите кеш страницы и кеш плагина, если он используется;
• проверьте URL в Google Search Console через инспекцию страницы;
• убедитесь, что внутренние ссылки на архивы не сломались.

Если архив закрыт от индексации, но всё ещё отображается в результатах поиска, это нормально на коротком промежутке. Поисковику нужно время, чтобы переобойти страницу и обновить статус.

Частые ошибки и как их исправить

Закрыли архив, но он остался в sitemap

Это частая ситуация, когда noindex уже стоит, а карта сайта продолжает отдавать URL. Исправление простое: исключите архив из sitemap в настройках SEO-плагина или через фильтр генератора sitemap. Иначе поисковик будет регулярно получать сигнал о странице, которую вы сами считаете лишней.

Поставили noindex на нужную посадочную страницу

Иногда под раздачу попадают полезные архивы, которые реально приводят трафик. Перед закрытием проверьте статистику и поисковые запросы. Если архив даёт переходы и имеет уникальный контент, лучше доработать его, а не отключать.

Отключили архивы, но не убрали внутренние ссылки

Если ссылки на ненужные архивы остались в меню, виджетах или хлебных крошках, пользователь будет продолжать на них попадать. В таком случае нужно не только закрыть страницу от индексации, но и убрать её из интерфейса сайта.

Смешали несколько решений

Когда часть правил задаёт плагин, а часть — тема, легко получить конфликт. Например, плагин ставит noindex, а тема добавляет другой robots-мета. В итоге поисковик получает противоречивые сигналы. Лучше оставить один источник правды: либо SEO-плагин, либо код в одном месте.

Практические советы по безопасности и производительности

Закрытие архивов от индексации само по себе не ускоряет сайт, но помогает сократить лишний обход и уменьшить количество бесполезных страниц в индексе. Это особенно важно на сайтах с большим числом тегов и авторских архивов.

• не создавайте теги автоматически без модерации;
• проверяйте, не плодят ли плагины лишние архивы и таксономии;
• если архив не нужен, лучше убрать его из генерации, чем просто прятать от поиска;
• не закрывайте полезные страницы только ради «чистоты» индекса;
• после правок следите за логами обхода и отчётами Search Console.

Если вам нужно регулярно чистить дубли, служебные архивы и мусорные страницы, удобно держать это в одном техническом регламенте. На проектах с несколькими редакторами это снижает риск случайных правок и помогает не возвращать проблему после обновлений темы или плагинов.

Когда задача выходит за рамки ручной настройки, можно использовать специализированные инструменты для SEO- и технической чистки сайта. Например, в экосистеме WPShop есть Clearfy Pro, который закрывает часть типовых задач по дублям и технической оптимизации. Но даже с плагином базовая логика остаётся той же: сначала определить, какие архивы реально нужны, потом закрыть лишнее и проверить результат в индексации.

Если после изменения настроек архивы всё ещё появляются в поиске, проверьте три вещи в таком порядке: мета-роботы, sitemap и внутренние ссылки. Обычно проблема находится в одном из этих мест, а не в самом WordPress.