Дарья Лебедева 
Пагинация и фильтры каталога: как не утопить индексацию
Каталог из тысячи товаров легко превращается в сотни тысяч адресов: страницы пагинации, сортировки, комбинации фильтров. Робот обходит этот лабиринт вместо новых карточек, а полезные страницы неделями ждут индексации. Разбираем, что открывать, что закрывать и по какому принципу.
Откуда берутся сотни тысяч адресов
Арифметика неумолима. Пять фильтров по десять значений в каждом дают сто тысяч возможных комбинаций, и каждая — отдельный адрес. Добавьте к ним три варианта сортировки и двадцать страниц пагинации в каждой комбинации, и счёт пойдёт на миллионы.
Робот не знает заранее, что за очередной ссылкой ничего ценного нет. Он идёт по ним, тратя выделенный на ваш сайт лимит обходов. В итоге новая карточка товара, добавленная сегодня, попадает в индекс через две недели — не потому что она плохая, а потому что робот занят перебором комбинаций.
Пагинация: что с ней делать
Начнём с распространённой ошибки. Ставить на всех страницах пагинации canonical, указывающий на первую, не нужно: так вы сообщаете, что вторая и последующие страницы — копии первой. Товары, которые есть только на них, выпадают из индекса вместе с ними.
Рабочий подход — оставить страницы пагинации самостоятельными, каждая ссылается сама на себя. При этом стоит сделать три вещи.
Убрать дублирующийся текст. Описание категории и SEO-текст нужны только на первой странице. На второй и дальше они превращаются в дубль.
Различать заголовки. Добавьте в title номер страницы, чтобы двадцать страниц категории не выглядели одинаково для поисковика и в отчётах.
Обеспечить путь к товарам. Если карточка доступна только с пятнадцатой страницы пагинации, робот доберётся до неё нескоро. Помогают подкатегории, ссылки из подборок и карта сайта.
Подгрузка товаров при прокрутке удобна людям, но робот не прокручивает страницу. Если других путей к товарам нет, в индекс попадёт только первая порция. Решение — оставить под прокруткой обычные страницы с адресами: посетитель их не заметит, а робот пройдёт.
Фильтры: какие открывать, а какие закрывать
Главный вопрос по каждому фильтру звучит так: ищут ли это люди в поиске? Если да, страница фильтра — ценная посадочная. Если нет, это мусор, который надо закрыть.
| Тип страницы | Пример | Решение |
|---|---|---|
| Фильтр с реальным спросом | Кроссовки Nike, холодильники Bosch | Открыть, дать свой title, описание и человекопонятный адрес |
| Комбинация двух-трёх фильтров | Кроссовки Nike красные 42 размера | Открывать выборочно, только при явном спросе |
| Сортировки | ?sort=price, по популярности | Закрыть: содержимое то же, порядок другой |
| Служебные параметры | Вид списком или плиткой, число товаров на странице | Закрыть полностью |
| Многофакторные комбинации | Четыре и более фильтра сразу | Закрыть: спроса нет, а адресов миллионы |
| Пустая выдача фильтра | Комбинация, под которую нет товаров | Не отдавать 200 с пустой страницей — закрыть от индексации |
Открытые фильтры нужно доводить до ума: у такой страницы должен быть осмысленный заголовок, короткое описание и желательно адрес вида /catalog/krossovki/nike вместо набора параметров. Открытый, но пустой по содержанию фильтр — это дубль категории, а не посадочная страница.
Чем закрывать
Для мусорных комбинаций подходит meta noindex: страница остаётся доступной посетителю, но не попадает в индекс. Робот при этом продолжит по ней ходить, поэтому для совсем массовых случаев вроде сортировок дополнительно закрывают обход в robots.txt.
Важный нюанс: не закрывайте в robots.txt страницы, на которых стоит noindex. Робот не сможет прочитать страницу, а значит, и указание не увидит — адрес может остаться в выдаче без описания. Что-то одно: либо запрет обхода, либо запрет индексации.
Как проверить, что стало лучше
Смотрите в панелях вебмастеров на две вещи: сколько страниц робот обошёл за сутки и как распределяются исключённые страницы по причинам. Если после наведения порядка доля обходов приходится на карточки и категории, а не на параметры, вы всё сделали правильно.
Второй показатель — скорость появления новых товаров в индексе. Это и есть практический смысл всей работы: освободившийся лимит обходов уходит на то, что приносит деньги.
Правила индексации живут в robots.txt, и ломаются они обычно незаметно — при обновлении CMS или переносе с тестового сервера. Пруфен ежедневно проверяет robots.txt и сообщает, если файл изменился или стал недоступен: так вы узнаете о случайно закрытом каталоге сразу, а не по обвалу трафика через месяц. SEO-проверка следит за метаданными страницы. Уведомления приходят на Email, в Telegram, в Макс или звонком.
Частые вопросы
Сколько страниц фильтров стоит открывать? Ровно столько, сколько вы готовы довести до состояния нормальной посадочной страницы с заголовком и описанием. Обычно это десятки, а не тысячи: открытые «на всякий случай» комбинации только разбавляют сайт.
Влияет ли размер каталога на лимит обходов? Влияет, но не он один: поисковики учитывают и авторитетность сайта, и скорость ответа сервера. Медленный сайт обходится реже — поэтому работа над скоростью косвенно ускоряет и индексацию.
Что делать с фильтрами, если товаров всего сотня? Ничего сложного не нужно: при небольшом каталоге проблема краулингового бюджета не стоит. Достаточно закрыть сортировки и служебные параметры, остальное можно оставить как есть.
Нужна ли отдельная страница «показать все»? Она была популярным решением, но для больших категорий вредна: страница получается тяжёлой и медленной. Разумнее оставить обычную пагинацию с адекватным числом товаров на странице.