Дарья Лебедева 
Дубли страниц и canonical: как найти и закрыть
Дубль — это когда один и тот же контент доступен по нескольким адресам. Поисковик вынужден выбирать, какой из них показывать, и выбирает не всегда тот, который нужен вам. Разбираем, откуда берутся дубли и каким инструментом закрывать каждый тип.
Откуда берутся дубли
Почти всегда их создаёт не человек, а сама система: движок, фильтры каталога или рекламные метки. Владелец сайта о большинстве адресов даже не знает.
| Источник | Пример |
|---|---|
| Слеш на конце | /catalog/shoes и /catalog/shoes/ |
| www и протокол | http://, https://, с www и без — четыре версии одной страницы |
| UTM-метки и параметры | /catalog/shoes?utm_source=direct, ?from=banner |
| Фильтры и сортировки | ?sort=price, ?color=black&size=42 — комбинаций тысячи |
| Пагинация | /catalog/shoes?page=2 с тем же описанием категории вверху |
| Товар в нескольких категориях | /shoes/nike-air и /sale/nike-air — одна карточка, два пути |
| Технические адреса движка | /index.php?page=catalog рядом с человекопонятным адресом |
Отдельная категория — не полные дубли, а почти одинаковые страницы: карточки товара, отличающиеся только цветом, или страницы услуг по городам, собранные автозаменой названия. Для поисковика они тоже конкурируют между собой.
Чем это вредит
Первое — размывается ссылочный вес. Внешние и внутренние ссылки распределяются между копиями вместо того, чтобы усиливать одну страницу.
Второе — поисковик выбирает адрес сам. В выдачу может попасть версия с UTM-меткой или страница второй пагинации: технически это тот же контент, но выглядит в результатах поиска неопрятно и хуже кликается.
Третье — тратится краулинговый бюджет. Робот раз за разом обходит тысячи комбинаций фильтров вместо новых карточек товара, и свежие страницы попадают в индекс медленнее.
Чем закрывать: четыре инструмента
Главная ошибка — пытаться решить всё одним способом. У каждого инструмента своя задача.
| Инструмент | Когда применять | Что делает |
|---|---|---|
| Редирект 301 | Дубль не нужен людям: слеш, www, старый адрес | Убирает копию совсем и передаёт её вес основному адресу |
| rel="canonical" | Копия нужна людям: UTM, сортировки, товар в двух категориях | Указывает предпочтительный адрес, страница остаётся доступной |
| meta noindex | Страница полезна пользователю, но в поиске не нужна: результаты внутреннего поиска, личный кабинет | Убирает из индекса, но робот продолжает по ней ходить |
| robots.txt | Служебные разделы, куда роботу вообще незачем заходить | Запрещает обход — но не гарантирует исключения из индекса |
Из таблицы следует практическое правило: canonical — не средство «спрятать» страницу, а подсказка о том, какая версия главная. А robots.txt не выводит страницу из индекса: закрытый в нём адрес может остаться в выдаче, просто без описания.
Не ставьте одновременно noindex и canonical на одну страницу: сигналы противоречат друг другу, и результат непредсказуем. Не закрывайте в robots.txt страницы, у которых прописан canonical: робот не сможет её прочитать, а значит, и указание не увидит. И не делайте canonical на страницу, которая сама отдаёт 404 или редирект.
Как найти дубли на своём сайте
Самый быстрый способ — панели вебмастеров: и Яндекс, и Google показывают страницы, исключённые из индекса как дубли, с указанием выбранного ими канонического адреса. Именно там видно расхождение между вашим замыслом и решением поисковика.
Дальше пройдитесь краулером по сайту и сравните заголовки title: одинаковые title на разных адресах — почти всегда дубли. Отдельно проверьте руками четыре версии главной (с www и без, http и https): все три лишние должны отдавать редирект 301 на основную, а не открываться самостоятельно.
Дубли обычно появляются не одномоментно, а после релиза: поменялись правила формирования адресов, съехал canonical, кто-то поправил robots.txt. Пруфен ежедневно проверяет robots.txt и сообщает, если файл изменился или стал недоступен, а SEO-проверка страницы следит за её метаданными. Уведомления приходят на Email, в Telegram, в Макс или звонком.
Частые вопросы
Обязателен ли canonical на каждой странице? Не обязателен, но удобен: если каждая страница ссылается сама на себя, случайно появившиеся копии с параметрами автоматически указывают на оригинал. Главное — следить, чтобы адрес в canonical был абсолютным и совпадал с реальным адресом страницы.
Что делать с пагинацией? Не ставьте canonical со второй страницы на первую: так вы выключаете из индекса товары, которые есть только на второй. Оставьте страницы самостоятельными и уберите с них дублирующийся текст описания категории.
Одинаково ли Яндекс и Google понимают canonical? Оба воспринимают его как рекомендацию, а не команду, и могут выбрать другой адрес, если сочтут его более подходящим. Расхождение обычно означает, что сигналы противоречивы: внутренние ссылки ведут на одну версию, canonical указывает на другую.
Считаются ли дублями страницы услуг по городам? Считаются, если отличаются только названием города в шаблоне. Спасает уникальное содержание: местные цены, адреса, контакты, примеры работ. Без этого поисковик оставит в выдаче одну страницу из десятков.