Как ускорить индексацию контента сайта и что может этому помешать

Не проиндексировано — значит не существует для поиска. Страницы, которые не видят поисковые системы, не показываются в топе, не приводят пользователей и не могут соревноваться с конкурентами. Расскажем, как повлиять на скорость индексации. Никакой теории, только голая практика от SEO-специалистов рекламного агентства Digital Strategy.

У большинства пользователей нет привычки «ходить дальше первой страницы Google»: сама по себе качественная индексация не приносит трафик, но при эффективной оптимизации позволяет запустить весь массив страниц сайта в поисковую выдачу, чтобы получить максимальную отдачу.

Схематично порядок таков: страница публикуется на сайте → ее находят и сканируют краулеры → они же принимают решение, включать ли страницу в индекс → при положительном решении страница появляется в поиске → ранжируется по ключевым словам → получает трафик. Или нет — если поисковый робот ее не проиндексирует.

Индексация сайта может проседать сразу по нескольким причинам, поэтому имеет смысл рассмотреть несколько кейсов.

Страница или сайт новые и еще не проиндексированы. Возможные причины: мало текстового контента — поисковая система не видит сайт; слишком много контента — сайт долго загружается и медленнее индексируется; слишком сложная структура URL и глубокая вложенность — поисковику трудно обнаружить страницы; есть проблемы с мета-тегами или нет адаптивной верстки под мобильные устройства. Либо роботы не сканируют сайт просто потому, что хостинг вовремя не оплатили или он перегружен.

Страница была проиндексирована, но в какой-то момент пропала из индекса. Такое может произойти если у страницы слабые поведенческие факторы — она не несет ценности для пользователя или потеряла релевантность из-за смены спроса.

Поведенческие факторы могут меняться в том числе и когда страницы сайта обновляются нерегулярно. Некоторые SEO-специалисты считают, что это условный фактор, но сбрасывать его со счетов все же не стоит. Например, если сайт несколько месяцев существует без единого обновления, робот будет проверять его все реже. А значит, индексироваться такой сайт будет долго. 

Страницы могут пропасть из индекса, например, из-за того, что на них установили запрет в файлах robots.txt или настройках CMS.

Некачественный контент. Причиной может стать текст с большим количеством ошибок — смысловых, орфографических и пунктуационных. Устаревшая информация также снижает скорость индексации сайта.

Отдельная проблема — низкая уникальность размещенного текста. Такое возможно когда опубликованные страницы содержат «неотшлифованный» рерайт, а то и вовсе жесткий копипаст. Польза такого контента будет минимальной — и для аудитории, и для поисковиков.

Кроме того, материал может быть просто нерелевантным по отношению к тематике сайта.

К снижению товарной индексации приводит однообразный и малополезный контент, страницы-дубликаты.

Некачественная SEO-оптимизация. Переспам или — что бывает чаще, — переоптимизация ключами. Особенно актуально для статей в блогах или карточек товара в интернет-магазинах.

Индексация сайта не идет только в одной из поисковых систем: сайт падает в выдаче, не индексируются отдельные страницы. Вероятно, сайт находится под санкциями (фильтром) поисковика — либо полностью, либо отдельный документ сайта.

Возможные причины фильтров (но далеко не все): накрученные поведенческие метрики, излишне навязчивая всплывающая реклама, линкбилдинг в хаотичном порядке. Или вирусы.

Советы в этом блоке в целом универсальны для Яндекса и Google. Есть кое-какие нюансы, о них расскажем ниже.

1. Улучшите внутреннюю SEO-оптимизацию

Тщательно прорабатывайте структуру сайта. Делайте понятную навигацию по сайту и избегайте большого уровня вложенности. Например, для Яндекса актуально правило: три клика от главной страницы сайта — это предел.

Добавьте HTML-карту сайта: страницу, на которой размещены ссылки на другие ключевые страницы сайта. Пользователям это поможет быстрее сориентироваться, а поисковым роботам проиндексировать.

Только учитывайте, что HTML-карта не то же самое что XML-карта. Первую видят поисковики и пользователи, вторую — только поисковики.

Обязательно добавьте файл robots.txt — в нем не должно быть запрета на индексацию страниц, которые предназначены для показа в поисковых системах. И наоборот: страницы, которые показывать не нужно, должны быть закрыты в этом файле.

Бывает так, что случайное правило в robots.txt закрывает от показа что-то нужное — и можно это не заметить. Проверяйте, не попадают ли конкретные URL под ограничения индексации через robots.txt — например, для этого есть специальный инструмент в Яндекс Вебмастере.

Добавьте файл sitemap.xml — путь к нему пропишите в robot.txt. Важно учесть, что sitemap.xml обязательно должен быть динамическим, чтобы не обновлять вручную при создании новых страниц сайта. При этом в Google для сайтов объемом меньше 500 страниц sitemap.xml не обязателен: без него можно обойтись, если структура и перелинковка качественные.

Проверьте, какие ответы дает сервер, когда к нему обращается поисковый робот: должны быть 200 — если страницы есть, и 404 — если ее нет на сайте.

2. Оптимизируйте скорость загрузки сайта

Краулинговый бюджет зависит в том числе от времени, которое затрачивается на индексацию: чем быстрее загружаются страницы, тем больше страниц будет обходить робот.

Как можно ускорить процесс: уменьшить размер и вес изображений, использовать кэширование, уменьшить количество HTTP-запросов.

3. Используйте инструменты для вебмастеров

Не от случая к случаю, а на постоянной основе. Да, регистрировать сайт в Яндекс.Вебмастере и Google Search Console обязательно.

4. Нарабатывайте внешние ссылки

Качественные внешние ссылки на сайт станут для Google сигналом в пользу того, что сайт это является полезным и «достойным индексации».

Но помните, что полезной будет не каждая ссылка: важны высокие показатели траста донора — искусственные метрики, основанные на анализе качества и количества ссылочной массы, низкие показатели спамности в донорах и анкорах — как входящих, так и исходящих ссылок, плюс некоторые другие критерии.

Чтобы работа с внешними ссылками положительно повлияла на индексацию, наращивать ссылочную массу стоит постепенно и регулярно. Именно поэтому построение стратегии следует доверить специалистам — они проведут тщательный анализ и учтут множество факторов эффективности.

5. Делайте внутреннюю перелинковку

Серьезные проблемы с индексацией бывают и на очень крупных сайтах: ускорить индексацию на них можно с помощью динамических блоков перелинковки. Они должны содержать те страницы, которые необходимо проиндексировать. Также важно, чтобы содержание этих страниц соответствовало общей тематике.

Для этой цели отлично сработают ссылки главной сайта, в конце статей блога или в блоках с рекомендациями (актуально для интернет-магазинов).

6. Создавайте уникальный авторский контент для сайта

Откровенно некачественный рерайт поисковики могут воспринимать как дубль страниц, а значит перестать индексировать. Дублей на страницах самого сайта тоже быть не должно.

Перед публикацией проверяйте текст на ошибки, уникальность и переспам с помощью специальных сервисов (или отдавайте статьи корректору на вычитку).

7. Используйте индексацию сайта по API

Инструмент Google-Indexing API — это программный интерфейс Google. Он позволяет отправлять на индексацию большие объемы страниц. Работает это для любых сайтов. Таким образом вы можете показать поисковику новый контент на сайте. Причем сами выбираете, какие страницы показывать — обновленные старые или только что созданные.

Плюс этого способа: можно не только добавлять страницы, но и запрашивать их удаление из индекса. Все запросы обрабатываются достаточно быстро.

Минус: количество отправленных страниц может быть ограничено лимитом. Однако его можно увеличить разными способами.

Для Яндекса также можно настроить отправку по API. Однако возможности обойти лимиты, как в Google, там нет. Поэтому для ускорения индексации можно закупать бусты по соцсетям и использовать внешние ссылки.

8. Размещайте ссылки в соцсетях и на форумах

Мотивированные переходы из социальных сетей компании работают сразу на две цели — ускоряют индексацию сайта и поднимают его в поисковой выдаче. Совет особенно актуален для Яндекса. Только убедитесь, что ссылка смотрится там уместно, а форумы еще актуальны — индексируются и дают возможность перехода по ссылкам.

К соцсетям также можно отнести и Яндекс.Дзен.

В идеале все работы, о которых мы рассказали выше, нужно проводить итерационно. Тем более это касается внутренней оптимизации — это априори постоянный процесс. 

Всегда поддерживайте информацию на сайте в актуальном состоянии и не забывайте вовремя ее обновлять.

Лев Гайворонский, руководитель SEO-отдела

За более чем 10 лет в SEO выступил с докладами на множестве онлайн и офлайн конференций и вебинаров и активно участвует в публикации кейсов по результатам SEO-продвижения.

Самые яркие примеры:

• доклад по продвижению fintech за рубежом на всероссийской конференции Optimization 2023,
• доклад об инструменте PBN на Youtube-канале Михаила Шакина
• кейс more.tv на Adindex.

Выступает в роли внутреннего эксперта при планировании стратегий развития проектов, решении сложных и нестандартных задач. 

Алина «Кас» Карташова, SEO-специалист

Самые яркие кейсы по продвижению: Вагонмастер, Анабар, продвижение медицинского препарата и быстрые ответы — кейс на vc.ru, успешное выступление на конференции SEO CLUB SPB осенью 2023 — на тему «SEO для новых рынков: кейсы и антикейсы».

Решает пул задач по SEO:

• лидирует направление внутреннего обучения в компании;
• организует и модерирует еженедельные тренинги и брейнштормы;
• структурирует и пополняет корпоративную базу знаний с огромным количеством презентаций и лекций;
• проводит индивидуальные встречи со специалистами;
• консультирует по вопросам качественного выполнения задачи на проекте или для успешного прохождения аттестации (повышения грейда).