Как ускорить индексацию контента сайта и что может этому помешать
- 13 мин.
- 18.04.2024
Не проиндексировано — значит не существует для поиска. Страницы, которые не видят поисковые системы, не показываются в топе, не приводят пользователей и не могут соревноваться с конкурентами. Расскажем, как повлиять на скорость индексации. Никакой теории, только голая практика от SEO-специалистов рекламного агентства Digital Strategy.
Какие факторы снижают скорость индексации сайта — и как это обнаружить
У большинства пользователей нет привычки «ходить дальше первой страницы Google»: сама по себе качественная индексация не приносит трафик, но при эффективной оптимизации позволяет запустить весь массив страниц сайта в поисковую выдачу, чтобы получить максимальную отдачу.
Схематично порядок таков: страница публикуется на сайте → ее находят и сканируют краулеры → они же принимают решение, включать ли страницу в индекс → при положительном решении страница появляется в поиске → ранжируется по ключевым словам → получает трафик. Или нет — если поисковый робот ее не проиндексирует.
Индексация сайта может проседать сразу по нескольким причинам, поэтому имеет смысл рассмотреть несколько кейсов.
Страница или сайт новые и еще не проиндексированы. Возможные причины: мало текстового контента — поисковая система не видит сайт; слишком много контента — сайт долго загружается и медленнее индексируется; слишком сложная структура URL и глубокая вложенность — поисковику трудно обнаружить страницы; есть проблемы с мета-тегами или нет адаптивной верстки под мобильные устройства. Либо роботы не сканируют сайт просто потому, что хостинг вовремя не оплатили или он перегружен.
Страница была проиндексирована, но в какой-то момент пропала из индекса. Такое может произойти если у страницы слабые поведенческие факторы — она не несет ценности для пользователя или потеряла релевантность из-за смены спроса.
Поведенческие факторы могут меняться в том числе и когда страницы сайта обновляются нерегулярно. Некоторые SEO-специалисты считают, что это условный фактор, но сбрасывать его со счетов все же не стоит. Например, если сайт несколько месяцев существует без единого обновления, робот будет проверять его все реже. А значит, индексироваться такой сайт будет долго.
Страницы могут пропасть из индекса, например, из-за того, что на них установили запрет в файлах robots.txt или настройках CMS.
Подсказка: легко проверить, сколько страниц сайта индексируются поисковиками — в интересующем вбейте без пробелов site:доменсайта.ru. Но есть важный нюанс: если страницы (по крайней мере в Google) появляются по такому запросу — это означает что они проиндексированы, но не обязательно ранжируются по запросам.
Некачественный контент. Причиной может стать текст с большим количеством ошибок — смысловых, орфографических и пунктуационных. Устаревшая информация также снижает скорость индексации сайта.
Отдельная проблема — низкая уникальность размещенного текста. Такое возможно когда опубликованные страницы содержат «неотшлифованный» рерайт, а то и вовсе жесткий копипаст. Польза такого контента будет минимальной — и для аудитории, и для поисковиков.
Кроме того, материал может быть просто нерелевантным по отношению к тематике сайта.
К снижению товарной индексации приводит однообразный и малополезный контент, страницы-дубликаты.
Некачественная SEO-оптимизация. Переспам или — что бывает чаще, — переоптимизация ключами. Особенно актуально для статей в блогах или карточек товара в интернет-магазинах.
Индексация сайта не идет только в одной из поисковых систем: сайт падает в выдаче, не индексируются отдельные страницы. Вероятно, сайт находится под санкциями (фильтром) поисковика — либо полностью, либо отдельный документ сайта.
Возможные причины фильтров (но далеко не все): накрученные поведенческие метрики, излишне навязчивая всплывающая реклама, линкбилдинг в хаотичном порядке. Или вирусы.
Подсказка: сверьтесь со списками нарушений, за которые сайт рискует попасть под фильтр — отдельные для Яндекса и Google.
Подсказка: трафик может «обвалиться» из-за того, что начали действовать обновления алгоритмов в одном из поисковиков. Чтобы исключить этот фактор, проверьте дату обновлений и момент, когда снизилась индексация сайта.
- Проверьте, насколько стабилен трафик. Поможет аналитика в Яндекс.Метрике и Google Analytics. Возможно, проблема только в одном поисковике.
- Как обнаружить проблему: сайт резко просел по трафику. Прежде всего проверьте панели для вебмастеров — в Яндекс.Вебмастере и Search Console для Google. Если сайт действительно попал под санкции, там появится соответствующее уведомление. В тех же инструментах можно увидеть, какие именно страницы перестали индексироваться.
- Как определить страницы с недостаточным ссылочным весом: нужно спарсить сайт и посмотреть на соотношение входящих и исходящих ссылок. Учитывайте, что эта рекомендация действует по большей части для Google.
Как ускорить индексацию сайта: советы SEO-специалистов Digital Strategy
Советы в этом блоке в целом универсальны для Яндекса и Google. Есть кое-какие нюансы, о них расскажем ниже.
1. Улучшите внутреннюю SEO-оптимизацию
Тщательно прорабатывайте структуру сайта. Делайте понятную навигацию по сайту и избегайте большого уровня вложенности. Например, для Яндекса актуально правило: три клика от главной страницы сайта — это предел.
Добавьте HTML-карту сайта: страницу, на которой размещены ссылки на другие ключевые страницы сайта. Пользователям это поможет быстрее сориентироваться, а поисковым роботам проиндексировать.
Только учитывайте, что HTML-карта не то же самое что XML-карта. Первую видят поисковики и пользователи, вторую — только поисковики.
Обязательно добавьте файл robots.txt — в нем не должно быть запрета на индексацию страниц, которые предназначены для показа в поисковых системах. И наоборот: страницы, которые показывать не нужно, должны быть закрыты в этом файле.
Бывает так, что случайное правило в robots.txt закрывает от показа что-то нужное — и можно это не заметить. Проверяйте, не попадают ли конкретные URL под ограничения индексации через robots.txt — например, для этого есть специальный инструмент в Яндекс Вебмастере.
Добавьте файл sitemap.xml — путь к нему пропишите в robot.txt. Важно учесть, что sitemap.xml обязательно должен быть динамическим, чтобы не обновлять вручную при создании новых страниц сайта. При этом в Google для сайтов объемом меньше 500 страниц sitemap.xml не обязателен: без него можно обойтись, если структура и перелинковка качественные.
Проверьте, какие ответы дает сервер, когда к нему обращается поисковый робот: должны быть 200 — если страницы есть, и 404 — если ее нет на сайте.
2. Оптимизируйте скорость загрузки сайта
Краулинговый бюджет зависит в том числе от времени, которое затрачивается на индексацию: чем быстрее загружаются страницы, тем больше страниц будет обходить робот.
Как можно ускорить процесс: уменьшить размер и вес изображений, использовать кэширование, уменьшить количество HTTP-запросов.
Анализируйте скорость загрузки при помощи PageSpeed Insights.
Вместе с этим учитывайте отчет «Время загрузки страниц» в Яндекс Метрике. Он покажет данные по скорости загрузки у реальных пользователей и позволит сегментировать их, например, по браузеру или типу устройств.
3. Используйте инструменты для вебмастеров
Не от случая к случаю, а на постоянной основе. Да, регистрировать сайт в Яндекс.Вебмастере и Google Search Console обязательно.
4. Нарабатывайте внешние ссылки
Качественные внешние ссылки на сайт станут для Google сигналом в пользу того, что сайт это является полезным и «достойным индексации».
Но помните, что полезной будет не каждая ссылка: важны высокие показатели траста донора — искусственные метрики, основанные на анализе качества и количества ссылочной массы, низкие показатели спамности в донорах и анкорах — как входящих, так и исходящих ссылок, плюс некоторые другие критерии.
Чтобы работа с внешними ссылками положительно повлияла на индексацию, наращивать ссылочную массу стоит постепенно и регулярно. Именно поэтому построение стратегии следует доверить специалистам — они проведут тщательный анализ и учтут множество факторов эффективности.
5. Делайте внутреннюю перелинковку
Серьезные проблемы с индексацией бывают и на очень крупных сайтах: ускорить индексацию на них можно с помощью динамических блоков перелинковки. Они должны содержать те страницы, которые необходимо проиндексировать. Также важно, чтобы содержание этих страниц соответствовало общей тематике.
Для этой цели отлично сработают ссылки главной сайта, в конце статей блога или в блоках с рекомендациями (актуально для интернет-магазинов).
Подсказка: как правило, ускорить индексацию сайта в Яндексе получается легче, чем в Google. С последним порой приходится повозиться.
Дело в том, что Google принимает решение о ценности страницы и необходимости ее индексации на основании ее ссылочного веса. А значит, нужно чтобы на страницу вело достаточное количество внутренних ссылок (бэклинков).
Кстати, перелинковка — не единственный способ увеличить трафик на сайт. Делимся, как выжать максимум и привести дополнительный трафик — еще восемь способов.
6. Создавайте уникальный авторский контент для сайта
Откровенно некачественный рерайт поисковики могут воспринимать как дубль страниц, а значит перестать индексировать. Дублей на страницах самого сайта тоже быть не должно.
Перед публикацией проверяйте текст на ошибки, уникальность и переспам с помощью специальных сервисов (или отдавайте статьи корректору на вычитку).
7. Используйте индексацию сайта по API
Инструмент Google-Indexing API — это программный интерфейс Google. Он позволяет отправлять на индексацию большие объемы страниц. Работает это для любых сайтов. Таким образом вы можете показать поисковику новый контент на сайте. Причем сами выбираете, какие страницы показывать — обновленные старые или только что созданные.
Плюс этого способа: можно не только добавлять страницы, но и запрашивать их удаление из индекса. Все запросы обрабатываются достаточно быстро.
Минус: количество отправленных страниц может быть ограничено лимитом. Однако его можно увеличить разными способами.
Для Яндекса также можно настроить отправку по API. Однако возможности обойти лимиты, как в Google, там нет. Поэтому для ускорения индексации можно закупать бусты по соцсетям и использовать внешние ссылки.
8. Размещайте ссылки в соцсетях и на форумах
Мотивированные переходы из социальных сетей компании работают сразу на две цели — ускоряют индексацию сайта и поднимают его в поисковой выдаче. Совет особенно актуален для Яндекса. Только убедитесь, что ссылка смотрится там уместно, а форумы еще актуальны — индексируются и дают возможность перехода по ссылкам.
К соцсетям также можно отнести и Яндекс.Дзен.
В качестве послесловия
В идеале все работы, о которых мы рассказали выше, нужно проводить итерационно. Тем более это касается внутренней оптимизации — это априори постоянный процесс.
Всегда поддерживайте информацию на сайте в актуальном состоянии и не забывайте вовремя ее обновлять.
Опыт Digital Strategy
Актуальной должна быть не только информация на сайте, но и знания. Мы учитываем, что инструменты, которые были неэффективны раньше, можно активно применять сейчас — поэтому они должны меняться вместе с поисковиками. Чтобы быть в курсе best practice и избегать устаревших решений, SEO-специалисты агентства регулярно повышают квалификацию, участвуют в отраслевых форумах и конференциях и поддерживают коммуникацию с профессиональным сообществом.
А еще мы активно делимся опытом внутри агентства: проводим внутренние обучения, дискуссии и брейнстормы, а также индивидуальные консультации и аттестации, чтобы поддерживать высокий уровень экспертности среди специалистов.
Лев Гайворонский, руководитель SEO-отдела
За более чем 10 лет в SEO выступил с докладами на множестве онлайн и офлайн конференций и вебинаров и активно участвует в публикации кейсов по результатам SEO-продвижения.
Самые яркие примеры:
- доклад по продвижению fintech за рубежом на всероссийской конференции Optimization 2023,
- доклад об инструменте PBN на Youtube-канале Михаила Шакина
- кейс more.tv на Adindex.
Выступает в роли внутреннего эксперта при планировании стратегий развития проектов, решении сложных и нестандартных задач.
Алина «Кас» Карташова, SEO-специалист
Самые яркие кейсы по продвижению: Вагонмастер, Анабар, продвижение медицинского препарата и быстрые ответы — кейс на vc.ru, успешное выступление на конференции SEO CLUB SPB осенью 2023 — на тему «SEO для новых рынков: кейсы и антикейсы».
Решает пул задач по SEO:
- лидирует направление внутреннего обучения в компании;
- организует и модерирует еженедельные тренинги и брейнштормы;
- структурирует и пополняет корпоративную базу знаний с огромным количеством презентаций и лекций;
- проводит индивидуальные встречи со специалистами;
- консультирует по вопросам качественного выполнения задачи на проекте или для успешного прохождения аттестации (повышения грейда).
Будет полезно
- Кейс. Реклама для интернет-магазина плитки: снизили стоимость лида на 150 рублей
- Необходимый минимум о маркировке рекламы в 2023 году: что база, а что — нюансы. Где начинается административная ответственность, и какова цена ошибки
- Как продвигать услуги в онлайн-образовании
- Делаем с клиентами кейсы и выступаем на конференциях. Делимся опытом и рассказываем, почему это полезно