Чек-лист. Что проверять на сайте каждый день, чтобы внезапно не потерять трафик
Чек-лист. Что проверять на сайте каждый день, чтобы внезапно не потерять трафик
3 мин.
10.03.2019
Чтобы трафик на сайте внезапно упал, достаточно случайно удалить одну страницу или не заметить баг. Причем трафик снизится не сразу, а через неделю-другую. Потом понадобится еще неделя на поиск ошибки и еще месяц на то, чтобы трафик восстановился.
К примеру, на этом сайте слетели заголовки <title>, красным старые значения, зеленым — новые:
Программисты не увидели ошибку, и на следующей неделе трафик снизился:
Рассказываем, как ловить такие ошибки на следующий день и не жертвовать трафиком.
Как действовать
Мы ежедневно мониторим все продвигаемые страницы сайтов с помощью собственного скрипта. Он сравнивает страницы с их версией накануне и отправляет сводную информацию оптимизатору.
Оптимизатор просматривает изменения. Если они могут привести к потере трафика, он связывается с программистом и тут же устраняет проблемы. Так мы успеваем поймать ошибки до того, как трафик начал падать.
К примеру, здесь клиент удалил с сайта пятьсот товаров. Из-за этого частично пропал контент на разных страницах:
На следующий день наш мониторинг показал проблему:
Для проверки мы используем свой софт. Но недавно подобная функция появилась в Яндекс.Вебмастере — правда, она делает ограниченное число проверок. Поэтому скрипт можно разработать индивидуально для себя.
Что проверять
Каждый день скрипт проверяет изменение таких параметров:
robots.txt. Одна неправильная строчка в файле, и весь сайт будет закрыт для индексации поисковыми системами;
sitemap.xml. Карта сайта — второстепенный функционал, но она должна работать;
. Это самый важный заголовок, по которому поисковик понимает, какой теме посвящена страница. Она выводится в сниппете;
тегов заголовков от
до
. Они помогают поисковику распознавать структуру контента;
тега . Неправильное использование этого тега может закрыть от поисковика часть важного контента страницы;
meta-robots. Неправильная директива в этом мета-теге запрещает поисковику добавлять страницу в индекс;
в других тегах и метатегах;
размера страницы. Оптимизатор обращает внимание, если страница глобально изменилась;
код ответа страницы. Если в нашем скрипте ответ отличается от 200 ОК, это повод для проверки.
Такой список параметров появился не сразу. Мы добавляли в мониторинг те параметры, которые хоть раз наносили урон трафику в проектах наших клиентов.
А такой парсинг не опасен?
Когда говорим клиентам, что будем каждый день парсить по десять-двадцать страниц, мы обычно видим недовольство программистов. Они боятся, что сайт упадет из-за чрезмерной нагрузки.
Это обоснованные страхи, поэтому мы предусмотрели вопрос нагрузки:
меняем количество потоков и интервал между запросами, если сайт не выдерживает 5—10 потоков одновременно;
проверяем изменения ночью, когда нагрузка низкая. Обычно мониторинг проходит в два часа ночи;
при угрозе чрезмерной нагрузки сокращаем количество страниц до списка критичных.
Наш робот использует user-agent DSSpider, поэтому по логам сервера легко отделить наши запросы от чужих.
Благодарю команду Digital Strategy за совместную работу на проекте Метр Квадратный.
Для нас было крайне важно найти партнера, который может адаптироваться под наши процессы и помочь достичь результатов в конкурентной среде.
Несмотря на сложную тематику, коллеги отлично справляются со своей задачей, полностью закрывают наш запрос. Мы значительно выросли за время работы с агентством.
Отдельно отмечу быструю реакцию по любым вопросам и полное погружение в проект. SEO-специалисты – настоящие мастера своего дела, менеджмент оперативен.
Рекомендую Digital Strategy как ответственного партнера, продолжаем работу над развитием проекта