Чек-лист по ежедневному мониторингу сайта

Чтобы трафик на сайте внезапно упал, достаточно случайно удалить одну страницу или не заметить баг. Причем трафик снизится не сразу, а через неделю-другую. Потом понадобится еще неделя на поиск ошибки и еще месяц на то, чтобы трафик восстановился.

К примеру, на этом сайте слетели заголовки <title>, красным старые значения, зеленым — новые:

Программисты не увидели ошибку, и на следующей неделе трафик снизился:

Рассказываем, как ловить такие ошибки на следующий день и не жертвовать трафиком.

Как действовать

Мы ежедневно мониторим все продвигаемые страницы сайтов с помощью собственного скрипта. Он сравнивает страницы с их версией накануне и отправляет сводную информацию оптимизатору.

Оптимизатор просматривает изменения. Если они могут привести к потере трафика, он связывается с программистом и тут же устраняет проблемы. Так мы успеваем поймать ошибки до того, как трафик начал падать.

К примеру, здесь клиент удалил с сайта пятьсот товаров. Из-за этого частично пропал контент на разных страницах:

На следующий день наш мониторинг показал проблему:

Для проверки мы используем свой софт. Но недавно подобная функция появилась в Яндекс.Вебмастере — правда, она делает ограниченное число проверок. Поэтому скрипт можно разработать индивидуально для себя.

Что проверять

Каждый день скрипт проверяет изменение таких параметров:

robots.txt. Одна неправильная строчка в файле, и весь сайт будет закрыт для индексации поисковыми системами;
sitemap.xml. Карта сайта — второстепенный функционал, но она должна работать;
<'title'>. Это самый важный заголовок, по которому поисковик понимает, какой теме посвящена страница. Она выводится в сниппете;
тегов заголовков от <'H1'> до <'H6'>. Они помогают поисковику распознавать структуру контента;
тега <'noindex'>. Неправильное использование этого тега может закрыть от поисковика часть важного контента страницы;
meta-robots. Неправильная директива в этом мета-теге запрещает поисковику добавлять страницу в индекс;
в других тегах и метатегах;
размера страницы. Оптимизатор обращает внимание, если страница глобально изменилась;
код ответа страницы. Если в нашем скрипте ответ отличается от 200 ОК, это повод для проверки.

Такой список параметров появился не сразу. Мы добавляли в мониторинг те параметры, которые хоть раз наносили урон трафику в проектах наших клиентов.

А такой парсинг не опасен?

Когда говорим клиентам, что будем каждый день парсить по десять-двадцать страниц, мы обычно видим недовольство программистов. Они боятся, что сайт упадет из-за чрезмерной нагрузки.

Это обоснованные страхи, поэтому мы предусмотрели вопрос нагрузки:

меняем количество потоков и интервал между запросами, если сайт не выдерживает 5—10 потоков одновременно;
проверяем изменения ночью, когда нагрузка низкая. Обычно мониторинг проходит в два часа ночи;
при угрозе чрезмерной нагрузки сокращаем количество страниц до списка критичных.

Наш робот использует user-agent DSSpider, поэтому по логам сервера легко отделить наши запросы от чужих.

Чек-лист. Что проверять на сайте каждый день, чтобы внезапно не потерять трафик

Как действовать

Что проверять

А такой парсинг не опасен?

Будет полезно

Заявка на сотрудничество

Публикации