Чтобы трафик на сайте внезапно упал, достаточно случайно удалить одну страницу или не заметить баг. Причем трафик снизится не сразу, а через неделю-другую. Потом понадобится еще неделя на поиск ошибки и еще месяц на то, чтобы трафик восстановился. 

К примеру на этом сайте слетели заголовки <title>, красным старые значения, зеленым — новые:

Программисты не увидели ошибку, и на следующей неделе трафик снизился:

Рассказываем, как ловить такие ошибки на следующий день и не жертвовать трафиком.

Как действовать

Мы ежедневно мониторим все продвигаемые страницы сайтов с помощью собственного скрипта. Он сравнивает страницы с их вчерашней версией и отправляет сводную информацию оптимизатору.

Оптимизатор просматривает изменения. Если они могут привести к потере трафика, он  связывается с программистом и тут же устраняет проблемы. Так мы успеваем поймать ошибки до того, как трафик начал падать.

К примеру, здесь клиент удалил с сайта пятьсот товаров. Из-за этого частично пропал контент на разных страницах:

На следующий день наш мониторинг показал проблему:

Для проверки мы используем свой софт. Но недавно подобная функция появилась в Яндекс.Вебмастере, правда, она делает ограниченное число проверок. Поэтому скрипт можно разработать индивидуально для себя.

Что проверять

Каждый день скрипт проверяет изменение таких параметров:

  • изменения robots.txt. Одна неправильная строчка в файле, и весь сайт будет закрыт для индексации поисковыми системами;

  • sitemap.xml. Карта сайта — второстепенный функционал, но она должна работать;

  • <title>. Это самый важный заголовок, по которому поисковик понимает, какой теме посвящена страница. Она выводится в сниппете;

  • тегов заголовков от <H1> до <H6>. Они помогают поисковику распознавать структуру контента;

  • тега <noindex>. Неправильное использование этого тега может закрыть от поисковика часть важного контента страницы;

  • meta-robots. Неправильная директива в этом мета-теге запрещает поисковику добавлять страницу в индекс;

  • в других тегах и мета-тегах;

  • размера страницы. Оптимизатор обращает внимание, если страница глобально изменилась;

  • код ответа страницы. Если в нашем скрипте ответ отличается от 200 ОК, это повод для проверки.

Такой список параметров появился не сразу. Мы добавляли в мониторинг те параметры, которые хоть раз наносили урон трафику в проектах наших клиентов. 

А такой парсинг не опасен?

Когда говорим клиентам, что будем каждый день парсить по десять-двадцать страницы, мы обычно видим недовольство программистов. Они боятся, что сайт упадет из-за чрезмерной нагрузки. 

Это обоснованные страхи, поэтому мы предусмотрели вопрос нагрузки:

  • меняем количество потоков и интервал между запросами, если сайт не выдерживает 5—10 потоков одновременно;

  • проверяем изменения ночью, когда нагрузка низкая. Обычно мониторинг проходит в два часа ночи;

  • при угрозе чрезмерной нагрузки сокращаем количество страниц до списка критичных.

Наш робот использует user-agent DSSpider, поэтому по логам сервера легко отделить наши запросы от чужих.



Объясняет:
Роман Прохоров
Генеральный директор
Спрашивает:
Ирина Усиченко

Сообщить об ошибке

Выделите текст и нажмите Ctrl+Enter, чтобы отправить сообщение