В Вебмастере можно регулировать скорость обхода сайта

В Вебмастере Яндекса появился новый инструмент – «Скорость обхода». Его можно найти в разделе «Индексирование». Он позволяет регулировать, как часто Яндекс может делать запросы к сайту (регулировать скорость обхода сайта со стороны поисковых роботов)

Яндекс будет подбирать максимальную скорость для конкретного сайта, учитывая допустимые нагрузки для сервера по умолчанию.

Помимо этого Яндекс проанализировал письма в поддержку по вопросам индексирования за последние два года. Как оказалось в итоге, одной из основных причин медленного скачивания документов является неправильно настроенная директива Crawl-delay в robots.txt.

Владельцы сайтов достаточно часто ставят значения, как «у других», – как у старых сайтов, серверами которых служили еще «домашние» компьютеры, а не мощные стойки в дата-центрах

Если этот показатель был больше 2, скорость обхода сайта сильно снижалась, так как именно эта директива отвечает за то, как часто робот может обращаться к сайту.

В связи с неверно установленной директивы страницы сайта могли долгое время не индексироваться роботом.

Чтобы владельцам сайтов больше не приходилось об этом беспокоиться, Яндекс решил отказаться от директивы Crawl-delay. Все, кто хотят ограничить скорость обхода сайта, может воспользоваться «Скоростью обхода», который заменит собой рекомендации из директивы.

Его уже можно настроить, а настройки начнут учитываться с 22 февраля.

Если пользователь не знает, какое именно значение Crawl-delay нужно установить для его сайта, он может поставить значение «Доверить Яндексу». Робот сам выберет наиболее оптимальную частоту индексирования сайта.