Почему Яндекс игнорирует Crawl-delay в robots.txt?

Почему Яндекс игнорирует Crawl-delay в robots.txt? Яндекс не поддерживает Crawl-delay: робот не учитывает указанный там интервал между запросами. Скорость обхода сайта регулируется не через robots.txt, а в Яндекс.Вебмастере — в разделе «Индексирование» → «Скорость обхода». На практике это значит, что даже корректно прописанный Crawl-delay не снизит нагрузку от робота Яндекса. Чтобы управлять обходом, подтвердите сайт в Яндекс.Вебмастере, откройте раздел «Индексирование» → «Скорость обхода» и выберите автоматический режим или ручной лимит. Начните с автоматического режима, затем при необходимости снизьте скорость, если сервер не справляется, или повысьте, если страницы долго не индексируются. Проверьте: сайт подтверждён в Вебмастере; текущая скорость обхода соответствует возможностям сервера; после изменений отслеживается нагрузка и скорость индексации. Если не хотите разбираться с настройками самостоятельно, закажите услугу: специалист проверит robots.txt, настроит скорость обхода в Яндекс.Вебмастере, протестирует индексацию и даст рекомендации. Оставьте заявку, и мы подготовим решение под ваш проект.