标签：日志核对

搜索蜘蛛抓取：Crawl-delay 声明的实际节流范围与抓取频次核对

Crawl-delay 写在 robots.txt 里，并不等于蜘蛛一定照做。本文梳理该指令的实际生效范围、声明后抓取量不降的常见原因，以及如何用日志核对节流效果，并给出更可控的替代做法与核对清单。