标簽：日誌核對

搜尋蜘蛛抓取：Crawl-delay 声明的實际节流范围與抓取频次核對

Crawl-delay 寫在 robots.txt 里，並不等于蜘蛛一定照做。本文梳理该指令的實际生效范围、声明後抓取量不降的常见原因，以及如何用日誌核對节流效果，並给出更可控的替代做法與核對清單。