标簽：抓取频控

robots.txt 的邊界：放行、拦封與抓取频控怎么寫

robots.txt 是站点對蜘蛛的第一道约定，但它管的是抓取范围與节奏，不是收錄開關。本文梳理 Allow 與 Disallow 的匹配细节、抓取频控的局限、Sitemap 声明的寫法、常见誤封清單，以及改完之後如何用日誌驗證效果。