标签：抓取频控

robots.txt 的边界：放行、拦封与抓取频控怎么写

robots.txt 是站点对蜘蛛的第一道约定，但它管的是抓取范围与节奏，不是收录开关。本文梳理 Allow 与 Disallow 的匹配细节、抓取频控的局限、Sitemap 声明的写法、常见误封清单，以及改完之后如何用日志验证效果。