标签：爬虫规则

站点运营：robots.txt 配置自查，别让规则误伤有效页面

robots.txt 看似简单，却常因规则写错挡住蜘蛛抓取。本文整理配置自查思路，包括文件位置、常见误伤、规则验证和日常维护，帮助站点运营者在改版或上线新栏目后，减少因爬虫规则导致的 URL 发现与抓取问题。