标签：站点规范

搜索蜘蛛抓取：URL 大小写与结尾斜杠差异造成的重复发现梳理

同一个页面因为路径大小写不同、结尾斜杠有无、默认文档名差异，被服务器当成不同入口返回 200，爬虫就会重复发现并重复抓取。本文从日志取样、状态码核对、服务器归一化规则三个层面，给出可落地的排查与收敛顺序。