标簽：站点規范

搜尋蜘蛛抓取：URL 大小寫與结尾斜杠差异造成的重复發現梳理

同一個頁面因為路径大小寫不同、结尾斜杠有無、預設文档名差异，被服務器当成不同入口返回 200，爬虫就會重复發現並重复抓取。本文從日誌取样、狀態碼核對、服務器归一化規則三個层面，给出可落地的排查與收敛顺序。