标簽：重复路径

同一批頁面被反复抓取：内鏈里的重复路径是怎么形成的

蜘蛛的抓取時間有限，而同一個 URL 如果能在站内被多條路线走到，它就會被反复重走。重复路径不一定带来更多收錄，却會挤占抓取资源。本文梳理重复路径的常见来源、用日誌判断的方法，以及收敛路径时该保留什么、该去掉什么。