标签：重复路径

同一批页面被反复抓取：内链里的重复路径是怎么形成的

蜘蛛的抓取时间有限，而同一个 URL 如果能在站内被多条路线走到，它就会被反复重走。重复路径不一定带来更多收录，却会挤占抓取资源。本文梳理重复路径的常见来源、用日志判断的方法，以及收敛路径时该保留什么、该去掉什么。