标签：URL膨胀

分页与筛选参数：蜘蛛抓取时的路径膨胀怎么收敛

列表页、分页和筛选参数组合起来，很容易让站内出现大量相似 URL。蜘蛛沿着这些链接抓取时，会把有限的抓取次数分散到低价值页面上。本文从路径来源、蜘蛛取舍逻辑和收敛做法三方面，说明如何让抓取回到有内容、有更新的 URL 上。