标簽：URL膨胀

分頁與篩選參數：蜘蛛抓取时的路径膨胀怎么收敛

列表頁、分頁和篩選參數组合起来，很容易让站内出現大量相似 URL。蜘蛛沿着這些連結抓取时，會把有限的抓取次數分散到低價值頁面上。本文從路径来源、蜘蛛取舍逻辑和收敛做法三方面，說明如何让抓取回到有内容、有更新的 URL 上。