标簽：爬虫容量

抓取陷阱：URL 無限展開时蜘蛛會怎么走

站点在分頁、篩選、會话參數上稍有不慎，就會生成可以無限展開的 URL，让蜘蛛顺着連結一路爬下去。本文拆解几類常见的抓取陷阱，說明它們如何挤占抓取容量，並给出從日誌识別、參數收口到 robots 與 canonical 配合的處理思路。