什么是蜘蛛陷阱
蜘蛛陷阱指的是網站中存在一種連結结构，让抓取程序可以不断發現新的 URL，但這些 URL 的内容高度重复或没有實际價值。對普通站点来说，這已经是個麻烦；對蜘蛛池入口頁来说，問题更直接——入口頁本来就依赖抓取配額来把目标 URL 暴露出去，配額被陷阱吃掉，真正想被發現的頁面就排不上队。
蜘蛛陷阱很少是故意設定的。多數时候，它是分頁、篩選、排序、日歷、會话參數等功能叠加出来的副产品。
蜘蛛池入口頁常见的几種陷阱
無限分頁
列表頁的“下一頁”如果没有终点，蜘蛛會一直点下去。有些程序在資料不足时仍然生成下一頁連結，或者把頁碼參數当作無限递增，導致 .../page/1000、.../page/1001 這样的地址被持續發現。
參數组合爆炸
篩選、排序、视图切換等參數自由组合，會产生大量内容相同、URL 不同的頁面。比如颜色、尺寸、排序方式、每頁條數交叉相乘，蜘蛛每換一個组合就抓一次。
日歷與日期归档
日歷控件通常為每一天生成一個連結。如果入口頁包含日歷導航，蜘蛛可能把未来几年甚至更遠的日期都抓一遍，而這些頁面往往没有内容。
會话 ID 與追踪參數
URL 里带上 sessionid、ref、from 等參數时，同一個頁面會以多個地址出現。蜘蛛無法判断它們指向同一内容，于是重复抓取。
相對連結與错誤基准
如果入口頁的 base 标簽或相對連結寫错，蜘蛛可能解析出层級混乱的地址，一路向上或向下生成大量無效路径。
怎么發現入口頁已经踩進陷阱
最直接的线索在服務器日誌里。观察蜘蛛的抓取记錄，如果出現以下信号，就要警惕：
- 同一路径下頁碼或參數持續递增，抓取量很大但頁面内容几乎一样；
- 蜘蛛訪問了大量带有 sessionid、sort、filter 等參數的 URL；
- 日誌中反复出現同一個模板頁面，只是 URL 不同；
- 蜘蛛在某個目錄下越抓越深，层級明顯超過正常范围。
把這些 URL 按路径前缀和參數归類，通常能很快看出是哪一類结构在制造新地址。
收敛蜘蛛陷阱的常用做法
- 给分頁设上限。列表頁只保留有限頁數，超出部分不再輸出“下一頁”連結，或改為不參與抓取的加载方式。
- 規范參數。對排序、篩選等參數做白名單，只允许有限的组合被索引；其余组合通過 robots.txt 或 nofollow 處理。
- 處理會话參數。尽量避免在 URL 中携带會话 ID；如果必须携带，用 canonical 指向干净地址。
- 控制日歷輸出。日歷只連結到已有内容的日期，空日期不生成可抓取連結。
- 检查相對連結與 base。确保入口頁的相對路径解析正确，不會生成意外层級。
- 用 robots.txt 兜底。對確認没有價值的路径做規則屏蔽，但要注意不要誤伤需要被抓取的入口頁。
蜘蛛陷阱的核心問题不是“蜘蛛来了”，而是“蜘蛛来了却一直在绕圈”。入口頁的價值在于把蜘蛛引向目标 URL，而不是让它在同一個模板里反复消耗。
蜘蛛池场景下的額外注意点
蜘蛛池入口頁通常數量多、模板相似，一旦某個模板存在陷阱，可能被複製到很多域名上，放大抓取浪費。因此在入口頁上线前，最好用日誌模拟或小范围观察確認没有無限連結结构；上线後也要定期看蜘蛛的抓取分布，發現某類 URL 占比異常升高时及时調整。
另外，不要為了“让蜘蛛多来”而故意保留陷阱。抓取配額是有限的，蜘蛛在無效頁面上花的時間越多，能分给有效入口頁的時間就越少。收敛陷阱不是為了限制蜘蛛，而是把抓取机會用在更值得的地方。