在蜘蛛池里，入口頁通常承担两件事：一是自己能被蜘蛛抓到，二是把蜘蛛引向更多 URL。列表頁和分頁鏈是第二件事的主力——一個入口頁放上一组翻頁連結，理论上就能把成百上千個 URL 铺出去。但實际运营中，分頁也是最容易失控的地方：翻頁參數無限增長、每頁連結堆得太密、翻到几十頁之後没有任何收敛，结果抓取预算被消耗在一堆低價值頁面上。
先明确分頁在蜘蛛池里的角色
分頁頁本身不是最终目标，它更像一條通道。你需要想清楚三件事：每一條通道通向哪里、一共允许多少條通道、蜘蛛走完通道之後能不能落到有價值的頁面。如果分頁連結指向的還是分頁，或者翻到第 20 頁之後内容已经高度重复，那這些 URL 被發現的邊际收益就很低。
一個常见的判断标准是：如果某個分頁 URL 上的列表項，和前一頁、後一頁几乎没有差异，那它就属于可收敛的部分，不必每一頁都做成獨立可抓的地址。
翻頁形態：選可被抓取的那種
常见的翻頁實現有几種，對蜘蛛的友好度差別很大。
- 静態頁碼連結：/list/2/、/list/3/ 這類寫進 HTML 的地址，最容易被發現和跟踪。
- 參數分頁：/list?page=2 也能被抓，但要注意參數不要叠加出無穷组合，比如同时带排序、篩選、時間范围，URL 會迅速膨胀。
- 按钮式加载更多：如果按钮背後是 AJAX，且在原始 HTML 里没有對應的連結，蜘蛛往往看不到後續内容。
- 無限滚動：對訪客体驗好，但對 URL 發現基本没有帮助，除非你有額外的静態分頁地址作為兜底。
如果站点必须用 JS 加载，至少要在 HTML 里保留一组可点击、可跟踪的翻頁連結，让蜘蛛顺着連結走到後面的頁面。
每頁放多少條連結
列表頁每條連結都會消耗一点抓取注意力。把 200 條連結塞進一頁，和分成 10 頁每頁 20 條，最终被發現的 URL 數量可能差不多，但後者對服務器更友好，也更接近正常站点的形態。
比較稳妥的做法是：列表頁每條目控制在几十條以内，翻頁數量設定一個上限。超過上限的歷史内容，可以用归档頁、标簽頁或者站点地图的方式單獨處理，而不是让它繼續挂在翻頁鏈末尾。
分頁鏈的深度怎么收敛
蜘蛛顺着翻頁往下走，深度越深，到達的概率越低。一個實用的做法是控制三层结构：
- 入口頁指向若干個列表首頁；
- 列表首頁通過翻頁鏈指向後續分頁；
- 分頁里的條目指向目标詳情頁。
到了第四层、第五层，收益通常已经很小。如果你發現日誌里深层分頁几乎没有被抓過，說明這條鏈路的實际有效性有限，與其繼續加深，不如把资源轉到更靠前的頁面上。
分頁頁的規范化與去重
同一份列表内容往往會通過多條路径到達：預設排序、按時間排序、带篩選參數的版本。這些地址如果都返回 200 且内容相近，很容易形成重复頁面。處理方式上有两個方向：
- 能合並的，用 canonical 指向主分頁地址；
- 不打算被單獨抓取的篩選组合，用 robots.txt 或 meta robots 挡掉，而不是让它自由扩散。
需要注意，被挡掉的 URL 仍然可能出現在外鏈或歷史记錄里，只是不參與抓取。挡與不挡要按頁面價值来定，不要一刀切。
用日誌驗證翻頁鏈是否真的生效
设計完不代表蜘蛛就會照做。打開訪問日誌，看几個指标：
- 分頁 URL 有没有被請求過，請求频率是否集中在最前面几頁；
- 翻頁請求返回的狀態碼是不是 200，有没有大面积的重定向；
- 從分頁頁出發的詳情頁，是否也有對應的抓取记錄。
如果只看到入口頁被反复抓取，分頁却几乎没人訪問，多半是連結没寫進 HTML、被 robots 挡了，或者翻頁地址本身不可訪問。
分頁鏈的價值不在于铺得多，而在于蜘蛛愿意顺着走下去，並且走到的頁面值得看。數量堆到一定程度之後，真正决定效果的是结构與稳定性，而不是頁數。
几個容易踩的坑
- 翻頁參數里带上會话 ID 或時間戳，導致每次生成的 URL 都不一样；
- 分頁連結用 JS 拼接，原始 HTML 里完全没有锚点；
- 列表頁只放标题文字，連結本身是空的或指向首頁；
- 翻頁頁數没有上限，蜘蛛一直能翻到更深的空頁面；
- 分頁被设成 noindex 的同时，又指望它传递 URL，逻辑上自相矛盾。
把這几處理顺之後，再去观察抓取记錄的變化，通常比單纯增加入口頁數量更有意义。