列表頁通常是站点里 URL 發現最集中的地方。蜘蛛進入一個栏目，往往先看到第一頁的若干條連結，再顺着分頁往下走。分頁怎么设計，會直接影响它能不能繼續走、能走多深，以及最终能發現多少詳情頁。
分頁連結的三種常见形態
常见的分頁實現大致有三類：传统頁碼連結、“加载更多”按钮和無限滚動。它們對用戶可能体驗接近，但對蜘蛛来说差別不小。
- 传统頁碼連結：每一頁都有獨立 URL，連結寫在 HTML 里，蜘蛛可以逐頁跟随。只要頁碼連結可点击、可抓取，路径最清晰。
- “加载更多”按钮：如果按钮是連結，並且指向一個可訪問的下一頁 URL，蜘蛛仍能跟随；如果只是 JavaScript 事件，没有真實地址，蜘蛛通常看不到後續内容。
- 無限滚動：用戶滚動时内容不断追加，但地址不變。蜘蛛没有滚動行為，能拿到的往往只是首屏那批連結。
所以，列表頁需要给蜘蛛留一條稳定的 HTML 路径，而不是只依赖脚本行為。
蜘蛛沿着分頁走时，會關注什么
連結是否真實存在于 HTML
蜘蛛解析的是服務器返回的 HTML。如果分頁地址只存在于脚本變量里，或者要等用戶交互後才生成，被抓到的概率會明顯下降。把下一頁、頁碼連結放在 HTML 的連結标簽中，是更稳妥的做法。
分頁 URL 是否稳定
同一個列表頁，如果每次訪問分頁參數都不同，或者带有會话 ID、時間戳，蜘蛛容易把它当成大量不同 URL 處理，抓取预算會被分散。分頁地址尽量保持简洁、可复現，比如 ?page=2 這類固定形式。
每頁是否有獨立内容
如果第二頁、第三頁返回的内容與第一頁高度重复，蜘蛛可能降低繼續抓取的兴趣，或者把這些頁面视為低價值重复。让每頁展示不同的條目集合，是最基本的要求。
分頁深度與抓取预算
蜘蛛在站点上的抓取量是有限的。頁碼越深，被抓取的概率通常越低。一個栏目如果有几十頁甚至上百頁，靠後的分頁可能很久才被訪問一次，甚至長期不被訪問。
- 把重要内容尽量放在前几頁，或者提供分類、标簽、時間归档等入口，减少對深頁碼的依赖。
- 分頁數量過多时，考虑限制可抓取深度，或者用“查看更多”指向一個獨立列表頁。
- 不要把關键詳情頁只放在很深的頁碼序列里，否則 URL 發現會變慢。
這不是说深分頁没有價值，而是要让蜘蛛有多條路到達同一批内容。内鏈结构越多元，單個分頁路径的压力越小。
Sitemap 與内鏈怎么配合分頁
Sitemap 适合放詳情頁、分類頁等希望被發現的稳定 URL，而不必把所有分頁都塞進去。分頁的主要职责是引導蜘蛛發現新連結，詳情頁則可以通過内鏈和 Sitemap 双重保障。
分頁负责“往下走”，Sitemap 负责“给清單”，内鏈负责“多几條路”。三者配合，URL 發現更稳，但不要指望某一種方式單獨解决所有問题。
如果分頁使用了“加载更多”，也可以给爬虫提供一個可訪問的分頁 URL，並在 Sitemap 中保留重要列表頁，让蜘蛛有入口進入。
服務器响應與抓取节奏
分頁請求往往集中、连續。如果服務器在蜘蛛连續訪問时响應變慢、频繁超时，蜘蛛可能降低抓取频率，甚至暂时离開。列表頁本身不宜過重，分頁接口也要注意稳定性。
当發現蜘蛛只抓到前几頁就停了，可以先看日誌：是連結没有暴露，還是响應太慢導致放弃。先解决可抓取路径，再谈抓取深度，通常更有效。
總结下来，分頁设計的關键不是让用戶“能滑到底”，而是让蜘蛛有一條清晰的、HTML 可跟随的路径。路径稳定、内容有差异、入口多元，列表頁才能真正成為 URL 發現的入口。