列表頁和分頁通常是蜘蛛發現内容的主要路径。栏目頁、标簽頁、搜尋结果頁、文章归档頁，只要带翻頁，就可能产生大量地址。如果分頁處理得随意，蜘蛛會在重复标题、空頁面和參數组合之間来回走，真正需要抓取的詳情頁反而被排在後面。
先分清几種分頁形態
不同實現方式對抓取的影响不一样，自查前先確認站点用的是哪一種。
- 传统分頁連結：通過 ?page=2、/list_2.html 這類地址翻頁，連結可直接点击，蜘蛛一般能顺着走。
- 加载更多：点击後由 JS 追加内容，地址不變。如果没有配套的翻頁連結，後續内容對蜘蛛基本不可见。
- 無限滚動：滚動到底自動加载。体驗流畅，但蜘蛛不會滚動，容易只拿到第一屏。
- 查看全部：把所有内容堆在一個長頁面。可能造成超大頁面和重复内容，也可能拖慢渲染。
分頁自查清單
- 分頁地址是否返回 200。有些站点翻到某一頁後直接 404 或跳回第一頁，蜘蛛會把這些地址记為失效，浪費抓取。
- 分頁連結是否真實存在。加载更多和無限滚動至少要提供一组 a 标簽指向後續分頁，例如 /list?page=2，让蜘蛛有路径可走。
- 每頁标题與描述是否重复。如果第 2 頁、第 3 頁和第一頁共用同一套 title、description，蜘蛛很难判断頁面差异。可以在标题里带上頁碼或区間，但不必過度堆砌。
- 是否产生空分頁。資料不足时仍能翻到第 50 頁，頁面没有内容或只有提示语，這類地址應尽早收敛，避免被反复抓取。
- 排序與篩選參數是否和分頁叠加。?sort=price&page=3&color=red 這類组合會派生大量地址。建议只保留少數有检索價值的排序方式，其余參數用 robots.txt 或 noindex 處理。
- 分頁深度是否過深。如果一個栏目有几百頁，蜘蛛不可能全部讀完。把更新時間新、点击量高或人工推荐的内容排在前几頁，後面的分頁可以限制抓取或做适当收敛。
處理思路
分頁治理的目标不是让蜘蛛抓完所有頁，而是把有限的抓取引導到有價值的詳情頁上。可以從几個方向入手。
- 保留可抓取的翻頁連結。即使前端使用加载更多，也建议在頁面底部或 HTML 中輸出真實分頁連結，作為兜底路径。
- 控制分頁深度。只让前若干頁參與抓取和索引，更深的頁面可以通過 rel=nofollow 或 robots.txt 限制，也可以让它們返回 200 但設定 noindex。具体用哪種，要看這些頁面本身有没有搜尋需求。
- 区分排序與篩選頁面。如果排序方式對用戶有價值，可以保留少量入口；纯參數组合頁面尽量收敛，避免和主分頁抢入口。
- 给重要内容更多入口。除了列表頁，還可以通過专题頁、相關阅讀、站点地图等方式把詳情頁暴露出来，减少對翻頁深度的依赖。
用日誌驗證效果
調整之後，不要只看前端表現。翻出服務器日誌，按路径統計分頁地址的抓取次數、返回狀態和响應時間。重点看三類情况：分頁地址是否仍有大量 404；蜘蛛是否反复抓取同一组分頁參數；詳情頁的抓取量有没有被分頁挤占。如果分頁抓取占比很高，而詳情頁收錄没有變化，說明入口和收敛策略還需要再調。
分頁不是越多越好，也不是越少越好。能走通、不重复、有明确停止位置，比让蜘蛛一直翻下去更重要。