一個列表頁翻頁參數累积起来，站点很容易多出几十上百個 URL。分頁頁要不要進索引，没有统一答案：有的分頁确實承载着獨立内容，有的只是同一批结果的重新排序。判断错方向，要么浪費抓取配額，要么让本该被發現的深层内容失去入口。
分頁 URL 是被連結带進抓取的
多數分頁頁並不靠 sitemap 提交，而是列表頁上的“下一頁”連結被蜘蛛顺着跟下去。這意味着分頁 URL 天然處在抓取通路上：只要連結存在，它就有可能在某個時間点被請求。因此處理分頁时，先想清楚的是要不要保留這條連結通路，而不是單纯地問“要不要让它被收錄”。
先分清分頁的三種形態
參數分頁
形如 list?page=2 的形式最普遍。它和篩選、排序參數容易混在一起，URL 组合數量會成倍增長，是最需要收口的一類。
路径分頁
形如 /list/page/2/。這類 URL 更干净，也更容易被当作獨立頁面，處理时的判断空間更大。
滚動加载與“加载更多”
如果後續内容由 JavaScript 請求接口再渲染，蜘蛛關掉脚本後可能只看到第一屏。這類站点的分頁問题往往不是收錄太多，而是深层内容压根没有可抓取的入口。
判断标准：第 2 頁之後還有没有獨立價值
- 结果集是否稳定：每天大批更替的列表，歷史頁几乎没有長期價值；更新缓慢的归档頁則相反。
- 内容是否唯一：除了位置靠後的几條，分頁頁上是否存在第一頁完全没有的信息。
- 是否有連結指向：有真實站内或站外引用的分頁頁，通常說明它對人有用。
- 是否可能承接搜尋需求：例如“某類目 第二頁”這種查询极少，但“全部文章归档”這類頁面可能有。
四種處理方式的适用场景
- 允许收錄：分頁承载了獨立且稳定的内容，比如更新很慢的归档、按時間排列的资料库。保留自指 canonical 即可。
- canonical 指向第一頁：适合结果集基本相同、只是位置不同的分頁。要注意两点：canonical 是提示而非指令，搜尋引擎可能忽略；如果分頁頁有獨有内容，指向第一頁等于放弃這部分内容的索引机會。
- noindex, follow：想保留連結通路、又不想让分頁頁占用索引位置时使用。follow 能让蜘蛛繼續顺着“下一頁”走到更深的结果。
- robots.txt 屏蔽：一般不建议。屏蔽抓取會切断這條連結通路，深层頁面可能因此再没有入口。
canonical 與 noindex 同时用在一個分頁頁上，容易發出互相矛盾的信号。選一種，並让全站規則保持一致。
容易踩的坑
- 第一頁與第二頁互相 canonical，形成回环，两邊都得不到明确信号。
- 用了 noindex 却去掉 follow，结果列表深處的詳情頁長期不被發現。
- 分頁頁與篩選參數共用一個模板，收口規則寫得太粗，誤伤了有獨立價值的归档頁。
- 把分頁当成重复内容一刀切屏蔽，之後又抱怨新内容發現太慢。
上线前的自查
- 抽查三個分頁 URL，確認 canonical 指向符合预期，且没有自相矛盾。
- 在關閉脚本的情况下打開列表頁，確認“下一頁”連結能在 HTML 中出現。
- 看站内日誌中各段 URL 的抓取占比，判断分頁是否消耗了過多配額。
- 對比收錄資料，確認收口之後深层内容頁的發現速度没有變慢。
分頁本身不是問题，問题是在没想清楚價值之前就让它無限扩展。先判断每一類分頁頁對用戶有没有獨立意义，再决定它是否需要占一個索引位置，通常比全站套用一種規則更稳妥。