列表頁分頁是站点里最容易产生大量 URL 的地方。一個栏目几十頁，加上排序、篩選參數，很容易生成几百上千個地址。蜘蛛會顺着“下一頁”繼續抓，但抓取不等于一定收錄，也不等于每個分頁都值得進索引。
先分清分頁的两種角色
分頁通常有两種作用：一是作為浏览路径，让用戶和蜘蛛從第一頁走到更早的内容；二是承载獨立内容，比如新闻归档、商品列表，每一頁都有不同的條目。前者更像通道，後者才有獨立的搜尋價值。
如果分頁只是通道，且每一頁的标题、描述、侧栏、推荐位几乎一样，只有中間几條列表不同，這種頁面大量進入索引，容易把整站的内容质量稀释掉。
全量收錄分頁會带来哪些問题
- 重复内容信号變多：分頁頁面的模板部分高度相似，搜尋引擎要花時間判断主版本。
- 抓取配額被占用：蜘蛛反复抓取無變化的分頁，詳情頁更新反而可能被延後。
- 索引膨胀：收錄數字上涨，但用戶搜尋时很少点到第 20 頁，實际價值有限。
哪些分頁可以保留收錄
- 分頁有獨立搜尋需求，例如“某地招聘第 3 頁”虽然搜尋量低，但确實有人按頁查找。
- 分頁承载的商品、文章、房源等條目本身有差异，且詳情頁需要靠分頁連結被蜘蛛發現。
- 站点结构較浅，詳情頁主要靠列表分頁往下传递連結。
如果属于這些情况，建议让分頁保持可抓取、可索引，並给每個分頁寫清楚自引用 canonical，不要都指向第一頁。把第 2 頁 canonical 到第 1 頁，容易让搜尋引擎誤判頁面主题，也可能削弱深层連結的發現。
哪些分頁适合收敛
如果分頁只是篩選结果的翻頁，或者内容重复度高、没有獨立搜尋價值，可以用以下方式處理：
- 參數收敛：把排序、會话、跟踪參數從 URL 中固定下来，减少同一列表的多個地址。
- noindex,follow：允许蜘蛛繼續跟随連結發現詳情頁，但不把分頁本身放進索引。需要观察日誌，確認詳情頁抓取没有明顯下降。
- 合並低價值分頁：把過深的翻頁改成“加载更多”或按時間归档，减少可被索引的 URL 數量。
不建议直接用 robots.txt 屏蔽分頁。robots.txt 會挡住抓取，蜘蛛也就無法顺着分頁找到後面的詳情頁。控制索引和阻断抓取是两件事。
處理前先看的几個資料
- 服務器日誌里，分頁 URL 占總抓取量的比例是否過高。
- 搜尋後台里，分頁頁面是否带来点击；如果長期零点击，可以考虑收敛。
- 詳情頁的發現路径：如果詳情頁只靠分頁連結被發現，先別急着 noindex。
- 分頁是否有稳定的搜尋需求，可以從站内搜尋词和外部關鍵詞里找线索。
和蜘蛛池、URL 提交的配合
如果你用蜘蛛池、Sitemap 或主動提交来推 URL，建议優先推詳情頁和第一頁列表，不要把無價值的分頁一起推。推得越多，蜘蛛在分頁上消耗的時間越多，真正需要更新的頁面反而可能被推迟。蜘蛛池解决的是“被發現”的問题，是否值得收錄，仍要看頁面本身的质量和差异。
分頁收錄没有统一答案。先判断它有没有獨立搜尋價值，再看它是否承担詳情頁的發現任務，最後才决定保留、noindex,follow 還是收敛參數。
更稳妥的做法是先小范围調整，观察一到两個抓取周期：看日誌、看索引狀態、看詳情頁抓取是否正常。如果收錄數量下降但有效詳情頁曝光稳定，說明收敛方向大致合理；如果詳情頁抓取明顯變少，就要把分頁的發現作用放回评估里。