列表頁翻到第二頁、第三頁时，會产生一批带頁碼或參數的 URL。這些 URL 该不该進入索引，很多站点要么全部放開，要么全部屏蔽，结果不是带来大量重复頁面，就是把有價值的翻頁内容挡在门外。分頁 URL 的處理没有统一答案，關键是看翻頁内容本身有没有獨立價值，以及它對用戶和搜尋引擎是否构成重复。
分頁頁面首先服務導航，其次才是内容
分頁最常见的形態，是把一長串内容切成若干頁。第一頁通常承载栏目主题，後續頁面只是同一主题下的延續。對用戶来说，翻頁是浏览路径；對爬虫来说，翻頁連結是發現更早或更多内容的通道。因此，即使後續分頁不單獨收錄，也不應阻止抓取。把分頁連結改成 JavaScript 点击、按钮或不可抓取的 div，會让更深的條目失去入口，問题比重复收錄更嚴重。
三種常见處理方式，适用场景不同
保留收錄
当每一頁都有獨立、可搜尋的内容片段，且頁碼 URL 稳定、參數简洁时，可以放開收錄。比如论坛按時間排序的帖子列表、商品分類下的翻頁结果，用戶可能直接搜尋到某一頁里的條目。此时要确保分頁有明确的标题、描述和自指 canonical，避免多頁共用同一個标题。
用 canonical 收敛到第一頁
如果翻頁只是同一批内容的重新排列，各頁之間高度重复，可以把後續分頁的 canonical 指向第一頁。這種做法表達的是“首選版本是第一頁”，但要注意：canonical 是提示而非强制指令，且第一頁本身要能正常抓取。若第一頁被 noindex 或屏蔽，後續頁面的 canonical 指向會變得矛盾。
對後續分頁使用 noindex
当翻頁内容没有獨立检索價值，又希望保留抓取路径时，可以對第二頁及之後使用 noindex，同时保持連結可抓取。這样爬虫仍能顺着分頁找到更早的内容，但不會把大量重复 URL 放進索引。需要避免的是對第一頁也加 noindex，那會让整個栏目失去索引入口。
哪些分頁更适合放開收錄
- 每頁有獨立标题、摘要或不同條目，用戶搜尋时可能直接命中。
- 分頁 URL 结构简單，不叠加排序、篩選、會话等無關參數。
- 内容更新频率高，舊分頁會随時間沉淀為可检索的歷史记錄。
- 站点本身内容量有限，分頁數量不大，不會造成索引膨胀。
哪些分頁更适合收敛
- 同一批内容只是換顺序，翻頁之間差异极小。
- URL 里带有排序、视图、篩選等參數，组合後产生大量近似頁面。
- 分頁數量极多，且每頁只有少量條目，抓取價值低。
- 站点已有更合适的聚合頁或专题頁承载同類内容。
自查时先看抓取路径，再看索引狀態
- 检查分頁連結是否可抓取。查看 HTML 中是否有真實的連結指向後續頁，而不是僅靠脚本或按钮触發。
- 检查 canonical 是否自指。保留收錄的分頁，canonical 通常應指向自身；若统一指向第一頁，要確認這是有意為之。
- 检查标题與描述是否重复。多頁共用同一标题时，搜尋引擎难以判断各頁差异，收錄後也容易互相竞争。
- 检查 noindex 是否誤伤第一頁。第一頁應是栏目入口，通常需要保留索引资格。
- 观察日誌與索引狀態。看爬虫是否持續訪問後續分頁，以及已收錄的分頁是否带来有效点击，再决定放開還是收敛。
分頁 URL 的取舍，本质是在“让爬虫走得更深”和“避免重复頁面進入索引”之間找平衡。先保證路径通畅，再根據内容差异决定收錄范围，比一刀切更稳妥。
最後，分頁處理没有永久答案。栏目改版、内容量增長或搜尋需求變化後，原先适合放開的分頁可能需要收敛，原先屏蔽的頁面也可能值得重新评估。定期结合抓取日誌、索引狀態和頁面质量做检查，比一次性設定完就不再過問更實际。