列表页分页是站点里最容易产生大量 URL 的地方。一个栏目几十页，加上排序、筛选参数，很容易生成几百上千个地址。蜘蛛会顺着“下一页”继续抓，但抓取不等于一定收录，也不等于每个分页都值得进索引。
先分清分页的两种角色
分页通常有两种作用：一是作为浏览路径，让用户和蜘蛛从第一页走到更早的内容；二是承载独立内容，比如新闻归档、商品列表，每一页都有不同的条目。前者更像通道，后者才有独立的搜索价值。
如果分页只是通道，且每一页的标题、描述、侧栏、推荐位几乎一样，只有中间几条列表不同，这种页面大量进入索引，容易把整站的内容质量稀释掉。
全量收录分页会带来哪些问题
- 重复内容信号变多：分页页面的模板部分高度相似，搜索引擎要花时间判断主版本。
- 抓取配额被占用：蜘蛛反复抓取无变化的分页，详情页更新反而可能被延后。
- 索引膨胀：收录数字上涨，但用户搜索时很少点到第 20 页，实际价值有限。
哪些分页可以保留收录
- 分页有独立搜索需求，例如“某地招聘第 3 页”虽然搜索量低，但确实有人按页查找。
- 分页承载的商品、文章、房源等条目本身有差异，且详情页需要靠分页链接被蜘蛛发现。
- 站点结构较浅，详情页主要靠列表分页往下传递链接。
如果属于这些情况，建议让分页保持可抓取、可索引，并给每个分页写清楚自引用 canonical，不要都指向第一页。把第 2 页 canonical 到第 1 页，容易让搜索引擎误判页面主题，也可能削弱深层链接的发现。
哪些分页适合收敛
如果分页只是筛选结果的翻页，或者内容重复度高、没有独立搜索价值，可以用以下方式处理：
- 参数收敛：把排序、会话、跟踪参数从 URL 中固定下来，减少同一列表的多个地址。
- noindex,follow：允许蜘蛛继续跟随链接发现详情页，但不把分页本身放进索引。需要观察日志，确认详情页抓取没有明显下降。
- 合并低价值分页：把过深的翻页改成“加载更多”或按时间归档，减少可被索引的 URL 数量。
不建议直接用 robots.txt 屏蔽分页。robots.txt 会挡住抓取，蜘蛛也就无法顺着分页找到后面的详情页。控制索引和阻断抓取是两件事。
处理前先看的几个数据
- 服务器日志里，分页 URL 占总抓取量的比例是否过高。
- 搜索后台里，分页页面是否带来点击；如果长期零点击，可以考虑收敛。
- 详情页的发现路径：如果详情页只靠分页链接被发现，先别急着 noindex。
- 分页是否有稳定的搜索需求，可以从站内搜索词和外部关键词里找线索。
和蜘蛛池、URL 提交的配合
如果你用蜘蛛池、Sitemap 或主动提交来推 URL，建议优先推详情页和第一页列表，不要把无价值的分页一起推。推得越多，蜘蛛在分页上消耗的时间越多，真正需要更新的页面反而可能被推迟。蜘蛛池解决的是“被发现”的问题，是否值得收录，仍要看页面本身的质量和差异。
分页收录没有统一答案。先判断它有没有独立搜索价值，再看它是否承担详情页的发现任务，最后才决定保留、noindex,follow 还是收敛参数。
更稳妥的做法是先小范围调整，观察一到两个抓取周期：看日志、看索引状态、看详情页抓取是否正常。如果收录数量下降但有效详情页曝光稳定，说明收敛方向大致合理；如果详情页抓取明显变少，就要把分页的发现作用放回评估里。