列表页、栏目页、标签页这些带分页的页面，往往是全站链接最密集的地方。分页处理得粗糙，最常见的后果是：第 2 页之后的内容几乎没有稳定的入口链接，蜘蛛只能看到第一页；或者反过来，翻页参数生成出大量内容稀薄的页面，把抓取预算耗在重复列表上。
分页最常见的几种问题
- 只保留「上一页 / 下一页」：用户和蜘蛛都只能一页一页往后走，深处的内容要跳十来次才能碰到，很多页面实际上等同于没有入口。
- 翻页按钮没有真实链接：用 JS 或表单提交换页，链接不带 href，蜘蛛无法顺着点击路径发现后续页。
- canonical 一刀切：所有翻页都指向第一页，等于告诉搜索引擎后几页只是同一内容的不同切法，深层文章可能一起被冷落。
- 给翻页加 noindex 或屏蔽：本想避免重复，结果把从列表通往详情页的路径也堵住了。
- 每页条数频繁调整：昨天 /list?page=3 是 A 组文章，今天变成 B 组，URL 与内容错位，历史抓取记录失去参考价值。
- 无限滚动没有兜底：滚动到底自动加载，但没有可访问的分页 URL，一旦脚本不执行，整段内容就消失了。
一次可落地的分页自查
- 挑 3 个主力栏目，从第一页手动翻到最后一页，记录第 10 页以后还能否正常打开、速度是否明显变慢。
- 查看分页 URL 的形态：是 /list/page/3/ 这类静态化路径，还是带多个参数的查询串？参数是否稳定、可读。
- 检查翻页按钮在「查看源代码」里是否出现 href，还是纯 JS 事件。
- 确认 canonical 指向自身页码，而不是一律指向第一页。
- 检查 robots 与页面 meta 是否误屏蔽了 /page/ 路径。
- 用抓取日志或服务器日志观察：蜘蛛是否访问过第 2 页以后，访问频率与第一页差距有多大。
可以优先做的几件事
- 除了上一页 / 下一页，补上首尾页与页码数字链接，让深层列表有直接入口。
- 翻页 URL 尽量静态化、可预测，例如 /column/page/2/；不要把排序、筛选、页码混在一个长参数串里。
- 翻页 canonical 指向当前页自身；确实不想让某些参数组合被单独对待时，再考虑规范到主路径。
- 无限滚动保留一个「查看更多」的真实链接作为兜底，最好同时提供不带脚本也能翻页的版本。
- 列表摘要不要全文输出。每页放标题、摘要和缩略图即可，避免列表页与详情页正文高度重复。
- 翻页数量过多时，考虑按时间归档或分类拆分，让每个列表保持在可维护的页数范围内。
分页不是单纯的前端交互问题，它决定了蜘蛛能不能沿着列表一层层走到内容深处。先把翻页链接做成真实可点的 URL，再谈其他优化，通常收益最直接。
改完之后怎么验证
改动上线后，抽查几个此前抓取较少的栏目，看新出现的页面是否在几天内被访问；同时观察列表页本身是否还在被反复抓取同一批 URL。如果翻页链接变多但抓取总量没涨，说明预算被重复列表吃掉了，需要回头收一收参数组合。分页治理没有一劳永逸的配置，栏目内容量变化、模板改版都可能让它重新出问题，建议把它放进站点定期自查的清单里，每隔一段时间重跑一遍上面的步骤。