列表页、标签页、搜索结果页一旦带上分页，URL 数量很容易从几十条变成几千条。蜘蛛会沿着“下一页”一路爬，但抓到和收进索引是两件事。分页处理的目标不是让每个页码都被收录，而是让蜘蛛把访问机会花在真正有独立价值的页面上。
先分清抓取分页和收录分页
蜘蛛抓取分页，通常只是为了发现更深层的内容。比如商品列表第 5 页，它可能只是通往第 50 个商品的路径。如果这个页码本身没有独立搜索需求，也没有稳定的内容差异，那么它被抓取是正常的，不被收录也正常。
反过来，如果分页地址被大量收录，而内容与第一页高度相似，就可能出现重复内容、索引膨胀，甚至让真正重要的详情页在抓取预算里被挤到后面。处理分页时，先判断页面属于“路径”还是“内容”。
哪些分页值得进入索引
列表首页通常值得保留
分类列表的第一页往往是频道入口，有明确的主题词和稳定的内容集合。它适合被收录，也适合作为内链枢纽，把权重和抓取路径传给详情页。
后续页码多数不必强求收录
第 2 页之后的列表，内容通常是前页内容的延续或重复组合。除非该页码有独立搜索需求，比如“某品类排行榜第 2 页”这种极少见情况，否则不建议把它当作独立落地页去优化。让它可被抓取、可发现详情页即可。
带筛选参数的分页要单独判断
筛选条件组合出的 URL，数量可能指数增长。如果筛选结果本身有稳定内容，且用户会直接搜索这类组合，可以考虑保留少数高价值组合；其余组合页更适合收口，避免蜘蛛在参数迷宫里消耗预算。
分页 URL 的常见写法和收口方式
- 路径式分页：如 /list/page/2/。结构清晰，容易判断页码层级，适合保留可抓取路径，但后续页码通常不必全部收录。
- 参数式分页：如 ?page=2。容易和筛选参数混在一起，建议固定参数顺序，避免同一页因参数顺序不同产生多个地址。
- 无限滚动或按钮加载：内容由 JavaScript 追加，蜘蛛可能只看到第一屏。需要提供可抓取的分页链接，或至少保证首屏 HTML 里有进入详情页的链接。
- “查看全部”页面：如果能把多页内容合并到一个长页面，通常比保留几十个分页更利于收录和维护，但页面体积和加载速度要控制。
给蜘蛛一条清晰的路
分页之间用普通的可抓取链接连接，不要只依赖 JavaScript 点击事件。第一页指向第二页，第二页指向第三页，同时提供返回第一页的入口。这样蜘蛛能按顺序发现内容，也能判断分页的层次。
关于 rel=next 和 rel=prev，主流搜索引擎已经不再把它当作收录指令。它可以作为辅助信号，但不能替代清晰的链接结构和 canonical 判断。不要指望靠一个标签解决分页重复问题。
对于不希望被收录的后续页码，可以在页面上使用 noindex，但要确认蜘蛛仍能通过该页发现详情页链接。如果页面被 noindex 后又切断了内链，详情页可能一起失去入口。
自查顺序
- 导出被收录的分页 URL，按页码和参数分组，看哪些是列表首页，哪些是后续页或筛选组合。
- 抽查被收录的后续页码，对比它与第一页的标题、正文和商品集合，判断是否有独立价值。
- 检查分页链接是否为可抓取链接，还是只在 JavaScript 里绑定点击事件。
- 核对 canonical：分页应指向自身还是第一页，取决于你想让哪个版本进入索引，不要全站统一写死。
- 用服务器日志观察蜘蛛访问分页的频率和深度，确认抓取预算是否被低价值页码占用。
分页收录没有统一答案。列表首页通常值得保留，后续页码多数只需承担“被发现”的职责。先明确每个页码的角色，再决定是否让它进入索引，比盲目提交或屏蔽更稳妥。
最后提醒一句：分页处理的目标是让蜘蛛高效发现详情页，同时避免重复地址稀释站点结构。做完调整后，观察日志和索引报告的变化需要时间，不要因为一两天没有动静就反复改动规则。