列表页和归档页往往靠翻页把内容铺开。翻页本身不复杂，但它牵涉到链接可抓取、参数写法、规范化指向和抓取预算分配几个方面，一旦放任不管，容易出现同一批内容被反复抓取，或者第 2 页之后长期没人访问的情况。这篇把分页相关的自查点整理成一份可以直接照着做的清单。
先看清翻页的几种形态
不同形态的处理方式不一样，先确认站点当前用的是哪一种。
- 路径式：如 /list/page/2/，结构清晰，通常比参数式更容易被稳定识别。
- 参数式：如 /list/?page=2，实现简单，但要注意参数顺序、大小写和多余参数带来的重复。
- 滚动加载：前端自动追加内容，没有独立地址，抓取通常只能到第一屏为止。
- 按钮点击：用 JS 绑定点击事件翻页，翻页控件不是 a 标签，抓取链条容易断在这里。
分页导航自查清单
- 翻页链接是否是真链接。查看源码，确认「下一页」是 a 标签并带 href，而不是 span 加 onclick。只有真链接，路径才走得下去。
- 首尾页是否可达。很多站点只在底部放「下一页」，第 10 页之后要一路点过去。可以考虑补上「末页」或页码跳转，减少抓取深度。
- 参数是否统一。同一份列表，避免同时存在 ?page=2、?Page=2、?page=2&from=xxx 等多种写法。保留一种，其余用重定向或规范化收拢到主地址。
- 翻页页的标题是否有区分。如果第 2 页和第 1 页标题完全一样，在结果列表里看着像重复内容，可以带上页码或内容区间信息。
- 规范化指向是否自洽。每一页指向自己，不要把第 2 页之后的地址全部指回第 1 页。
- 空页与越界页。测试 page=99999 这类地址，确认返回 404 或跳回第一页，而不是空白页或大段无内容列表。
- 筛选与排序参数。颜色、价格、排序等条件组合出的地址数量可能非常庞大，建议只保留少数有检索价值的组合，其余不输出链接或单独控制。
- 移动端表现。手机上的翻页按钮是否容易点到，滚动加载是否提供了可分享、可回访的地址。
翻页与收录边界
不是所有翻页页都需要进入索引。内容量大的站点，可以让前若干页保留索引，之后的页面只作为抓取通道存在。常见做法有：
- 保留链接可抓取，但用 meta robots 的 noindex 控制收录。
- 对无意义的高页码设一个上限，超出后返回 404。
- 在分页导航里同时给出「上一页」和「下一页」，方便分辨序列方向。
如果站点同时存在列表页、聚合页和标签页，要留意它们之间的内容重叠程度，必要时把其中一个定为主入口，其余收敛过去。
放进固定的维护节奏
分页问题通常不是一次性解决的。栏目改版、模板调整、前端换框架，都可能让翻页链接回退成不可抓取的形态。可以把它放进巡检项里，每隔一段时间抽查几个栏目：打开一个列表，看第 1 页、中间某一页和最后一页，确认链接可抓、状态码正常、规范化指向正确、空页有兜底。
翻页的价值在于让内容有连续可走的路径，而不是制造无穷无尽的地址。把边界划清楚，比把所有页面都交出去更实际。