分类页、栏目页、标签页和归档页通常靠翻页来展开内容。翻页是蜘蛛进入深层内容的通道，也是重复地址的高发区。翻页规则没理顺，抓取会消耗在几十个近似页面上，真正需要被发现的内容反而迟迟排不上队。
先盘清站内有哪些翻页
分页不只出现在分类列表。动手前先列出所有会产生翻页的位置：
- 栏目与分类列表页
- 标签、专题等聚合页
- 站内搜索结果页
- 文章评论的分页与“加载更多”
- 按时间归档的月份、年份列表
- 商品或资源的筛选结果列表
把它们按重要程度排序：通往核心内容的列表优先梳理，纯聚合、低价值的列表可以合并或收敛。
分页自查要点
1. 翻页链接是真实可点的链接
页码和“下一页”应以 a 标签呈现，href 指向具体地址。只靠 JavaScript 按钮触发、地址不变化的翻页，蜘蛛往往走不到第二页之后。同时确认同一页只有一种地址形式，避免 /list/page/2 与 /list?page=2 两个版本同时存在。
2. 每页条目数与总页数
每页条数太少，页数被拉长，深层内容离首页越来越远；太多则单页体积大、下载慢。多数站点把每页控制在 20 到 50 条之间比较折中，并尽量让重要内容在前三到五页内出现。翻页到几十页之后仍无有效内容时，考虑收敛列表口径，而不是继续加页。
3. “查看全部”与无限滚动
“查看全部”会生成体积很大的单页，适合内容量有限的栏目，不适合成千上万条的分类。无限滚动对用户友好，但蜘蛛通常不会滚动页面，需要提供分页地址作为兜底，或者让首屏之后的内容能通过链接抵达。
4. 分页的标题与规范地址
翻页页面的标题不必与第一页完全相同，可以带上页码或区分词，避免几十个页面共用同一个标题。关于 canonical：把第二页之后的翻页全部指向列表第一页是一种常见做法，但后续页面上的内容会因此难以被单独发现。更稳妥的方式是让翻页页面指向自身，或至少不要把全部翻页压到一个地址上。
5. 翻页导航是否好用
检查翻页控件是否包含上一页、下一页、页码以及当前页标识；移动端是否还能点到；翻到最后一页后是否有明确出口。用户和蜘蛛都需要一条能进能出的路径。
常见误区
- 列表第一页存在两个地址，内容相同却没有明确的指向关系。
- 翻页链接带上一串排序、筛选、追踪参数，同一页出现多个版本。
- 整站给翻页页面加 noindex，却忽略这些页面上还有指向深层内容的链接。
- 分页地址由前端路由动态生成，服务器返回的仍是列表第一页内容。
- 把翻页内容全部堆到第一页，用户和蜘蛛都被长列表淹没。
落地顺序
- 从服务器日志或站点地图中抽出站内所有翻页地址，统计数量与层级深度。
- 确认每类列表的目标页面数量，重新设定每页条目数。
- 统一翻页地址格式，清理重复版本与带参数版本。
- 调整翻页页面的标题与 canonical 策略，改完抽查几个栏目做对比。
- 在搜索资源平台的抓取统计里观察翻页地址占比是否下降。
翻页不是越多越好，也不是全部挡住就省事。它是一条通道：把蜘蛛顺利送到内容页，同时别让它在同一个列表里反复打转。
分页自查不必一次改完。先挑一个内容最多的栏目做试点，观察抓取分布和收录情况，再逐步推广到其他列表。改动前后留一份记录，方便日后回溯是哪次调整带来了变化。