列表页的第一页往往是全站流量最集中的地方,第二页之后的访问量会迅速下滑。这本身不算异常,但如果连站内路径都断掉了,那么沉淀在列表深处的旧内容就几乎等于不存在。分页导航看起来只是「上一页 / 下一页」两个按钮,实际牵扯到链接可抓性、URL 唯一性、翻页深度和内容归档几个问题。
分页常见的问题
先把容易出问题的地方列出来,再逐条对照自己的站点。
- 用脚本拼接翻页:按钮是 div 或 span,点击后靠脚本请求数据,链接里没有真正的地址,蜘蛛顺不下去。
- 分页 URL 不统一:同一页在不同入口下变成 /page/2、?page=2、?paged=2 多种形式,内容重复。
- 「下一页」指向第一页:最后一页的按钮没做禁用,仍然指回自身或首页,形成循环。
- 翻页深度失控:上百分页全部可点,蜘蛛把大量抓取额度花在几乎没人看的深层列表上。
- 参数随意附加:排序、筛选、每页条数等参数与分页叠加,生成大量内容相近的地址。
一份可以照着做的自查清单
- 禁用 JavaScript 后重新打开列表页,确认「下一页」仍是可点击的 a 标签,而不是点了没反应的按钮。
- 查看分页链接的 href,确认是完整地址,而不是 # 或脚本占位符。
- 确认全站分页只有一种 URL 规则,别让路径式和参数式同时存在。
- 点开最后一页,确认「下一页」已经禁用或消失,不会再次指回第一页。
- 检查排序、筛选参数与分页叠加后是否产生大量相近页面,必要时限制参数组合被大量抓取。
- 看列表页每页条数,过少会让翻页层数变多,过多则单页体积偏大,按内容类型挑一个折中值。
- 确认分页链接有正常的锚文本,而不是全部叫「点击这里」或「更多」。
- 从站内搜索或站点地图找回几篇旧文,确认它们至少能从列表页或归档页走到。
翻页深度怎么控制
不是所有内容都值得无限翻下去。对时效性强的新闻列表,前几页价值最高,后面的可以逐步收窄;对教程、资料类栏目,可以保留较深的翻页,但最好同时提供按分类、标签或时间归档的入口,让旧内容有另一条路径可达。
如果某个列表已经积压了几百页,与其纠结分页本身,不如考虑把内容拆到更细的栏目,或者用归档页把同一类内容收拢。结构清楚之后,分页深度自然会降下来。
蜘蛛抓取与分页的关系
蜘蛛进入一个列表页,靠的是页面里的链接逐层往下。如果第二页只能通过脚本触发,那么它看到的就只是一个内容有限的页面。反过来,也不需要为了让每页都被抓取而堆砌大量无意义的分页链接——入口清楚、路径不重复,比数量更重要。
分页的目的不是让蜘蛛翻到最后一页,而是让有用的内容在站内有清晰的路径可达。抓取深度是结果,不是目标。
几个容易忽略的细节
- 分页页面不要和正文页共用同一套标题模板,否则会出现几十个几乎一样的标题。
- 移动端常用「加载更多」,检查它在无脚本时是否留下一个指向下一页的链接。
- 列表页摘要如果全站统一截断,考虑是否给每篇内容留下有区分的开头。
- 改版或换模板后,旧的翻页地址要能正常跳转,别直接变成错误页面。
分页是站内路径里最不起眼的一环,却决定了大量旧内容能不能被找到。花半小时走一遍上面的清单,通常就能发现几处一直没说清楚的地方。改完之后,记得隔一段时间再回来看一次,模板更新或参数调整都可能让问题重新出现。