列表页和分页往往是站点里最容易被忽略的部分。首页、栏目页、文章页通常有人盯着，但“第 5 页之后”的页面，可能链接写错了、参数混乱、内容重复，甚至根本抓不到。对于靠蜘蛛发现 URL 的站点来说，分页路径是否清楚，会直接影响旧内容还能不能被翻出来。
先确认分页到底长什么样
不同站点的分页实现差别很大，先把自己站点的类型对号入座：
- 路径式分页：如 /list/page/2/，结构清楚，每页有独立地址。
- 参数式分页：如 /list?page=2，可用，但要留意参数顺序和大小写是否统一。
- 按钮加载：点击“加载更多”后用 JS 追加内容，地址栏不变。
- 无限滚动：滚动到底自动加载，没有可点击的下一页链接。
路径式和参数式对抓取更友好，后两种如果只靠脚本，蜘蛛通常只能看到第一屏内容。可以用“查看源代码”或抓取工具确认：分页链接是否以 a 标签出现在 HTML 里。
分页自查的六个点
- 每页是否有独立 URL。如果第二页、第三页共用同一个地址，蜘蛛就没有入口继续往下翻。
- 是否有上一页/下一页链接。不要只放数字页码，上一页、下一页的文字链接更明确。
- 分页链接是否可点击。用键盘 Tab 能聚焦，鼠标能点开，而不是只能靠脚本跳转。
- 列表页标题是否重复。如果所有分页的 title 都一样，建议至少体现“第 N 页”，但不必堆关键词。
- 空页和超出范围的页码。访问 /page/999 时返回 404 还是空白 200？返回 404 更干净，避免蜘蛛反复抓空列表。
- 排序参数是否被大量抓取。?order=asc、?order=desc 这类参数如果都能访问，容易产生多份相似列表。可以用 robots.txt 或参数处理规则收敛。
别让旧内容埋在翻页深处
分页越深，蜘蛛到达的概率越低。一个栏目如果一年积累几千条内容，按每页 10 条算，第 300 页基本不会被访问。与其指望蜘蛛翻到底，不如在栏目规划上做几件事：
- 给重要旧文做专题聚合页或年度归档页，用人工入口替代深层翻页。
- 在文章底部放相关阅读，把旧内容从详情页串起来。
- 把热门内容或编辑推荐做成固定模块，不依赖时间排序。
- 控制列表每页数量，避免单页过重，也不要少到需要翻几十页。
列表页本身也要像入口一样维护
列表页不只是文章标题的堆叠。它需要有自己的摘要、分类说明或筛选维度，让页面有独立价值。如果列表页只是机械地搬运标题，和搜索结果页、标签页大量重复，收录价值会打折扣。
另外，列表页的更新频率通常高于文章页。如果栏目内容更新了，列表页却缓存很久，蜘蛛来了看到的是旧列表，新文章链接也发现不了。可以在缓存策略里对列表页单独设置较短的过期时间。
检查与维护习惯
不需要每天翻一遍所有分页，可以按月做一次抽查：
- 随机点开几个栏目，翻到第 2、3 页，确认链接正常。
- 用站点地图或日志，看看分页地址是否被抓取过。
- 如果改过分页规则，检查旧地址是否还能访问，必要时做跳转。
- 清理长期没有内容的空栏目，避免产生空列表页。
分页的作用是让内容可发现，不是制造更多可抓取地址。页面数量多不等于结构好，能把旧内容送到入口面前才算有效。
把分页和列表页当成站点结构的一部分来打理，比一味增加内容更容易看到效果。蜘蛛的抓取预算有限，路径清楚、入口明确，才有机会让更多页面被看到。