列表页往往是一个站点里数量最多的页面类型。做蜘蛛池投放时，很多人的首页和详情页安排得很细，轮到列表页分页就随手把一整串 URL 丢进入口页。结果要么抓取预算被大量低价值分页吃掉，要么真正需要被发现的分页一直没有动静。
先分清哪类分页值得被发现
列表页分页大致分两类：一类是内容持续产出、翻页后仍有独立价值的，比如分类页、标签聚合页；另一类只是展示方式，翻到很后面内容价值已经很低。投放前先给自己一个判断：这一页如果被单独搜到，用户是否愿意点进去？愿意，就值得进清单；不愿意，就没必要占用入口页的位置。
另外要注意，有些站点的分页是“加载更多”形式的无限滚动，翻页地址不会出现在 HTML 里。这种结构下，搜索蜘蛛很难顺着入口页走到后续分页，需要先补一个可抓取的 a 标签分页导航，再谈投放。
入口页该链到哪些分页
- 优先投放一级列表页和核心分类的第一页；
- 每个分类只放前两到三页分页，后面的交给站内分页导航自然发现；
- 分页地址带上完整参数，不要写成省略参数的简写形式；
- 同一批清单里，避免把同一个分类的第一页到第五十页全部塞进一个入口页。
分页链接的写法要注意什么
常见问题是分页链接靠 JS 拼参数或者 onclick 事件触发，HTML 源码里拿不到真实地址。搜索蜘蛛执行脚本的能力有限，遇到这种情况通常不会继续跟进。建议分页导航统一用静态链接写法，href 指向完整可访问的地址，并且每一页都能独立打开。
如果站点用 rel=next / rel=prev 标注分页，可以保留，但不要把它当成替代方案。它只是一种提示，并不保证搜索蜘蛛按这个顺序抓取，入口页里的真实链接才是主要的发现路径。
参数与重复内容怎么处理
带参数的列表页容易被搜索引擎视为同一页面的多个变体。排序参数、筛选参数、会话参数叠在一起，会产出大量近似地址。投放前先做一次归一化：
- 去掉会话类和追踪类参数，例如 utm、sid；
- 排序、筛选参数如果内容差异不大，只保留默认排序版本；
- 检查 canonical 是否指向自身，避免所有分页的 canonical 都指向第一页，导致后续分页被合并。
如果确实希望后续分页被单独抓取，canonical 指向自身更合适；如果只想让搜索引擎知道内容主体在第一页，就没必要把分页大量投放。
投放节奏怎么安排
- 第一次先投少量核心分类的分页，观察抓取日志；
- 确认搜索蜘蛛能正常跟进后，再按分类分批补充；
- 分页清单按周维护，新增栏目再补投，不要一次全量重投。
怎么确认搜索蜘蛛跟进了分页
最直接的方式是看服务器日志里对应分页地址的访问记录，并按 UA 区分搜索蜘蛛和其他爬虫。如果入口页有访问、分页没有访问，多半是分页链接写法或可访问性问题，而不是投放量不够。也可以用抓取工具在关闭 JS 的情况下模拟一次，看分页导航是否还能看到。
分页投放的关键不是投得多，而是让搜索蜘蛛沿着一条走得通、读得懂的路径，走到真正有价值的页面上。