蜘蛛池的入口页经常做成列表页或分页目录，目的是让蜘蛛顺着链接一路发现更多 URL。但蜘蛛不是无底洞，它会在某个位置停住。理解它为什么停、在哪里停，比盲目增加分页数量更有用。
蜘蛛为什么不会一直翻下去
分页的本质是把一批 URL 拆成多页展示。蜘蛛每翻一页，就多一次请求、多一层抓取深度。抓取预算有限时，蜘蛛会优先处理它认为重要的页面。如果分页链接长得都差不多、内容也只是序号变化，蜘蛛很快会判断继续翻的价值不高。
另外，分页页面本身容易产生重复内容。同一列表的第 2 页、第 3 页，标题和描述如果只差一个数字，蜘蛛可能只保留其中一两页，其余不再深入。这不是惩罚，而是抓取效率的自然选择。
分页链接的几种常见写法
- 静态路径分页：如 /list/2/、/list/3/，路径清晰，蜘蛛容易识别层级，也方便控制深度。
- 查询参数分页：如 ?page=2、?p=3，实现简单，但参数过多时蜘蛛可能降低抓取意愿，也容易和筛选参数混在一起。
- JavaScript 加载更多：点击后才请求下一页，蜘蛛不一定触发，分页链接可能只存在于脚本里，发现效率最低。
- rel=next/prev：这是给蜘蛛的分页提示，但不是强制指令。它可以帮助蜘蛛理解序列关系，不能替代可抓取的链接。
如果入口页的主要任务是 URL 发现，静态路径分页通常更稳妥。参数分页则要注意不要把排序、筛选、会话 ID 等无关参数混进分页链接。
列表页里放多少链接合适
一页放多少条链接，没有统一标准。放得太少，蜘蛛要多翻很多页；放得太多，单页体积变大，蜘蛛解析和传递权重的效果会被稀释。常见做法是让首屏能看到主要链接，整页控制在几十到一百多条之间，具体看页面体积和服务器响应。
更重要的是链接的位置。正文区域的链接比页脚堆叠的链接更容易被蜘蛛当作有效路径。如果所有分页链接都塞在页脚，蜘蛛仍然能抓，但优先级会低一些。
控制蜘蛛翻页深度的几个做法
- 限制分页总页数，只保留最近若干页可翻，更早的分页可以归档到单独入口，避免蜘蛛在旧列表里耗尽预算。
- 保留上一页、下一页和首尾页链接，让蜘蛛有明确的路径感，减少迷路。
- 对分页页做 canonical 时，要明确指向第一页还是自身。如果每页内容差异明显，指向自身更合适；如果只是排序不同，可以指向主列表页。
- 在 sitemap 里只放重要的列表页和第一页，不必把每一页分页都提交，让蜘蛛自己决定是否深入。
- 用日志观察蜘蛛实际翻到了第几页，再决定是增加还是收紧分页。
几个容易踩的坑
- 无限滚动：用户滚动才加载新内容，蜘蛛看不到后续链接，等于把后半段 URL 藏了起来。
- 空列表页：翻到后面没有内容，却仍返回 200，蜘蛛会反复访问这些空页，浪费抓取次数。
- 重复标题：所有分页标题完全一样，蜘蛛难以判断哪一页更有价值。
- 分页链接带会话参数：同一页出现多个 URL 版本，蜘蛛可能重复抓取。
- 分页返回 404 或 500：蜘蛛会降低对整站的抓取频率，入口页的发现效率也会受影响。
分页不是越多越好。对蜘蛛池来说，让蜘蛛用有限的抓取次数走到真正有价值的入口页，比让它翻完所有列表更有意义。
最后，建议把分页当成一个需要持续观察的环节。通过日志看蜘蛛的访问路径、停留页数和重复访问情况，再调整每页链接数、分页写法和总页数。不同站点、不同蜘蛛的节奏不一样，照搬固定数值往往效果有限。