入口页要放的目标 URL 一多，分页几乎是自然选择。但很多人把链接铺到第十页、第二十页，搜索蜘蛛却只抓了前两三页，后面再也没动静。要判断是分页本身有问题，还是入口页整体质量不够，先把几个基础点拆开看。

分页链接必须能被正常发现和点击

搜索蜘蛛翻页的第一步，是能找到下一页的链接。分页导航如果被做成纯 JavaScript 事件、图片按钮或需要点击才加载，蜘蛛很可能看不到下一页。更稳妥的做法是使用普通的 a 标签，href 指向可访问的分页 URL。链接文字可以用“下一页”“第 2 页”这类明确表述，不要只放一个没有文本的图标。

分页 URL 本身也要返回正常状态码。如果第二页开始返回 403、404 或跳回首页，蜘蛛即使拿到链接，也不会继续深入。

每页放多少链接会影响翻页节奏

分页不是越多越好。每页链接数量太密，单页体积变大、响应变慢，蜘蛛可能来不及抓完就降低频率；每页只有一两条，又需要翻很多页才能触达目标，对入口页的抓取深度要求更高。常见做法是让每页保持在几十条以内，并保证页面主体内容能快速返回。

• 每页链接数量保持相对稳定，不要一页几百条、下一页只有几条；
• 优先把更重要的目标 URL 放在前几页，不要默认蜘蛛会翻到最后一页；
• 分页数量多时，配合 sitemap 提交部分深层 URL，不要只依赖分页导航。

页面差异和排序方式决定蜘蛛是否值得翻

如果每一页除了链接列表外几乎没有区别，蜘蛛可能把后续分页视为重复内容，翻页意愿自然下降。分页页面的标题、描述可以略有区分，但不要为了差异而堆砌无关文本。链接顺序也尽量稳定，避免每次访问都随机打乱，否则蜘蛛每次回访都像看到新页面，反而增加无效抓取。

分页的核心不是“多”，而是让搜索蜘蛛用较低成本找到下一批可抓取的 URL。

rel=next/prev 和无限滚动怎么处理

rel=next/prev 早已不是搜索蜘蛛唯一依赖的翻页信号，不能只写了标签就认为分页会被跟进。更重要的是页面里存在可点击、可解析的分页链接。无限滚动可以让用户浏览更顺，但蜘蛛通常不会主动滚动，最好保留传统分页入口作为兜底，或者在 HTML 中输出可抓取的下一页链接。

用日志判断蜘蛛翻页停在哪里

想知道搜索蜘蛛翻到第几页，最直接的是看服务器日志：按分页参数或路径分组，观察它请求了哪些页码、状态码是什么、两次翻页之间隔了多久。如果长期只出现第一页，先检查分页链接是否可抓取；如果前几页有请求但后续没有，再看响应速度、页面体积和每页链接数量。若日志里出现大量 5xx，先修稳定性，再谈翻页深度。

分页之外还需要注意什么

分页只是发现路径之一。入口页本身如果长期没有更新、没有外部链接指向、或者整体抓取频次在下降，分页做得再规范，搜索蜘蛛也未必会持续翻。可以把分页链接、sitemap、少量站内入口结合起来，并定期看日志里目标 URL 是否真正被请求，而不是只看入口页有没有被抓。

最后提醒一句：搜索蜘蛛翻不翻页、翻到第几页，没有固定答案，也不存在写完分页链接就保证收录的做法。把可抓取、响应稳定、页面有区分度这几件事做好，剩下的交给日志去验证。