入口页要放的目标链接一多，很多人第一反应就是分页：第一页放几十条，后面依次 ?page=2、?page=3，既清爽又看起来规范。但分页不是免检标签，搜索蜘蛛会不会往后翻，取决于翻页链路本身能不能被抓到，以及它愿不愿意把抓取额度花在后面的页面上。
搜索蜘蛛怎么看分页
对搜索蜘蛛来说，如果分页页之间靠普通链接连起来，它和站内其他链接没有本质区别：只要链接出现在 HTML 里、href 可以解析，就有机会被发现和抓取。差别在于优先级——同一批页面里，第一页通常先被抓，后面的页面要靠上一页的链接“带路”，链路越长，被翻到的概率越低。
所以分页能把 URL 塞进入口页，但不能保证每条 URL 都拿到一次抓取。它更像是把发现路径变窄了，而不是变宽了。
这几种分页写法容易被跳过
- 用按钮代替链接：下一页是 button 元素或带 onclick 的 span，没有可解析的 href，搜索蜘蛛找不到通向第二页的路径。
- 点击后才加载：翻页内容由 JavaScript 请求接口再渲染，抓取端不执行脚本时看不到后续链接。
- 用表单或 POST 翻页：表单提交不属于常规链接抓取路径，后续页很难被主动跟进。
- hash 分页：把 ?page=2 写成 #page=2，片段部分不会发给服务器，等同于始终停在第一页。
- canonical 指向第一页：后续页被声明为第一页的副本，链接虽然可能被读到，但页面本身不会被当成独立抓取目标。
- 后续页被 robots 或 noindex 拦住：页面进不去，页里放的链接自然也难以被发现。
翻页深度对抓取的影响
翻页越深，单个链接分到的抓取机会越少。常见的两个问题：一是把新加的目标 URL 全部堆在最后一页，等待时间被拉长；二是每页只放几条链接，翻十几页才能覆盖完，链路长、效率低。
比较稳妥的做法是把分页当作辅助入口，而不是唯一入口：需要尽快被发现的目标 URL 放在第一页或独立的链接页，历史链接再往后排。入口页更像扩散通道，不是仓库，不必把所有链接都锁在深页里。
自查与调整建议
- 用浏览器禁用 JavaScript 后打开入口页，看下一页链接是否还留在 HTML 中。
- 检查翻页链接是不是标准 a 标签，href 是否为完整可访问地址。
- 确认后续页没有被 robots.txt、meta robots 或 WAF 拦掉。
- 把单页链接数控制在可读范围内，避免一页塞进几百条。
- 在抓取日志里按路径统计分页页面的访问情况，看搜索蜘蛛实际翻到了第几页。
- 如果翻页长期没有访问记录，优先考虑改为第一页集中展示，或做更扁平的链接列表。
分页解决的是页面长度问题，不是抓取优先级问题。想让新 URL 更快被发现，减少层级通常比增加页数更有效。
最后提醒一句：即便分页写得完全规范，也不代表每条目标 URL 都会被立刻抓取。抓取节奏由搜索蜘蛛自己判断，我们能做的是让路径清晰、层级浅、链接真实可见，然后通过日志观察实际效果，再决定要不要调整排布方式。