做蜘蛛池时，最让人困惑的不是蜘蛛不来，而是日志里明明有访问记录，目标 URL 却迟迟没有被抓取。这种情况可以叫无效抓取：蜘蛛确实进了入口页，但没有沿着页面上的链接继续走。它不一定是池子坏了，更多时候是入口页、链路或蜘蛛自身策略中的某一环出了问题。
先明确无效抓取的判断依据
不要只看入口页的访问次数。把日志里同一 IP 或同一 UA 的访问序列拉出来，看它是否请求了入口页，是否请求了页面里的静态资源，是否出现了后续目标页请求。如果只有入口页的 200，没有资源请求，也没有跳转或链接点击，基本可以归入无效抓取。把这类记录单独标出来，比笼统看总抓取量更有用。
常见原因
链接对蜘蛛不可见
入口页大量使用 JS 渲染、链接放在折叠区域、用按钮代替 a 标签，或者链接被 CSS 隐藏，都可能导致蜘蛛看到的是空页面。蜘蛛抓取的是 HTML 源码，不是浏览器渲染后的结果，这一点在排查时经常被忽略。
响应与状态码不合适
入口页返回 302 跳转到目标页，但目标页又跳回入口页；或者入口页返回 200 但内容是验证码、空模板、错误提示；又或者服务器对蜘蛛 IP 返回 403、429。蜘蛛拿到这些响应后，往往不会继续跟链接。
抓取预算与深度限制
搜索引擎对每个站点的抓取是有预算的。如果入口页里塞了几千条链接，蜘蛛可能只挑其中一小部分，剩下的链接即使存在也不会被立即抓取。入口页链接数量过多、目标页质量参差，都会让无效抓取的比例升高。
指令与规则拦截
robots.txt 里的 Disallow、页面 meta 里的 nofollow、链接上的 rel=nofollow，都会明确告诉蜘蛛不要跟。还有一种情况是 robots.txt 本身返回 5xx，蜘蛛可能暂时停止抓取整个目录。
排查顺序
- 用文本浏览器或查看源码，确认入口页的链接在 HTML 里真实存在，而不是渲染后才出现。
- 模拟蜘蛛 UA 请求入口页，检查返回状态码、响应体长度和内容是否正常。
- 检查 robots.txt 是否可访问、是否误拦了入口页或目标页路径。
- 查看页面里的链接是否带 nofollow、是否用了 JS 跳转或 meta 刷新。
- 从日志中确认蜘蛛是否请求过静态资源，判断它是只抓了入口页还是完整加载。
- 控制入口页链接数量，把重点目标放在更靠前、更显眼的位置。
调整建议
- 入口页尽量稳定返回 200，正文里用普通的 a 标签输出目标链接。
- 一次入口页上的链接不要过多，优先放当前最需要发现的目标页。
- 不要用 302、JS 跳转和 meta 刷新层层套娃，蜘蛛跟不了几跳就会放弃。
- 用日志观察调整后的变化，关注目标页是否开始出现请求，而不是只看入口页访问量。
- 如果多个入口页共用同一套模板和链接，先改一个做对照，确认有效再铺开。
无效抓取不是单一故障，更像一个信号。它提醒你去看入口页是否对蜘蛛友好、链接是否真实可跟、抓取预算是否被浪费。
把无效抓取的比例降下来，蜘蛛池的利用率才会提高。与其反复增加入口页数量，不如先把现有入口页的链接可见性、响应状态和链接数量控制好，让每一次蜘蛛访问都更有可能走到目标页。