很多人用蜘蛛池投放一批目标 URL 后，去日志里查，发现入口页有搜索蜘蛛访问记录，但目标页迟迟没有动静，就以为蜘蛛池没用。其实发现和抓取是两件事：蜘蛛到了入口页，不代表它一定会顺着链接进入目标页。中间可能卡在链接、页面状态、抓取配额或入口页质量上。
先确认蜘蛛是否真的到了入口页
排查第一步不是看目标页，而是看入口页的服务器日志。筛选搜索引擎的 UA 和 IP 段，确认入口页是否返回 200，是否有抓取记录。如果入口页本身就没被抓，问题出在入口页的发现和可访问性上，跟目标页关系不大。
如果入口页有抓取记录，但日志里找不到目标 URL，说明蜘蛛至少来过，但可能没有跟进链接，或者跟进后立刻放弃了。这时候要往下查。
常见的几类卡点
链接本身不可达
入口页上的链接写错、协议不对、重定向链太长、目标页响应超时，都会让蜘蛛跟到一半就停下。可以直接在浏览器无痕模式下打开入口页，看目标链接是否能正常跳转，返回码是不是 200。
- 链接指向的域名解析失败或证书错误；
- 目标页返回 5xx 或长时间无响应；
- 链接经过多次 301/302 跳转，最后落到无关页面；
- 目标页需要登录、验证码或被 WAF 拦截。
链接被标记为不跟进
入口页源码里如果给链接加了 nofollow，或者页面头部有 robots meta 限制，蜘蛛可能不会继续跟过去。有些 CMS 或插件会自动给外链加 nofollow，投放前最好检查一下入口页的实际输出。
目标页返回状态异常
目标页返回 404、软 404、403、429、503，都会影响蜘蛛的跟进意愿。403 和 429 通常意味着被拒绝或限流；503 表示服务暂时不可用。蜘蛛遇到这些状态，可能会降低抓取频次，甚至暂时不再访问该域名下的页面。
抓取配额和频次限制
搜索引擎对每个站点的抓取量有大致预算，会优先抓取它认为重要的页面。新 URL 或深层页面可能排在后面。如果站点本身抓取频次很低，即便入口页被抓，目标页也可能要等很久才轮得到。
入口页质量偏低
入口页如果内容很少、大量重复、链接堆砌，或者只是纯列表没有上下文，蜘蛛来几次之后可能就不太愿意继续跟进。入口页不需要多复杂，但至少要能正常渲染，链接不要过于集中和重复。
一个实用的排查顺序
- 看日志：搜索蜘蛛是否抓了入口页，返回码是什么；
- 查链接：入口页上的目标链接是否可达，状态码和响应时间是否正常；
- 看源码：入口页是否有 nofollow、robots meta，链接是否由 JS 动态生成；
- 查目标页：robots.txt 是否禁止抓取，是否有登录墙、验证码或地域限制；
- 看返回码：目标页是否存在软 404、403、429、503 等问题；
- 看整体抓取：站点近期抓取频次是否下降，是否被限流；
- 对比 sitemap 和内链：蜘蛛是否从其他路径抓到了目标页，如果其他路径能抓，问题可能只在入口页。
要不要继续投放
如果入口页没被抓，先换入口页或调整入口页结构；如果入口页被抓但目标页不抓，优先修目标页的可访问性和内容质量；如果目标页已经被抓但没收录，那是收录判断的问题，继续投放未必能改变结果，应该先看页面本身是否值得收录。
蜘蛛池解决的是“发现”环节，不负责保证“抓取”和“收录”。先保证链接可达、页面可抓，再考虑投放量。
投放后观察日志是最直接的反馈。按上面的顺序一项项排查，比盲目增加投放量更有用。如果入口页和目标页都没有明显问题，再考虑分批投放、调整入口页类型或补充内链。