入口页被搜索蜘蛛访问过，日志里能看到请求，但目标页始终没有抓取记录，这是蜘蛛池运营里最常见的一类反馈。问题可能出在入口页这一端，也可能出在目标页那一端，还可能是抓取节奏和配额的问题。按顺序排查，比反复更换入口页更有效。
先分清“被发现”和“被安排抓取”
搜索蜘蛛读到入口页里的链接，只代表这个 URL 进入了它的待处理列表。真正发起抓取，还要看目标 URL 的优先级、目标站点的抓取配额，以及目标页返回的状态码。所以日志里入口页有访问、目标页没有访问，本身并不一定是故障。
第一步：确认入口页确实被搜索蜘蛛抓取
- 用真实 IP 反查确认是搜索蜘蛛，而不是只匹配 UA 字符串。
- 确认状态码是 200，并且返回的 HTML 里确实包含目标链接。
- 注意日志里是否只有对静态资源或 HEAD 的请求，那不等于页面正文被抓取。
第二步：确认目标 URL 是否在日志中出现
如果入口页和目标页不同域，需要到目标站点的日志里查。目标 URL 一次都没出现，问题多半在入口页的可抓取性；出现过但状态码异常，问题在目标页；出现过且返回 200、之后却不再抓取，通常是抓取频率问题，而不是发现失败。
入口页一侧常见的断点
- 链接由 JavaScript 渲染，返回的原始 HTML 里没有 href。
- 链接带 rel="nofollow"，或整页处于 noindex 状态，跟进意愿降低。
- 入口页返回非 200，或被 CDN、WAF 拦截，蜘蛛拿到的不是你想给的内容。
- 目标链接被 robots.txt 屏蔽，或被 meta robots 挡住。
- 单页堆了过多链接，蜘蛛只处理其中一部分。
目标页一侧的门槛
- 目标页自身 robots.txt 屏蔽、返回 404 或 5xx，响应时间过长导致抓取中断。
- 跳转链条过长，或存在循环跳转。
- 目标页与入口页主题差异过大，蜘蛛对链接的评价降低。这点不必过度解读，但长期大量无关链接确实不利。
- 目标站点整体可抓取质量偏低，抓取配额被站内其他页面占满。
抓取配额与时间差
新发现的 URL 未必马上被抓。站点规模小、抓取配额有限时，从发现到抓取隔上几天属于正常现象。观察周期建议拉长到一到两周，而不是一两天没记录就推翻入口页方案。让入口页本身保持一定的更新频率也有帮助，更新频繁的页面更容易被反复访问，链接也更容易被顺带处理。
蜘蛛池能做的只是把 URL 放到蜘蛛面前。抓不抓、抓几次、要不要收录，由目标页质量和搜索引擎决定，任何声称能保证收录的做法都不值得信。
一套可执行的验证流程
- 选一个入口页和一个目标 URL 做单点测试，避免整批改动后分不清原因。
- 用抓取工具模拟搜索蜘蛛，确认返回的 HTML 里能看到目标 href。
- 检查目标 URL 的 robots、状态码、跳转链和响应时间。
- 观察两到四周日志，记录发现、首次抓取、再次抓取的时间点。
- 每次只调整一个变量，再观察结果，避免同时改动多个因素。
多数“入口页抓了、目标页不动”的情况，最终都落在目标页状态异常或抓取配额不足这两类原因上。把日志看仔细，比不断更换入口页域名更有价值。