很多做蜘蛛池的人会盯着日志看两件事：入口页有没有被搜索蜘蛛访问，目标 URL 有没有被抓。当入口页被访问了、链接也被解析到了，但目标 URL 迟迟没有出现在日志里，就容易得出“入口页没用”的结论。实际上，从链接被发现到真正发起抓取请求，中间是有一段不确定的等待的。理解这段等待，比反复换入口页更有用。
发现和抓取是两个独立动作
搜索蜘蛛访问入口页时，做的是读取和解析：它拿到 HTML，抽出链接，把这些 URL 放进待抓取列表。真正抓取目标 URL 是后面另一件事，可能由同一只蜘蛛在几分钟后完成，也可能排进队列等更久。所以“发现”只能说明 URL 进入了候选池，不等于马上被请求。
待抓取队列不是一个先进先出的队列
队列里同时躺着大量 URL，调度时会参考多种因素：站点整体权重、页面历史更新频率、URL 结构是否干净、此前是否被抓过、返回过什么状态码等。同样是入口页里放出来的链接，落在不同域名下，等待时间差很多是很正常的。
常见的“卡在等待”的原因
- 目标域名此前抓取体验差，比如经常超时、返回 5xx，调度会主动放慢。
- 目标域名抓取配额已经被其他 URL 占满，新发现的 URL 要排队。
- 链接出现在入口页很靠后的位置，或者入口页体积过大，解析时被截断。
- 入口页本身质量太低，链接虽被读到，但来源页没有被认为值得继续跟进。
- 同一目标 URL 在短时间内被大量入口页重复指向，反而触发去重，只保留一次待抓。
这些原因里，只有一部分和入口页写法有关，另一部分取决于目标站点自身的情况。把两类问题混在一起，就容易误判。
可以按什么顺序排查
- 先确认入口页确实被访问，且响应码是 200，返回内容里能看到链接。
- 再看链接是不是可被解析的 a 标签，href 是完整可访问地址，没有被脚本二次改写。
- 然后单独查目标 URL：是否被 robots.txt 拦截、能否正常返回 200、服务器响应时间是否过长。
- 接着看目标域名整体的抓取情况，如果这个域名本来就很少被抓，等待时间长属于正常。
- 最后再考虑入口页的多样性，用不同域名、不同路径的入口页分散指向，而不是同一个入口页反复堆链接。
减少重复指向，比增加指向数量更有意义
不少人习惯把一个目标 URL 挂到很多入口页上，认为越多越保险。实际结果往往是这些入口页互相之间没有增量信息，调度侧只把它当成同一个 URL 的多条来源记录。与其堆数量，不如让入口页本身有一定内容差异，并且保持稳定可访问。
发现只是把门推开一条缝，抓取是另一回事。入口页能做的是提高被读到的概率，不能替代目标站点自身的可抓取性。
记录比猜测更有效
如果长期在做这类测试，建议固定记录几项：入口页访问时间、目标 URL 首次被发现的时间、实际被抓的时间、返回状态码。有了这几列数据，一段时间后就能看出大致规律——是入口页没被读，还是读了但目标域名本身不被待见。凭感觉换入口页，通常只是把同一个问题重复一遍。