入口页把链接放出去之后，很多人的预期是“蜘蛛看到就会爬”。实际日志里更常见的情况是：入口页已经被访问了，目标 URL 却要等上几小时甚至几天才出现第一次抓取，有的干脆一直没来。要判断这属于正常现象还是故障，需要先把“发现”和“抓取”分开看。
发现、抓取、索引是三个独立环节
搜索蜘蛛读到入口页 HTML 里的链接，只完成了发现：它把 URL 记下来，放进待抓取队列。之后是抓取，也就是真正向目标站发请求、取回内容。最后才是索引，决定这个 URL 是否进入搜索结果。三个环节各有各的瓶颈，而入口页通常只能影响第一步。
所以“蜘蛛没来”这个描述本身太粗。要区分是链接没被发现，还是发现了但排队慢，还是抓了却没被收录。几件事混在一起讨论，很容易把入口页改来改去却看不到效果。
从发现到抓取，中间要过哪些环节
链接入库与去重
蜘蛛解析出一个 URL 后，会先做规范化处理：合并跟踪参数、统一大小写与结尾斜杠、跟随跳转确定最终地址。如果同一个目标 URL 在池子里以多种写法出现，多出来的部分通常会被当成重复项合并。这也是为什么同一批目标 URL 分散在多个入口页时，日志里的抓取次数往往不会按入口页数量成倍增长。
排队与优先级
待抓取队列不是先来先服务。目标站的响应速度、历史抓取成功率、页面本身的重要程度，都会影响它排在什么位置。一个长期响应慢或经常报错的站点，即使被大量发现，抓取节奏也会被压下来。
重试与退避
第一次抓取失败（超时、5xx、连接被重置）通常不会立刻放弃，而是按退避策略延后重试。如果目标 URL 连续多次失败，间隔会越拉越长，日志上看起来就像“来过一次就再也不来了”。
为什么日志里只有一部分链接被访问
- 入口页的链接数远大于该目标站能分到的抓取额度，剩下的只能慢慢排队；
- 目标 URL 本身重复，被去重后只保留一份；
- 链接位于需要执行脚本才会出现的位置，实际并未进入发现队列；
- 目标站返回 4xx 或 5xx 较多，触发退避，抓取被主动放缓；
- 入口页自身的抓取频次偏低，新链接入库自然也慢。
一套从日志出发的排查顺序
- 先确认入口页有没有被正常抓取，返回码是不是 200；
- 再看入口页被抓取的时间点，是否明显晚于你放链接的时间；
- 查目标 URL 是否出现过任何一次访问记录，哪怕这次是失败的；
- 出现过一次的，重点看返回码和目标站的响应时间；
- 一次都没出现的，先检查链接是否真的在初始 HTML 里；
- 最后再评估入口页数量与目标 URL 总量的比例是否严重失衡。
能主动做的几件事
- 把目标 URL 放在初始 HTML 的靠前位置，减少被中途截断的可能；
- 同一目标 URL 在池内保持一致的写法，减少无意义的重复项；
- 保证目标站可稳定访问，避免连续失败把重试间隔拉长；
- 入口页本身保持轻量、响应稳定，让它被访问得更勤一些；
- 记录每次新增 URL 的时间，用日志验证而不是凭感觉判断。
发现只是起点。把“没被发现”和“发现了但没轮到”分开之后，多数所谓蜘蛛不来的问题，处理方向会清楚很多。