很多人盯着日志看，发现搜索蜘蛛确实来过入口页，也顺着链接爬到了目标 URL 上，但之后就再没动静。这时候容易得出“蜘蛛池没用”的结论，其实更常见的原因是：发现和抓取是两件独立的事，被看到不等于被排队抓取，更不等于被收录。
发现与抓取，中间还隔着几道门
搜索蜘蛛在入口页提取到链接，只完成了“知道这个 URL 存在”这一步。接下来它要把这个 URL 放进待抓取队列，等待调度。队列里的 URL 数量通常远超蜘蛛每天的抓取能力，所以真正决定来不来抓的，是优先级和配额，而不是链接本身写得好不好。
- 优先级：入口页自身的抓取频次、页面更新频率、目标 URL 是否被多个入口重复指向。
- 配额：站点整体每天能被抓多少次，入口页占得越多，留给目标 URL 的次数越少。
- 可抓性：目标 URL 的响应速度、状态码、是否被登录或验证码拦截。
几个最常见的卡点
入口页把配额吃掉了
如果入口页数量很多、页面内容却很薄，蜘蛛每次来访都要消耗抓取预算去重复读取几乎没有变化的页面，留给目标 URL 的次数自然被压缩。这时候与其继续加入口页，不如先看看入口页是不是在被反复无效抓取。
入口页给出的信号太弱
链接藏在深层 DOM、靠 JS 拼接、被折叠或隐藏，都会让链接在提取阶段就漏掉一部分。即使提取到了，如果入口页自身长期不更新、外链和内链都很少，这条 URL 在队列里的权重也不会高。
目标 URL 自己有问题
返回 5xx、超时、重定向链条过长、robots.txt 不允许抓取、页面主体靠前端渲染而蜘蛛拿不到内容，都会让蜘蛛在一次尝试后降低回访意愿。这类问题往往表现为“第一次来过，之后再也不来”。
站点整体抓取频次被压低
如果同一个域名下大量页面质量差、重复度高、死链多，站点的整体抓取频次会下降，新 URL 的等待时间随之变长。这属于站点级别的信号，单靠几个入口页很难扭转。
用日志判断卡在哪一步
- 按 URL 分组统计入口页和目标 URL 的抓取次数、状态码、首次抓取时间。
- 看目标 URL 是否出现过：完全没出现过，问题在发现环节；出现过一两次就停了，问题更可能在抓取或质量环节。
- 对比入口页与目标 URL 的抓取比例，判断配额是否被入口页过度占用。
- 检查目标 URL 的响应时间分布，排除间歇性超时。
- 确认 robots.txt、meta robots、HTTP 头之间没有互相冲突的指令。
可以尝试的调整
- 减少低质量入口页的数量，把链接集中在少数有更新、有实质内容的页面上。
- 给目标 URL 提供稳定的内链路径，不要只依赖单一入口。
- 压缩跳转层级，尽量让蜘蛛一跳到达。
- 保证目标 URL 服务端能渲染出主要内容，响应时间控制在合理范围。
- 用 sitemap 补充重要 URL，并保持 lastmod 真实可信。
抓取频次和抓取队列的调度规则由搜索引擎自己决定，任何外部手段都只能提高被发现的概率，无法保证什么时候被抓、是否被收录。把精力放在站点的可抓性和内容质量上，通常比堆入口页更稳定。
小结
目标 URL 被发现后不来抓，先别急着加更多入口页。按“发现—排队—抓取—渲染”的顺序排查，多数问题能定位到具体一环：要么是配额被占用，要么是目标 URL 本身让蜘蛛不愿意再来。