很多人在蜘蛛池里加完一批入口页，第二天就去看日志，发现有的被爬了，有的连着几天没动静。于是开始怀疑域名不行、IP 被拉黑，或者干脆认为蜘蛛池没用。实际上，新入口页从上线到被爬，中间要过好几道关，任何一道没走通，抓取就不会发生。把这几步看明白，比反复换域名更省事。
爬虫发现新 URL 的三条常规路径
搜索引擎遇到一个陌生 URL，主要靠三种方式，蜘蛛池里的入口页也不例外。
- 已有页面的链接：如果这个入口页被某个已经被抓取的页面链出去，爬虫顺着链接就能找到它。这是最快的一条路，也是内部互链和外部引用真正起作用的地方。
- sitemap 与提交入口：通过站长平台提交或 sitemap 声明，相当于主动告诉爬虫这里有个新地址。但提交只是进入候选队列，并不等于马上抓。
- 同域名下的抓取带动：如果同一域名下已有页面在被稳定抓取，爬虫再次访问该域名时，可能顺带发现新链接。域名本身越活跃，这条路径越顺。
三条路都不通，入口页就只是躺在服务器上的一个文件，日志里不会有任何记录。
第一轮抓取为什么容易漏
就算被发现，抓取也未必发生在第一天，常见原因有几类。
抓取队列里的优先级
爬虫手里的 URL 是排队处理的，队列里还压着大量其他站点。新域名、新页面通常排在后面，除非有强信号把它提前，比如来自高活跃度页面的链接。
域名还很陌生
新注册域名没有历史抓取记录，爬虫会先用很小的配额试探。这时候即使来了，也可能只抓首页或一两个入口页，剩下的要等下一轮。这不是异常，是正常的观察过程。
入口页本身没有可抓内容
如果入口页只有一行跳转、一个空容器，或者内容全靠 JS 渲染而爬虫拿不到，抓取请求可能发出，但页面价值判定很低，后续就不再来了。
第一次响应的质量，决定它还会不会再来
爬虫第一次到访，看到的是服务器返回的那一份 HTML。这份响应里有几个信号很关键：
- 状态码：200 是正常；301、302 会消耗一次跳转；5xx 会被当成临时故障，可能重试；403 和 429 则容易被理解为不欢迎，直接压低后续访问频率。
- 响应时间：TTFB 长期偏慢，爬虫往往会主动降低抓取频率，把预算留给别的站点。
- 内容与链接：页面里有没有可解析的文字、有没有指向目标页的链接，决定这次抓取能不能顺带发现下一批 URL。
换句话说，第一次抓取更像一次接触，而不是一次抽奖。通过了，才有后续。很多人把精力都花在怎么让蜘蛛来，却忽略了来了之后给它看什么。
从日志里能看出的三件事
与其猜，不如看日志。重点看三样：
- UA 与频次：确认来的是真实爬虫而不是采集脚本，并观察同一 IP 段的时间分布，是集中来一次，还是持续回访。
- 状态码分布：如果大量 404、5xx 或 3xx，说明入口页本身有问题，先修这个，再谈扩量。
- 被抓取的 URL 列表：对比你期望的入口页清单，看哪些没被抓。没被抓的那部分，优先检查它是否真的被链接指向。
几个可落地的做法
- 新入口页上线后，先确保它被至少一个已被抓取的页面链接到，不要急着批量铺开。
- 入口页尽量返回稳定的 200，避免用 302 做常规分流。
- 把响应时间控制在合理范围，页面体积别做得太大。
- 分批上线并观察日志，根据实际抓取情况再决定是否扩量，而不是一次性全推。
- 给入口页留一点真实文本内容，哪怕很短，也胜过纯跳转的壳页面。
蜘蛛池能做的是提高被发现的概率，不能替爬虫做决定。抓取是否发生、是否持续，最终还是由页面质量、响应质量和域名整体信号共同决定的。
把第一轮抓取当成一次需要准备的接触，而不是一次碰运气，结果通常会稳定一些。