从 DNS 到首字节：蜘蛛请求一个 URL 时，哪一步最容易卡住

很多人排查抓取问题，习惯从内容层面入手：内链够不够、Sitemap 全不全、页面有没有重复。但蜘蛛能不能拿到页面，第一步其实发生在内容之前——它得先把请求发出去，并且完整地收到响应。这一段链路里任何一环出问题，反映到抓取统计上都是“抓取量下降”，可原因完全不同。

一次抓取要走的几步

把蜘蛛当成一个普通的 HTTP 客户端，它访问一个 URL 大致会经过这些环节：

其中前面几步是“不产生页面内容”的纯开销。它们快，蜘蛛就能在同样的时间里多抓几个页面；它们慢或者失败，蜘蛛连内容都看不到。

DNS 是最容易被忽略的一环。它通常很快，但一旦出问题，影响面比服务器本身还大：

这类问题的特点是“时好时坏”，日志里能看到一部分抓取成功、一部分直接连不上。

HTTPS 站点在拿到页面之前还要过证书这一关。常见的坑包括：

这类问题往往表现为整站抓取骤降，而不是某几个页面出问题。

服务器收到请求后多久吐出第一个字节，直接决定蜘蛛这一次抓取要占用多久的连接。首字节慢，常见原因有：

首字节之后，响应体要完整传完才算一次成功抓取。连接被中途重置、响应体被截断、返回的长度声明和实际内容对不上，都会让蜘蛛拿到半截页面。半截页面里的链接自然也是残缺的，这会直接影响后续的 URL 发现。

不需要额外工具，几份现成的数据就能大致定位：

抓取量下降时，先确认蜘蛛能不能正常拿到完整的响应，再去查内容和内链。顺序反了，容易在没问题的地方反复改。

归根结底，URL 发现和内容质量决定蜘蛛“愿意抓多少”，而这条从 DNS 到首字节的链路决定蜘蛛“能不能抓到”。两者都顺的时候，抓取量的变化才更接近内容层面的真实反馈。