蜘蛛来访时，实际发生的事比想象中机械：先做域名解析和连接，再发请求，然后等服务器把第一个字节吐出来，最后才是读取内容。前面这几步如果拖太久，后面的内容再规整，蜘蛛也可能已经走了。
响应耗时是蜘蛛看到的第一件事
蜘蛛对单个 URL 的等待是有上限的，各家搜索引擎的阈值不完全一样，但共同点是：连接超时、读取超时之后，这次抓取就算失败。失败本身不算致命，问题在于它会累积印象——一个入口站长期响应慢、频繁超时，抓取频率通常会被压低。
可以关注两个数：首字节时间（TTFB）和整页传输完成时间。前者更多由服务器、数据库、动态程序决定，后者还受页面体积和带宽影响。入口页本身是个轻量页面，正常配置下这两项都不该成为瓶颈；如果日志里大量出现“连接超时”或抓取耗时明显偏长，先查服务器，而不是怀疑蜘蛛。
并发与限速：别把蜘蛛挡在门外
有些运营者担心蜘蛛把服务器打满，于是在 Nginx 或防火墙层面限制单 IP 并发。这个动作本身合理，但阈值要留够空间。
- 并发限制过紧，蜘蛛的多线程抓取会被大量拒绝，日志里出现成片的 429 或 503。
- 返回 503 且不带 Retry-After，蜘蛛只能按自己的策略退避，节奏容易进一步变慢。
- 带宽被其他业务占满时，蜘蛛拿到的是“能连上但很慢”，比直接拒绝更消耗抓取预算。
更稳妥的做法是给入口站单独留出一份资源，而不是和主站抢同一台机器、同一条带宽。入口页承载的只是引路的功能，不需要复杂逻辑，静态化或加一层缓存通常就能把响应压到很低。
蜘蛛的来访是有节奏的
把访问日志按小时聚合，多数入口站会看到明显的波峰波谷。有的蜘蛛集中在夜间，有的全天分布较均匀。这个节奏可以作为调整内容更新、日志观察和服务器维护窗口的依据。
尽量不要在蜘蛛活跃时段做大规模重启、迁移或改配置，这段时间失败率会明显高于平时，而蜘蛛并不区分“你在维护”和“你的站不稳定”。
一个入口站如果长期在蜘蛛活跃时段掉线或超时，抓取量的下降通常是渐进的，等发现时往往已经过了一两周。
几个容易被忽略的细节
- 重定向链太长。一次跳转就是一次额外请求，多次跳转叠加起来，耗时会成倍增长。入口页到目标页，尽量一跳到位。
- 外部资源拖慢首屏。统计脚本、字体、第三方接口在蜘蛛侧同样会被请求，某一个卡住，整页完成时间就被拉长。
- 只盯状态码。返回 200 但响应时间很长，和返回 200 且很快，对蜘蛛的意义并不相同，前者更容易被降频。
- 日志不留存。没有日志就无法判断响应耗时和失败率的趋势，只能凭感觉调。
可以落地的几条建议
- 把入口页做成静态或强缓存页面，减少动态查询。
- 给入口站单独规划带宽和连接数，不与其他业务混用。
- 在日志里记录响应耗时，按周看趋势，而不是只看当天是否正常。
- 限速规则给蜘蛛留出余量，宁可让它抓得慢一点，也不要成片拒绝。
- 遇到异常流量时，先分清是蜘蛛还是采集工具，再决定拦谁。
入口页的价值是让蜘蛛顺畅地进门并继续往下走，响应耗时和抓取节奏属于地基层面的事。这部分不出问题，后面讨论链接、内容、URL 形态才有意义；地基不稳，其他优化很容易被浪费掉。