入口页能返回链接，不代表搜索蜘蛛每次都会等它返回。响应时间是抓取调度里的一道硬门槛：超时就断开，断开就没有解析，也就谈不上发现链接。
发现目标 URL 分几步，超时卡在最前面
搜索蜘蛛处理一个入口页，大致会经历：发起请求 → 等待响应 → 下载并解析 HTML → 提取链接 → 进入待抓取队列。入口页响应慢，卡住的是前面两步。请求发出后长时间没有首字节返回，或者传输过程断断续续，蜘蛛通常不会无限等待，会主动放弃这次抓取。页面内容没拿到，里面写了多少链接都不起作用。
慢到什么程度算慢
不同搜索引擎、不同抓取类型的容忍度并不一样，没必要去背一个精确秒数。可以按下面这个思路理解：
- 首字节时间长期偏慢，入口页被中途放弃的概率会明显上升；
- 整体下载时间过长，即使最终返回 200，也可能只抓到不完整的内容；
- 间歇性超时往往比稳定地慢更糟，蜘蛛拿不到稳定信号，会降低对整站的抓取意愿。
除了超时，慢还有两个副作用
第一是抓取频次下降。蜘蛛会参考历史响应表现安排下一次访问，入口页经常慢，调度就容易把它往后排，新链接的发现节奏被拉长。第二是抓取预算被消耗。同样的配额，花在等待上的时间多了，能真正抓到并解析的页面就少了。
入口页变慢的常见原因
- 每次请求都实时查库、现场拼接列表，没有做缓存；
- 页面里引用了外部统计、字体、图片等资源，阻塞了整页输出；
- 同一时间被大量请求压住，出口带宽被占满；
- CDN 回源异常，边缘节点一直在等源站；
- 入口页走了多层重定向，每跳一次都要重新等待。
按这个顺序排查
- 用命令行工具看响应时间和首字节时间，区分是偶发一次还是持续如此；
- 确认入口页是否走缓存，能不能改成静态输出或短周期预生成；
- 检查是否存在重定向或多层跳转，尽量压成一跳直达；
- 翻服务器日志里搜索蜘蛛的请求，看是否大量出现超时或中断；
- 条件允许时把入口页与主站分开部署，避免互相抢资源。
响应速度只是让搜索蜘蛛愿意把页面抓完，抓完也不等于目标 URL 一定被收录。抓取、索引、排名是三件不同的事。
一个容易被忽略的细节
有些入口页为了防采集，会对搜索蜘蛛返回空内容或故意拖慢响应，结果连自己的链接也一起没暴露出去。如果这个页面的作用本来就是让搜索引擎发现 URL，那对它保持稳定、快速的普通响应，比叠加各种识别门槛更有意义。
最后提醒一句：入口页的响应表现要看长期趋势，而不是某一次的秒级波动。先把稳定性和缓存做好，再谈链接结构和内容层面的优化，顺序反了，效果通常不明显。