入口頁能返回連結，不代表搜尋蜘蛛每次都會等它返回。响應時間是抓取調度里的一道硬门槛：超时就断開，断開就没有解析，也就谈不上發現連結。
發現目标 URL 分几步，超时卡在最前面
搜尋蜘蛛處理一個入口頁，大致會经歷：發起請求 → 等待响應 → 下载並解析 HTML → 提取連結 → 進入待抓取队列。入口頁响應慢，卡住的是前面两步。請求發出後長時間没有首字节返回，或者传輸過程断断續續，蜘蛛通常不會無限等待，會主動放弃這次抓取。頁面内容没拿到，里面寫了多少連結都不起作用。
慢到什么程度算慢
不同搜尋引擎、不同抓取類型的容忍度並不一样，没必要去背一個精确秒數。可以按下面這個思路理解：
- 首字节時間長期偏慢，入口頁被中途放弃的概率會明顯上升；
- 整体下载時間過長，即使最终返回 200，也可能只抓到不完整的内容；
- 間歇性超时往往比稳定地慢更糟，蜘蛛拿不到稳定信号，會降低對整站的抓取意愿。
除了超时，慢還有两個副作用
第一是抓取频次下降。蜘蛛會參考歷史响應表現安排下一次訪問，入口頁经常慢，調度就容易把它往後排，新連結的發現节奏被拉長。第二是抓取预算被消耗。同样的配額，花在等待上的時間多了，能真正抓到並解析的頁面就少了。
入口頁變慢的常见原因
- 每次請求都實时查库、現场拼接列表，没有做缓存；
- 頁面里引用了外部統計、字体、图片等资源，阻塞了整頁輸出；
- 同一時間被大量請求压住，出口带宽被占满；
- CDN 回源異常，邊缘节点一直在等源站；
- 入口頁走了多层重定向，每跳一次都要重新等待。
按這個顺序排查
- 用命令行工具看响應時間和首字节時間，区分是偶發一次還是持續如此；
- 確認入口頁是否走缓存，能不能改成静態輸出或短周期预生成；
- 检查是否存在重定向或多层跳轉，尽量压成一跳直達；
- 翻服務器日誌里搜尋蜘蛛的請求，看是否大量出現超时或中断；
- 條件允许时把入口頁與主站分開部署，避免互相抢资源。
响應速度只是让搜尋蜘蛛愿意把頁面抓完，抓完也不等于目标 URL 一定被收錄。抓取、索引、排名是三件不同的事。
一個容易被忽略的细节
有些入口頁為了防采集，會對搜尋蜘蛛返回空内容或故意拖慢响應，结果连自己的連結也一起没暴露出去。如果這個頁面的作用本来就是让搜尋引擎發現 URL，那對它保持稳定、快速的普通响應，比叠加各種识別门槛更有意义。
最後提醒一句：入口頁的响應表現要看長期趋势，而不是某一次的秒級波動。先把稳定性和缓存做好，再谈連結结构和内容层面的優化，顺序反了，效果通常不明顯。