入口頁才是被抓取的那一端
聊蜘蛛池时，很多人把注意力放在目标頁和投放量上，却忽略了一個事實：蜘蛛真正訪問的是入口頁。入口頁慢一拍，這一次抓取占用的连接和時間就多一分。抓取资源不是無限的，同一時間能建立的连接數有限，單個請求拖得越久，單位時間内能完成的訪問次數就越少。
所以入口頁的第一目标不是好看，而是快、稳、可预测。
TTFB 偏高會带来哪些连鎖反應
- 並發被占住：一個慢請求會占住一個连接槽位，其他請求只能排队。
- 抓取节奏變慢：同样的時間窗口里，能走完的入口頁變少。
- 超时與中断：响應過慢时，部分抓取會提前結束，目标頁自然到不了。
- 判断被带偏：慢不一定等于被限制，但两者表現相似，排查时容易走错方向。
需要說明的是，速度快並不會直接換来收錄或排名，它只是减少不必要的损耗。
哪些环节最容易拖慢入口頁
網絡與解析层
DNS 解析慢、多次跳轉、TLS 握手重来，都會把時間花在還没開始返回内容之前。入口頁如果使用泛解析或共享的解析服務，解析抖動的概率會更高。
服務端渲染與資料库
入口頁通常是模板化生成的，如果每次請求都去查資料库、拼装大段正文，TTFB 很容易被拉到几百毫秒甚至更久。静態化或加一层缓存，收益往往比換服務器更明顯。
頁面自身的外部资源
图片、外部字体、統計脚本、第三方广告位，這些對蜘蛛来说大多没有意义，却會让頁面整体加载變重。入口頁完全可以做成接近纯文本的极简结构。
一個可落地的排查顺序
- 直接用 curl 之類的工具請求入口頁，记錄 DNS、连接、TLS、首字节、總耗时各段資料。
- 對比不同入口頁：是普遍偏慢，還是集中在某几個域名或某台机器上。
- 對比不同时段：是否與某個批處理、备份或資料同步任務重叠。
- 關掉外部资源再测一次，確認瓶颈在頁面本身還是在服務端。
- 確認是服務端問题後，再逐一检查缓存、資料库查询、模板渲染哪一环最重。
按這個顺序走，能避免一上来就換服務器、換域名這類代價很高的動作。
几個容易被忽略的细节
- 入口頁數量一多，單頁的微小延迟會被放大，批量投放前值得先抽测一批。
- 响應头里的缓存策略如果不合理，回源次數會比预想的多。
- 跳轉尽量少，多一跳就多一次請求，慢頁面叠加起来更明顯。
- 入口頁不必承载完整内容，把体积降下来，速度通常會跟着改善。
- 用监控留痕，只靠临时測試很难發現長期的性能漂移。
把入口頁做轻，是成本最低的一步優化；它不會让效果凭空變好，但能让你投放的每一個連結少浪費一点抓取机會。