為什么入口頁值得單獨看 CDN 和缓存
蜘蛛池的入口頁通常有几個共同特点：數量多、域名分散、單頁内容不复杂、更新频率不高。這些特点决定了它對服務器压力的敏感程度，也决定了 CDN 和缓存能發挥多大作用。蜘蛛抓取一個入口頁时，先要完成解析、建连、握手，然後才是拿到响應内容。如果每個請求都回源到源站，源站要處理的並發就會随入口頁數量上升，超时、5xx、响應變慢的概率也會跟着變大。
CDN 在這里的作用不是“加速排名”，而是把重复請求拦在离蜘蛛更近的节点上，让源站只處理真正需要回源的那部分。對入口頁来说，這是一层稳定性保障，而不是效果手段。
命中率、回源與抓取稳定性
缓存命中率和抓取成功率之間是間接關系，可以這样理解：
- 命中率高，源站压力小，响應時間稳定，蜘蛛在不同時間拿到的狀態碼更一致；
- 命中率低，回源频繁，源站一旦扛不住就會吐 5xx，同一批入口頁的可用性會明顯波動；
- 但如果缓存把偶發的错誤狀態碼也存住，反而會在一段時間内持續對外輸出错誤结果。
所以目标不是把命中率做到最高，而是命中率高、错誤缓存少、回源可控。
Cache-Control 與响應头的基本配置
入口頁内容一般不需要秒級更新，比較常见的做法是：
- Cache-Control：给一個中等長度的 max-age，同时用 s-maxage 單獨控制节点缓存時間，两者分開便于後續調整；
- 不要用 no-store：入口頁一旦设成 no-store，每次抓取都回源，相当于自己把 CDN 關掉；
- Vary 头要谨慎：如果 Vary 里带上 User-Agent，节点缓存會被拆成很多份，命中率骤降，輸出也會不稳定；
- 错誤狀態碼：5xx 建议短缓存或不缓存，避免一次抖動被放大成持續不可用。
回源环节最容易出問题的地方
- URL 里带随机參數或時間戳，每個請求都是新地址，缓存永遠不命中，等于直连源站；
- 回源超时設定過短，源站稍慢一点就返回 502，蜘蛛看到的是错誤頁；
- 源站返回 200 但内容是错誤提示頁，蜘蛛會当成正常頁面處理；
- 同一域名一部分走 CDN、一部分直连，线路不一致，抓取结果也可能不一致。
要不要按蜘蛛 UA 做特殊處理
有些做法是识別到搜尋蜘蛛就强制回源，或者绕過缓存返回一份“专门给蜘蛛看的版本”。這两類操作風險都不低：
- 强制回源：等于把 CDN 對蜘蛛屏蔽，源站压力集中在這部分請求上；
- 返回不同内容：和普通訪客看到的差异過大时，容易被認為是作弊，入口頁本身也可能因此失去價值。
更稳妥的做法是让蜘蛛和普通訪客走同一套缓存與内容逻辑，只在日誌层面区分，用来观测抓取情况。
几個常见誤区
- 以為上了 CDN 收錄就會變好：它只影响可訪問性和响應速度，不影响内容质量；
- 缓存時間拉得很長却频繁改内容：蜘蛛拿到的還是舊版本，更新迟迟不生效；
- 整站開缓存却忘了排除後台或接口路径，導致資料错乱；
- 只测了浏览器訪問，没测蜘蛛 UA 和不同节点的返回结果。
入口頁的 CDN 配置，先保證稳定、可预期，再谈快不快。
一份可执行的检查清單
- 確認入口頁狀態碼在节点與源站一致，都是 200；
- 给 HTML 設定合理的 max-age 與 s-maxage，避免 no-store；
- 检查 Vary 头，避免因 UA 把缓存拆散；
- 统一 URL，去掉無意义的随机參數；
- 5xx 短缓存，4xx 按语义處理；
- 回源超时给足，避免源站稍慢就报错；
- 用不同节点、不同 UA 各测一次，確認返回内容一致；
- 保留日誌，观察回源比例與错誤率的變化。
這些配置不會直接带来收錄或排名，但能把入口頁的可用性做扎實，减少因訪問层問题導致的抓取失敗。最终效果仍然取决于内容、结构和目标頁本身。