做蜘蛛池时，很多人把注意力放在 URL 结构、内容质量和連結层級上，却很少检查入口頁返回的 HTTP 响應头。實际上，蜘蛛在解析 HTML 之前，先讀到的是狀態行和响應头。這些字段會影响它是否繼續解析、是否缓存頁面、隔多久再来，以及是否把頁面纳入後續抓取队列。
為什么响應头值得單獨看
响應头是服務器與蜘蛛之間的第一层對话。狀態碼告诉蜘蛛請求结果，Content-Type 告诉它怎么解碼，缓存相關字段告诉它下次要不要重新請求，X-Robots-Tag 則可以直接改變頁面的索引和跟随行為。入口頁數量一多，任何一個字段配置不一致，都可能在日誌里表現為抓取異常或重复請求。
几個容易踩坑的字段
Content-Type 與字符集
入口頁最好是 text/html; charset=utf-8。如果 Content-Type 缺失、寫成 text/plain，或者字符集與實际编碼不一致，蜘蛛可能無法正确解析頁面里的連結。中文入口頁尤其要注意，编碼声明错誤會让連結文本和 URL 提取出現偏差。
Cache-Control 與 Expires
這两個字段影响蜘蛛再次訪問的間隔。如果入口頁設定了很長的 max-age，蜘蛛可能在一段時間内不再回訪，新增或更新的連結就难以及时被發現。對于需要频繁轮換的入口頁，建议設定較短的缓存時間，或者用 no-cache、must-revalidate 让蜘蛛每次回源確認。但也不要全部设成 no-store，否則每次請求都完整拉取，會增加服務器压力。
Last-Modified 與 ETag
這两個字段用于协商缓存。蜘蛛再次請求时，如果带上 If-Modified-Since 或 If-None-Match，服務器可以返回 304，告诉它頁面没變。304 能减少传輸量，但如果入口頁内容经常變，而 Last-Modified 没有同步更新，蜘蛛可能誤以為頁面没變，從而错過新連結。建议让這两個字段與實际内容更新保持一致，不要長期返回固定值。
X-Robots-Tag
X-Robots-Tag 可以在响應头里寫 noindex、nofollow、noarchive 等指令，效果和 meta 标簽類似，但優先級和适用范围不同。常见誤区是：只在 meta 里寫 noindex，却忘了响應头里還有一條 noindex；或者反過来，以為响應头只對目前 URL 生效，實际上它可能被繼承到同目錄下的其他资源。排查时要把响應头和頁面 meta 一起看。
Retry-After 與 429、503
当入口頁触發限流或临时维護时，返回 429 或 503 並带上 Retry-After，可以告诉蜘蛛多久之後再来。這比直接返回 403 或 404 更合适，因為後两者可能让蜘蛛降低對整站的抓取频率，甚至移除已有連結。注意 Retry-After 的時間不要設定得過長，否則蜘蛛可能真的很久不回来；也不要滥用 503，長期返回 503 會被视為站点不可用。
Set-Cookie 與 Vary
如果入口頁對每個請求都下發 Set-Cookie，蜘蛛可能會因為 Cookie 變化而把同一 URL 视為不同狀態，增加重复抓取。Vary 字段則告诉蜘蛛缓存键包含哪些請求头。如果 Vary 設定過宽，比如 Vary: User-Agent，可能導致同一入口頁按不同 UA 缓存多份，影响命中率。蜘蛛池入口頁通常不需要复杂的 Cookie 和 Vary 策略，保持简單更稳妥。
常见誤区
- 只看狀態碼，不看其他头：200 不代表蜘蛛一定能正确解析和繼續抓取。
- 所有入口頁用同一套缓存策略：更新频率不同的頁面應该区別對待。
- 用 403 代替 429：限流场景下，403 更容易让蜘蛛誤判為永久拒绝。
- X-Robots-Tag 和 meta 指令冲突：两者不一致时，蜘蛛可能按更嚴格的执行，導致入口頁不被索引或不传递連結。
排查顺序建议
- 先用 curl 或浏览器開發者工具查看入口頁的完整响應头，確認狀態碼和 Content-Type。
- 检查 Cache-Control、Expires、Last-Modified、ETag 是否與頁面更新节奏匹配。
- 核對 X-Robots-Tag 與頁面 meta 中的 robots 指令是否一致。
- 查看是否有不必要的 Set-Cookie 和過宽的 Vary。
- 如果日誌里出現大量 429、503，检查 Retry-After 是否合理，以及限流規則是否誤伤正常蜘蛛。
响應头不是配置一次就不用管的東西。入口頁轮換、内容更新、服務器迁移时，都值得重新看一眼這些字段，避免蜘蛛因為一個小字段而少抓或错抓。
把响應头纳入日常检查清單，不會立刻带来收錄或排名變化，但能减少無效抓取和重复請求，让蜘蛛池的入口頁更稳定地承担 URL 發現的任務。尤其当入口頁規模較大时，统一、清晰的响應头策略比事後從日誌里逐個排查要省力得多。