在蜘蛛池里，入口頁能不能被蜘蛛正常抓取和解析，很多人第一反應是看狀態碼：200、301、404。狀態碼当然重要，但蜘蛛拿到的不只是一個數字，還有一组 HTTP 响應头。响應头配得不對，頁面即使返回 200，也可能被誤判類型、反复重抓，或者因為缓存策略混乱而让蜘蛛白跑。
Content-Type：告诉蜘蛛這是什么
蜘蛛首先根據 Content-Type 判断资源類型。入口頁應该返回 text/html，並带上正确的字符集，例如 text/html; charset=utf-8。如果服務器错誤地返回 text/plain 或 application/octet-stream，蜘蛛可能不按 HTML 解析，頁面里的連結和正文就难以進入後續流程。
字符集也要和頁面實际编碼一致。声明 utf-8 但文件是 gb2312，容易出現乱碼，蜘蛛提取标题、正文时可能拿到错誤文本。检查方法很简單：用 curl -I 看响應头，再用浏览器查看頁面编碼是否一致。
Last-Modified 與 ETag：让蜘蛛知道有没有變
Last-Modified 表示頁面最後修改時間，ETag 是资源版本标识。蜘蛛再次来訪时，可能带上 If-Modified-Since 或 If-None-Match，如果内容没變，服務器返回 304，蜘蛛就知道不用重新下载正文。這能减少带宽和抓取消耗，也能让抓取配額用在更有變化的地方。
常见問题有两個：一是每次請求都動態生成目前時間，導致 Last-Modified 一直變，蜘蛛會以為頁面總在更新；二是時間设成未来，或者和實际内容修改時間差距太大，容易造成判断混乱。比較稳妥的做法是让 Last-Modified 跟随内容真實更新時間，不要在每次請求时刷新。
Cache-Control：影响缓存與重訪
Cache-Control 主要给中間缓存和客戶端看，但蜘蛛也會參考。對于入口頁，常见配置是 max-age=3600 或更短，表示一小时内可以直接用缓存。如果設定 no-store，每次都要回源，抓取频繁时會给服務器增加压力；如果設定過長的 max-age，頁面更新後蜘蛛可能延迟發現。
這里的取舍不是绝對的。入口頁更新不频繁，可以适当放長；内容變化快，就缩短。關键是不要一邊把 max-age 设成一年，一邊又指望蜘蛛很快看到改動。
其他容易踩坑的响應头
- Content-Length：長度和實际内容不符，可能让蜘蛛讀取中断。動態輸出时注意不要用错誤的手工設定。
- Vary：如果根據 UA 返回不同内容，要正确設定 Vary，否則缓存可能把蜘蛛版本和用戶版本混在一起。
- X-Robots-Tag：它可以在 HTTP 头里控制索引行為，優先級和 meta robots 類似。如果不小心寫了 noindex，頁面即使有連結也难進入索引。
- 重定向响應头：301、302 的 Location 要完整可訪問，跳轉鏈過長會消耗抓取预算。
响應头不是装饰，它决定了蜘蛛拿到頁面後的第一步判断。狀態碼正常，不代表解析路径正常。
實际检查與配置建议
- 用 curl -I 或浏览器開發者工具查看入口頁响應头，確認 Content-Type 和字符集。
- 對比頁面真實修改時間和 Last-Modified，避免每次請求都變。
- 检查 Cache-Control 是否與更新节奏匹配，不要無脑 no-store，也不要過長。
- 確認没有多余的 X-Robots-Tag: noindex 或错誤的 Vary 設定。
- 观察日誌里 304 的比例：如果几乎没有 304，可能是缓存头或條件請求没生效。
把這些响應头理顺，蜘蛛池的入口頁至少不會在“第一步”上被誤判。它不能保證收錄或排名，但能减少無谓的抓取浪費，让後續的連結發現和内容解析更顺畅。