给蜘蛛池的入口頁套上 HTTPS 已经是預設動作，但“装了證书”和“證书對蜘蛛友好”是两件事。蜘蛛抓取时走的是标准 TLS 握手，任何證书层面的異常都會在握手阶段暴露出来，後面的一切内容都無從谈起。這篇把入口頁在 HTTPS 與證书配置上容易踩的坑梳理一遍。
證书出問题时蜘蛛會看到什么
蜘蛛不像浏览器那样會彈窗询問“是否繼續訪問”。遇到證书無效、過期或域名不匹配时，多數搜尋引擎蜘蛛會直接放弃這次抓取，把它记為一次失敗。少數情况下會在後台给出错誤提示，但對蜘蛛池這種批量入口頁来说，你往往看不到任何信号，只表現為抓取量下降。
更麻烦的是失敗的握手同样消耗時間。入口頁數量多、證书又普遍異常时，抓取预算會被大量無效請求吃掉，真正能拿到内容的頁面比例反而下降。
入口頁常见的證书問题
- 證书過期未續：批量域名最容易漏掉，尤其是分散在不同帳號下管理的域名。
- 域名不匹配：證书只簽了主域名，實际訪問的却是 www 或其他子域。
- 證书鏈不完整：只部署了站点證书，漏掉中間證书，浏览器可能自動补全，蜘蛛不一定。
- 自簽名證书：内部測試常用，對外提供入口頁时蜘蛛基本不會接受。
- 多域名證书覆盖不全：一張證书绑了一批域名，新增的入口頁忘了加入 SAN 列表。
- HTTP 與 HTTPS 都能訪問：两套内容並存，蜘蛛可能分別抓取，形成重复入口。
證书鏈與 SNI 這两個细节
證书鏈不完整是最隐蔽的一類問题。用浏览器打開一切正常，因為現代浏览器會尝试补全缺失的中間證书；但蜘蛛的抓取器不一定有同样的兼容逻辑，握手失敗就直接結束。检查方式是看服務端是否把站点證书和中間證书一起下發。
SNI 則是多域名共用同一 IP 时的關键。如果服務器不接受 SNI 扩展，蜘蛛在握手阶段拿到的可能是預設站点的證书，于是出現“證书和域名不匹配”的判定。同一個 IP 上挂多個入口頁域名时，建议確認服務端配置是否正确。
跳轉鏈要保持简短
證书部署好之後，還要看跳轉路径。常见配置是 http 跳到 https，再到 www 或最终入口頁，一轮下来两三次跳轉。每次跳轉都是一次額外請求，蜘蛛需要從头跟到尾。合理的做法是让最终入口頁只有一跳，並且直接指向 200 狀態的最终地址。
另外注意別出現 http 與 https 互相跳轉的循环，或者跳轉目标本身又是 30x。這類問题在批量配置时很容易出現，抓取日誌里會表現為同一個 URL 反复出現。
混合内容與资源加载
頁面本身是 HTTPS，但里面引用的图片、样式或脚本仍是 http 地址，就會形成混合内容。浏览器可能拦截，蜘蛛解析时也會遇到资源不可用。對入口頁来说，正文是主要目标，但模板里的公共资源如果全部加载失敗，頁面结构可能被判定為異常。批量模板更換域名时，记得全局替換资源連結的协议。
HSTS 與證书類型的取舍
HSTS 能强制浏览器走 HTTPS，但一旦設定較長有效期，回退會很麻烦。蜘蛛池入口頁域名经常需要調整、迁移甚至停用，如果對所有子域開啟長期 HSTS，後續變更會受限制。建议在入口頁域名上谨慎開啟，或使用較短的有效期。
證书類型上，通配符證书适合同一主域下大量子域的场景，多域名證书适合域名零散的情况。選擇时看的不是價格，而是後續新增入口頁时是否還要重新簽發。
日常检查清單
- 批量掃描所有入口頁域名，记錄證书到期時間並設定提前提醒。
- 用工具確認證书鏈完整，而不是只靠浏览器打開成功来判断。
- 確認每個域名訪問到的證书與請求域名一致，尤其是带 www 的情况。
- 检查跳轉鏈長度，尽量收敛到一跳直達最终地址。
- 批量替換模板中的 http 资源引用。
- 新增入口頁後，確認是否已包含在現有證书覆盖范围内。
證书問题不會立刻让站点消失，但它會让蜘蛛在门口就轉身离開。抓取量下滑又找不到内容层面的原因时，先检查一遍 TLS 握手。
小结
入口頁的 HTTPS 配置，本质上是让蜘蛛能顺利完成一次握手。證书有效、域名匹配、鏈路完整、跳轉简短，這四点做到了，剩下的才是内容和结构层面的事。