站点從 HTTP 切到 HTTPS 之後,很多事情並不會自動變好。證书到期、頁面里混着舊协议的图片和脚本、HTTP 與 HTTPS 長期並存,這些問题往往不會立刻报错,却可能在爬虫訪問时表現為「抓到的頁面不完整」或「同一内容两套地址」。這篇把 HTTPS 相關的自查点集中捋一遍,适合在改版、換服務器、續費證书前後對照检查。
先看證书本身
證书是整條鏈路的地基,如果它有問题,後面的頁面優化都無從谈起。重点看三件事:有效期、域名覆盖、證书鏈是否完整。
- 有效期:證书到期是最常见的翻车原因。建议在到期前 30 天設定提醒,而不是等浏览器彈出警告才處理。
- 域名覆盖:確認證书包含主域名、www 子域名,以及你實际用到的其他子域。只簽了 example.com 却让蜘蛛訪問 www.example.com,就會出現證书不匹配。
- 中間證书:有些服務器只装了站点證书,没有装中間證书。桌面浏览器可能自動补鏈,但爬虫和一些老客戶端不會,结果是握手失敗。可以用在线工具或本地命令检查鏈是否完整。
HTTP 與 HTTPS 是否都能打開
切到 HTTPS 之後,原 HTTP 地址不應该繼續返回 200 並輸出完整内容。理想狀態是:HTTP 全部 301 到對應的 HTTPS 地址,且只跳一次,不做多級跳轉。
常见問题是只跳了首頁,栏目頁和内頁的 HTTP 版本仍然可訪問,于是同一篇内容存在两個地址,權重和抓取都分散了。检查方法很简單:随机抽几條内頁,手動把 https 改成 http 看返回碼。
混合内容:頁面看着正常,抓取可能不完整
混合内容指 HTTPS 頁面里引用了 HTTP 资源,比如图片、JS、CSS、字体或 iframe。浏览器會拦截部分资源,頁面看起来「样式丢了」或「图片裂了」,蜘蛛抓到的版本也可能缺内容。
排查思路可以按這几個方向走:
- 用開發者工具的 Network 面板,篩選 http:// 開头的請求,逐條確認来源。
- 重点检查編輯器留下的富文本内容、第三方統計代碼、CDN 上引用的老资源。
- 資料库里存了大量 http:// 連結时,批量替換要谨慎,先备份再操作。
HSTS 要谨慎開啟
HSTS 告诉浏览器「以後這個域名只用 HTTPS 訪問」。它能减少跳轉、提升安全性,但一旦開啟並附带較長有效期,回退成本很高:如果證书出問题,用戶在有效期内可能無法通過点击「繼續訪問」绕開警告。
建议先确保全站 HTTPS 稳定執行一段時間,再開啟 HSTS,並且先從較短的有效期開始,確認無誤後再逐步延長。
一份可执行的检查顺序
- 检查證书有效期與域名覆盖,確認中間證书完整。
- 抽查首頁、栏目頁、内頁的 HTTP 版本是否 301 到 HTTPS。
- 確認 www 與非 www、大小寫等變体最终都指向同一個地址。
- 排查頁面内是否還有 http:// 资源引用。
- 检查 Sitemap、robots.txt、canonical 里的地址是否都已统一為 HTTPS。
- 观察一段時間日誌,看是否還有大量請求落在舊协议地址上。
HTTPS 不是一次性任務。證书會到期,頁面會被編輯,第三方代碼會被更換。把這些检查点放進改版清單或季度巡检里,比出事之後临时补救省力得多。
安全协议的配置本身不直接决定排名,但它影响蜘蛛能否稳定、完整地拿到你的頁面。把基础打牢,後面的内容和结构優化才有意义。