網站從HTTP迁移到HTTPS後，经常會出現两種协议同时可訪問的情况。很多站点後台會看到搜尋蜘蛛同时抓取http://和https://開头的URL，導致URL發現混乱、抓取资源浪費，甚至收錄时權重被分散。本文將梳理搜尋蜘蛛對HTTP與HTTPS两種版本的真實處理方式，並给出合理的規范建议。

搜尋蜘蛛對HTTP和HTTPS的預設態度

搜尋引擎蜘蛛本身並没有明顯的偏好，它只是跟随連結去發現頁面。如果站点内的連結既有http://又有https://，或者外部連結同时指向两個版本，蜘蛛就會把它們当成两個不同的URL去抓取。對于同一個頁面，它會分別建立两條抓取记錄，後續收錄时也可能同时存在两個URL，白白消耗站点的抓取配額。

不過，如今主流搜尋引擎都清楚HTTP與HTTPS的区別。如果站点只在https版部署了SSL證书，而http版返回301跳轉到https，那么蜘蛛會按照跳轉關系，把權重和抓取行為集中到https版。相反，如果两個版本都返回200，且頁面内容一样，蜘蛛就會認為它們属于重复内容，可能需要自己判定哪一個是規范版本。

双协议並存會带来哪些實际問题

• 抓取配額浪費：蜘蛛會用一部分額度去抓取HTTP版頁面，而它原本可以更集中地抓取HTTPS版，這會让重要頁面被漏抓的概率增加。
• URL發現混乱：站内導航、图片連結、脚本文件等如果寫死了某個协议，會導致頁面源碼里混合出現两種URL，蜘蛛在解析时會跟着抓取大量非必要地址。
• 權重分散：两個URL指向同一内容，虽然搜尋引擎最终可能選擇其中一個，但在選擇過程中外鏈、内鏈權重都會被分散，不利于核心關鍵詞快速获得稳定排名。
• 統計失真：服務器日誌中同一頁面會以两條URL记錄，影响對抓取量、狀態碼和異常情况的判断。

如何统一URL，让搜尋蜘蛛只抓一個版本

規范双协议的關键是只保留一個官方版本，並且让所有入口都指向它。常见做法如下：

1. 在HTTP版做301跳轉到HTTPS

為http版全站配置301跳轉，將連結、參數甚至根域名都指向對應的https連結。這是目前最直接、最容易被蜘蛛理解的方式。跳轉後，蜘蛛訪問http連結时會立刻收到301狀態碼，並跟随到新的https地址，長時間執行後，舊HTTP連結會逐渐從索引中登出。

2. 添加Canonical标簽，声明規范頁面

除了301，還可以在每個頁面的head区加上rel="canonical"标簽，明确指向https版本的URL。這样即便蜘蛛從某個角落抓到了http頁面，看到canonical後也會明白規范的頁面是哪個，减少重复收錄的風險。注意，canonical是建议，不是强制，最好與301配合使用。

3. 開啟HSTS並预加载

给服務器配置HSTS（HTTP嚴格传輸安全协议），告诉浏览器强制使用HTTPS訪問，這样用戶和脚本产生的請求都會自動變為https。同时，可以在HSTS预加载列表提交自己的域名，让支持该列表的浏览器直接使用HTTPS，從源头上减少http訪問。

4. 统一站内連結

把内部連結、图片、CSS/JS文件地址全部改成相對路径或https绝對地址，避免源碼中出現http開头的资源請求。建议在模板和資料库中彻底排查，更換為统一协议後再更新上线。

5. 使用HTTP到HTTPS的站点地图推送

在搜尋引擎的站長平台中，重新提交https版本的站点地图。這能帮助蜘蛛尽快發現新URL入口，並知道後續應该以https為主。主動推送工具同样只提交https頁面。

配置完成後需要注意什么？

切換或统一协议並不是一次性工作。完成上述配置後，建议持續观察搜尋蜘蛛日誌，確認是否還存在http URL的抓取。同时要關注http頁面原有的外鏈，因為外鏈無法直接控制，搜尋引擎可能需要較長時間才能完全只抓https版本。期間通過站長平台的抓取異常工具检查是否有大量301跳轉错誤，以及首頁的响應碼是否正常。

還需注意別急着刪除http站点。有些站点為了彻底轉向https，直接關停http服務，返回连接错誤，這反而會让搜尋引擎在過渡期受到干扰。稳妥的做法是保留http服務，並一直做好301，等到索引中几乎看不到http版本後，再考虑彻底關閉。

對于站点运营而言，统一URL协议是基础工作，而不是可選項。让搜尋蜘蛛稳定地只發現並抓取一套URL，既有利于抓取配額的高效利用，也能為後續的收錄和排序打下良好基础。

如果你發現自己在蜘蛛池环境中測試的站点出現了大量http和https抓取记錄，不妨先检查是否完成了上述規范化處理。否則，即便你推送了更多URL，蜘蛛仍然可能被分散到两個版本中去。