网站从HTTP迁移到HTTPS后，经常会出现两种协议同时可访问的情况。很多站点后台会看到搜索蜘蛛同时抓取http://和https://开头的URL，导致URL发现混乱、抓取资源浪费，甚至收录时权重被分散。本文将梳理搜索蜘蛛对HTTP与HTTPS两种版本的真实处理方式，并给出合理的规范建议。

搜索蜘蛛对HTTP和HTTPS的默认态度

搜索引擎蜘蛛本身并没有明显的偏好，它只是跟随链接去发现页面。如果站点内的链接既有http://又有https://，或者外部链接同时指向两个版本，蜘蛛就会把它们当成两个不同的URL去抓取。对于同一个页面，它会分别建立两条抓取记录，后续收录时也可能同时存在两个URL，白白消耗站点的抓取配额。

不过，如今主流搜索引擎都清楚HTTP与HTTPS的区别。如果站点只在https版部署了SSL证书，而http版返回301跳转到https，那么蜘蛛会按照跳转关系，把权重和抓取行为集中到https版。相反，如果两个版本都返回200，且页面内容一样，蜘蛛就会认为它们属于重复内容，可能需要自己判定哪一个是规范版本。

双协议并存会带来哪些实际问题

• 抓取配额浪费：蜘蛛会用一部分额度去抓取HTTP版页面，而它原本可以更集中地抓取HTTPS版，这会让重要页面被漏抓的概率增加。
• URL发现混乱：站内导航、图片链接、脚本文件等如果写死了某个协议，会导致页面源码里混合出现两种URL，蜘蛛在解析时会跟着抓取大量非必要地址。
• 权重分散：两个URL指向同一内容，虽然搜索引擎最终可能选择其中一个，但在选择过程中外链、内链权重都会被分散，不利于核心关键词快速获得稳定排名。
• 统计失真：服务器日志中同一页面会以两条URL记录，影响对抓取量、状态码和异常情况的判断。

如何统一URL，让搜索蜘蛛只抓一个版本

规范双协议的关键是只保留一个官方版本，并且让所有入口都指向它。常见做法如下：

1. 在HTTP版做301跳转到HTTPS

为http版全站配置301跳转，将链接、参数甚至根域名都指向对应的https链接。这是目前最直接、最容易被蜘蛛理解的方式。跳转后，蜘蛛访问http链接时会立刻收到301状态码，并跟随到新的https地址，长时间运行后，旧HTTP链接会逐渐从索引中退出。

2. 添加Canonical标签，声明规范页面

除了301，还可以在每个页面的head区加上rel="canonical"标签，明确指向https版本的URL。这样即便蜘蛛从某个角落抓到了http页面，看到canonical后也会明白规范的页面是哪个，减少重复收录的风险。注意，canonical是建议，不是强制，最好与301配合使用。

3. 开启HSTS并预加载

给服务器配置HSTS（HTTP严格传输安全协议），告诉浏览器强制使用HTTPS访问，这样用户和脚本产生的请求都会自动变为https。同时，可以在HSTS预加载列表提交自己的域名，让支持该列表的浏览器直接使用HTTPS，从源头上减少http访问。

4. 统一站内链接

把内部链接、图片、CSS/JS文件地址全部改成相对路径或https绝对地址，避免源码中出现http开头的资源请求。建议在模板和数据库中彻底排查，更换为统一协议后再更新上线。

5. 使用HTTP到HTTPS的站点地图推送

在搜索引擎的站长平台中，重新提交https版本的站点地图。这能帮助蜘蛛尽快发现新URL入口，并知道后续应该以https为主。主动推送工具同样只提交https页面。

配置完成后需要注意什么？

切换或统一协议并不是一次性工作。完成上述配置后，建议持续观察搜索蜘蛛日志，确认是否还存在http URL的抓取。同时要关注http页面原有的外链，因为外链无法直接控制，搜索引擎可能需要较长时间才能完全只抓https版本。期间通过站长平台的抓取异常工具检查是否有大量301跳转错误，以及首页的响应码是否正常。

还需注意别急着删除http站点。有些站点为了彻底转向https，直接关停http服务，返回连接错误，这反而会让搜索引擎在过渡期受到干扰。稳妥的做法是保留http服务，并一直做好301，等到索引中几乎看不到http版本后，再考虑彻底关闭。

对于站点运营而言，统一URL协议是基础工作，而不是可选项。让搜索蜘蛛稳定地只发现并抓取一套URL，既有利于抓取配额的高效利用，也能为后续的收录和排序打下良好基础。

如果你发现自己在蜘蛛池环境中测试的站点出现了大量http和https抓取记录，不妨先检查是否完成了上述规范化处理。否则，即便你推送了更多URL，蜘蛛仍然可能被分散到两个版本中去。