把入口页部署上去之后，很多人会顺手做一件事：申请证书、开通 HTTPS。如果配置时没有把 HTTP 强制跳转过去，就会出现 http:// 和 https:// 两个地址都能正常打开、内容还基本一样的情况。这时候一个自然的问题就来了：搜索蜘蛛会不会把这两个地址当成两个入口页，重复抓取？
在搜索蜘蛛眼里，这是两个 URL
对搜索蜘蛛来说，URL 就是身份标识。http://example.com/a 和 https://example.com/a 是两个不同的字符串，也就是两个不同的 URL。它不会因为内容一样就自动合并，除非你给出明确的信号，比如 301 跳转或者 canonical 指向。所以在它眼里，你的入口页可能从一份变成了两份。
会不会重复抓取
会，而且这种重复通常没有收益。搜索蜘蛛对每个站点有抓取预算的概念，两个协议各抓一遍，等于把同样的预算花在重复内容上。原本可以用来发现更多目标 URL 的配额，被消耗在了协议分叉上。
更需要注意的是，如果两个版本的入口页都被抓取，那么从入口页出发的链接也会被重复发现。同一批目标 URL 会被发现两次，日志看起来流量不错，去重之后实际的有效发现量并没有增加。
常见的三种状态
- 只有一个协议返回 200，另一个直接 301 跳到它。这是最干净的情况，搜索蜘蛛跟一次跳转就收敛到一个地址。
- 两个协议都返回 200，内容基本一致。存在重复抓取的问题，需要主动收敛。
- 两个协议都返回 200，但内容不同，比如某个版本少了链接、少了正文。这是最麻烦的一种，搜索蜘蛛可能各自建立一套理解，入口页的作用被分散。
自查清单
- 分别请求两个协议，观察状态码、响应头和返回内容是否一致。注意要模拟正常的 GET 请求，而不是只看浏览器地址栏。
- 翻服务器日志，按协议分组统计自称搜索蜘蛛的请求量。如果两边量都很大，说明确实在被重复抓取。
- 检查入口页 HTML 里所有链接写的是哪个协议。不少模板会把链接写成绝对地址，一旦混用，目标 URL 的发现路径也会跟着分叉。
- 检查 canonical、sitemap 里写的是哪个协议。如果几处信号互相不一致，收敛就更难。
处理思路
- 选一个主版本，一般是 HTTPS，把另一个协议整站 301 过去。跳转尽量一次到位，不要出现 http 到 https 再到 www 这样的连跳。
- 站内链接统一写主版本，不要依赖跳转来纠正每一条链接。
- canonical 和 sitemap 只写主版本，方向与 301 保持一致。
- 证书要覆盖你实际使用的域名形式，带 www 和不带 www 都要能通过校验，否则 HTTPS 版本可能因为证书不匹配而报错，搜索蜘蛛反而回退去抓 HTTP 版本。
- 调整完成后持续观察一到两周日志，看两个协议的请求量是否逐渐收敛到主版本上。
协议分叉本身不会让页面变得更差，但它会稀释抓取效率和发现路径。蜘蛛池做的是发现和传递，路径越干净，越容易看出哪一步真正起了作用。
多入口页场景下的额外提醒
蜘蛛池里入口页往往是多个域名、多个模板同时跑的。协议分叉叠加上多入口页，日志会显得很热闹，但每一份的抓取深度都会被摊薄。与其一味增加入口页数量，不如先把每个入口页的地址收敛干净，再去看链接结构和目标 URL 的响应是否正常。
另外要提醒的是，以上都是抓取效率层面的排查思路。目标 URL 能不能被收录、什么时候被收录，还取决于页面本身的质量和搜索引擎自己的判断，这不是把协议配置好就能控制的事情。