做蜘蛛池投放时,目标站经常同时存在 http 和 https 两个版本,或者 www 与非 www 并存。选择哪个 URL 投放,直接影响搜索蜘蛛把抓取落到哪个页面,也影响后续的收录判断。
先确认哪个是最终版本
不要凭感觉选。最直接的办法是看跳转:用浏览器打开 http 版本,观察地址栏是否变成 https;或者查看响应头,看返回的是 301、302 还是 200。常见情况有几种。
- http 301 跳 https:最终版本是 https,跳转是单向的。
- https 301 跳 http:少见,通常说明证书或配置有问题。
- 两个版本都返回 200:说明没有做统一,属于重复内容状态。
- www 与非 www 各自都能打开:和协议问题类似,需要先确定首选域。
投放该指向哪个 URL
原则很简单:投放最终返回 200 的规范版本。如果 http 会 301 到 https,直接投 https 更干净,蜘蛛少走一跳,抓取预算不会被浪费在跳转上。投 http 也不是完全没用,搜索蜘蛛一般会跟随 301,但多一次跳转就多一次不确定性,遇到跳转链较长时,发现效率会打折扣。
跳转链越长,抓取落在中间环节的概率越高。http → www → https → 带尾斜杠,这种四跳结构建议先合并成一跳。
两个版本都能打开时怎么办
这种情况下,蜘蛛池投放哪个版本都会有问题,因为两个 URL 内容相同,搜索引擎需要自己判断哪个是主版本,抓取和权重都会分散。正确的顺序是先统一,再投放。
- 用 301 把非首选版本永久跳转到首选版本,不要用 302。
- 页面 canonical 指向首选 URL,和跳转方向保持一致。
- 在搜索资源平台设置首选域,减少搜索引擎的判断成本。
- 站内链接、sitemap、外链尽量统一使用首选版本。
这些做完再投,蜘蛛池带来的发现才有明确落点。
投放前的检查清单
- 用无痕浏览器访问目标 URL,确认最终落地页。
- 查看响应头,确认是 200 还是 3xx,跳转是否只有一跳。
- 检查 canonical 是否指向最终版本。
- 检查 sitemap 中的 URL 是否与投放 URL 一致。
- 确认 robots.txt 没有误封其中一个版本。
常见误区
- 认为投 http 和投 https 效果一样,反正会跳。多一跳就多一分损耗,能直投最终版就别绕。
- 两个版本都投,想着多一个入口。结果是重复内容,反而增加判断成本。
- 只在蜘蛛池里改,站点本身不做统一。入口页再规范,目标站自己混乱也没用。
蜘蛛池提供的是发现入口,不决定页面最终能否被索引。协议和域名版本这类基础问题,最好在投放之前就处理干净,否则抓取来了也可能停在跳转上。