做入口页的人经常碰到一种情况：目标站早就上了 HTTPS，但入口页里批量生成的链接还是 http 开头。链接照样能被抓到，可搜索蜘蛛跟进之后到底发生了什么，很多人没细看。下面把中间这几步拆开说。
搜索蜘蛛遇到 http 链接，实际会走一遍跳转
当你给出的是 http://example.com/a，而服务器把所有 http 请求 301 到 https://example.com/a，搜索蜘蛛并不会直接算失败。它先请求 http 版本，拿到 301 和 Location 头，再请求 https 版本，最后才读到页面内容。
也就是说，一次链接跟进变成了两次请求。单看一条链接没什么，但入口页里成千上万条 URL 都这样，抓取请求数会成倍增加。
跳转本身不致命，这几种情况才要注意
证书有问题
- 证书过期、域名不匹配、自签名证书，搜索蜘蛛在 https 这一步可能直接中断，页面内容读不到，链接等于白放。
- 中间证书链没配全，有的客户端能过、有的过不去，日志里会留下抓取失败的记录。
跳转链太长，或者在协议之间来回跳
- http → https → 加 www → 再加路径重定向，几层叠在一起，抓取成本高，也容易被当成不稳定。
- 更糟的是 https 又跳回 http，形成循环，搜索蜘蛛通常会直接放弃。
跳转目标对不上原 URL
- 有些服务器默认跳首页，而不是原来的那条 URL。搜索蜘蛛跟完跳转发现内容对不上，这条链接的指向就丢了。
用了 302 而不是 301
- 302 表示临时，搜索引擎可能长期保留 http 版本作为规范地址，也可能反复回来重试，白白消耗抓取配额。
从日志里怎么确认
打开入口页所在服务器的日志，或者直接看目标站日志，重点找这几个信号：
- 同一时间出现成对的请求：一条 http://… 状态 301，紧跟一条 https://… 状态 200。
- 大量 301 后面找不到对应的 200，说明 https 那一步失败，多半是证书或超时。
- 同一条 URL 反复出现 3xx 连跳，说明跳转链没有收敛。
- 目标站日志里来自搜索蜘蛛的请求，来源或 referer 指向入口页。
如果只有入口页的日志在涨，目标站这边却没有对应的抓取记录，那中间基本就断在协议转换这一步。
处理建议
- 入口页批量生成链接时，直接写 https 版本，省掉第一次跳转。
- 目标站确认所有 http 请求都 301 到 https，一跳到底，不要叠加 www、路径、结尾斜杠等多层规则。
- 检查证书有效期、域名匹配和证书链完整性，尤其是走 CDN 回源那一段。
- 做过 HSTS 的话要注意，它主要对浏览器生效，搜索蜘蛛不一定按 HSTS 走，服务端 301 仍要保证正常。
- 跳转后的落地页要和原 URL 内容对应，不要统一跳到首页。
- 想验证可以用 curl -I 依次请求 http 和 https 版本，看状态码和 Location 是否一次到位。
协议统一是抓取路径上最容易被忽略的一环。它不决定收录，也不保证排名，但会实实在在消耗抓取配额，并在证书或跳转异常时让链接直接失效。
入口页的事大多是工程细节。把跳转收敛成一跳、把证书修好，通常比反复调整链接写法更有意义。改完之后隔几天再看一次日志，确认 301 后面都跟上了 200，这一步才算真的做完。