入口页铺好、IP 也分散了，抓取日志里却始终没有爬虫的影子，很多人第一反应是内容或链接的问题。但实际排查中，卡在协议层的比例并不低：入口页的 HTTPS 配置有毛病，浏览器里点一下“继续访问”就过去了，对爬虫来说这次请求往往就到此为止。
为什么协议层的问题容易被忽略
因为我们在自查时用的是浏览器。浏览器对证书错误有容忍机制，对混合内容也常常只是降级处理；而爬虫客户端通常没有这些兜底，遇到证书校验失败、协议不匹配、跳转异常，最省事的做法就是放弃这个 URL。你在这边看着页面“能打开”，它那边已经记了一笔失败。
三类最常见的问题
证书本身不合格
- 证书过期：多数免费证书只有 90 天，一批入口页如果集中在同一时间签发，很容易在同一时间集体失效。建议在到期前 2 到 3 周做一次批量检查。
- 域名不匹配：证书只签了主域名，入口页却用了带 www 或某个子域，校验一样会失败。签发时把要用的域名都列进去。
- 证书链不完整：只装了域名证书、没装中间证书，浏览器能补全，爬虫不行。这是最隐蔽的一类，用在线检测工具跑一遍就能看出来。
页面里混着 HTTP 资源
入口页已经从 HTTP 换成 HTTPS，页面里的图片、样式、统计脚本却还写着 http://。这类混合内容在浏览器里可能只是地址栏不再显示锁标，但换一个更严格的环境，整个页面就会被判为不安全。入口页本来就不需要太重的资源，建议把外链资源统一改成相对协议或者 https 开头，能去掉的直接去掉。
跳转链被拉得过长
http 跳到 https、裸域跳到 www、旧路径再跳到新路径，一条链上叠了三四个 301，最后还回到入口页本身。跳转本身不是问题，问题是每一次跳转都是一次额外的请求和判断，链路越长，中途出错的概率越高，也越容易在某一跳上被拦下来。把 http 到 https、域名统一这两件事合并成一次跳转，是比较稳妥的做法。
一份可照着做的自查清单
- 用命令行或在线工具检查证书有效期、域名覆盖和证书链是否完整。
- 抓取入口页 HTML 源码，搜索一遍 http://，确认没有遗留的明文资源。
- 用不带缓存的方式请求一次入口页，记录完整的跳转链路，控制在两跳以内。
- 确认 http 与 https、裸域与 www 最终都收敛到同一个可访问地址，不要出现循环。
- 换一个不依赖浏览器容错的客户端（比如 curl）复测一遍，看返回的状态码和响应是否正常。
几个实际操作上的建议
入口页规模一大，证书就成了运维活，建议把到期时间记在一个统一的地方，按批次错开签发，避免同一周集体到期。新加入的站点先跑完上面这套检查，再接进池子里，比出问题之后再回头找原因省事得多。
另外要有个预期：协议层配置正确，只是保证入口页“能被正常请求到”，它不决定爬虫会不会来、来多少。这一层的价值在于排除干扰项——当你确认协议这边没问题之后，再去翻抓取日志、看链接投放和内容质量，排查方向会清晰很多。