为什么证书问题会直接影响抓取
搜索蜘蛛访问入口页，走的是一次普通的 HTTPS 请求。如果握手阶段就失败——证书过期、证书链不完整、域名不匹配、服务器不支持客户端使用的 TLS 版本——蜘蛛拿不到任何 HTML，入口页在它眼里等同于不存在。很多人只关注页面内容写了什么，却把这一层当成默认没问题，结果池子里的域名换了一批又一批，抓取量还是不见起色。
证书本身要查的四件事
有效期与续期
免费证书通常 90 天有效。批量管理几十上百个域名时，最容易出现的情况是某个域名证书悄悄到期，而日志里只表现为一批抓取失败，很难一眼定位。建议把所有域名列成表，记下到期时间并提前一周续期；续期之后要实际访问一次确认新证书已经生效，而不是只看到“申请成功”的提示就结束。
域名覆盖范围
如果用泛域名证书，注意它只覆盖同一级的子域。www 和裸域要不要同时使用、子域是否在证书范围内，都要在部署前确认清楚。证书与访问域名不匹配时，浏览器会报警告，蜘蛛那边同样会握手失败。
证书链完整性
只装域名证书、不装中间证书，在部分客户端上会验证不通过。建议用两三个在线检测工具交叉查看，它们的判断标准不完全一致，多测几个能覆盖更多客户端情况。
协议版本
把服务器配置到支持 TLS 1.2 及以上，同时保留 TLS 1.2。有些较老的抓取客户端对新协议支持不完整，只开 TLS 1.3 反而会挡掉一部分正常请求。
从 HTTP 到 HTTPS 的跳转别做成死循环
常见做法是 HTTP 返回 301 跳到 HTTPS。要注意 CDN、WAF、源站三处都写了跳转规则时，容易出现来回跳或跳转层数过多的情况。层数越多，蜘蛛拿到最终页面需要的时间越长，遇到超时就直接放弃。建议只在一层做强制跳转，其他地方保持直通，并且用“带尾斜杠”和“不带尾斜杠”两种形式各测一遍，确认不会跳到两个不同的地址上。
HSTS 打开之前先确认全站确实都能走 HTTPS，一旦误开而且包含子域，后续回退会比较麻烦。
响应头里容易被忽略的几项
- X-Robots-Tag：这是与 meta robots 作用类似的服务端指令。批量部署时如果模板里带了 noindex，页面内容再正常也不会被索引，而且排查时容易只看页面源码，漏掉响应头这一层。
- Content-Type 与字符集：缺少 charset 或写成错误的编码，中文标题可能显示成乱码，影响蜘蛛对页面主题的判断。
- Set-Cookie 与跳转：入口页给每个访客种 cookie 并据此跳转，蜘蛛第一次访问拿到的往往是跳转前的空壳页面。
- Server、X-Powered-By：这类头本身不影响抓取，但几十个域名返回完全一致的组合，容易让整批站点看起来像同一套东西。
首字节时间与传输压缩
蜘蛛的耐心有限。服务器响应慢、页面体积大、没有开启压缩，都会让单次抓取的性价比下降。开启 gzip 或 brotli、把入口页的 HTML 体积控制在合理范围、给数据库查询加缓存，这些都属于老办法，但对抓取成功率的帮助往往比再买一批域名更直接。
一份可执行的检查清单
- 列出全部域名及其证书到期时间，指定专人盯续期。
- 抽查证书的域名覆盖范围与证书链完整性。
- 确认只在一层做 HTTP 到 HTTPS 的强制跳转。
- 检查响应头里的 X-Robots-Tag 与 charset 设置。
- 关掉入口页基于 cookie 的自动跳转。
- 开启压缩，并记录首字节时间的前后变化。
证书和响应头属于“不出问题就没人看”的部分，但它们决定蜘蛛能不能进门。池子越大，越值得用一张表格把这几项固定下来定期核对。