蜘蛛先读 HTTP 头：X-Robots-Tag、字符集与 Vary 对抓取的影响

蜘蛛抓一个 URL 时，拿到的并不是一整块页面，而是先收到响应头，再收到正文。很多站长只盯着 HTML 里的 title、meta 和正文，忽略了头部那几行字段，结果页面没被抓走却找不到原因。响应头决定了蜘蛛怎么判断“这是什么东西、要不要继续读、按什么编码读”，值得单独检查一遍。

第一眼：状态行与 Content-Type

Content-Type 告诉蜘蛛返回的是 HTML、XML、图片还是文件流。如果动态接口把 HTML 页面标成 text/plain 或 application/octet-stream，蜘蛛可能只当成一个文件下载，不去解析里面的链接，URL 发现就在这里断掉。

反过来也不合适：把图片、PDF 误标成 text/html，蜘蛛会按页面处理，抓到一个几乎没有可用内容的“页面”。

检查方法很简单：用 curl -I 看目标 URL 的 Content-Type 那一行。模板页较多时，可以写脚本按页面类型批量抽查。

头部 charset 与 HTML 里 meta charset 不一致时，蜘蛛通常按头部优先解码，中文可能变成乱码，标题、摘要、锚文本一起受影响。建议全站统一 UTF-8，并在头部明确声明。

个别页面如果用了非 UTF-8 编码，容易出现问号或方块，蜘蛛读到的文本与用户看到的并不一致。

这是 HTTP 头版本的 meta robots，写在响应头里生效。它主要解决那些没法在 HTML 里写 meta 的文件，比如 PDF、图片、视频。

常见写法：

容易踩的坑有三个：CDN、反向代理或框架中间件统一给所有响应加上了 noindex，上线后不易察觉；测试环境打开的限制忘了关，跟着配置一起进生产；只改了 HTML 里的 meta，没检查头部还在下发同样的指令。

头部指令通常优先级高于 meta：两边冲突时，更严格的那个生效。所以在头部加了 noindex，再去 HTML 里删 meta 是没有用的。

还要注意与 robots.txt 的先后顺序：如果 robots.txt 禁止抓取，蜘蛛根本看不到响应头，也就看不到 noindex。想让页面从索引中退出，一般先允许抓取，再给 noindex。

Vary 告诉缓存“这个响应取决于哪些请求头”。Vary: User-Agent 会让缓存把不同 UA 的请求分开存放，对蜘蛛来说，它拿到的版本可能和普通用户不同。

如果站点按 UA 给蜘蛛返回不一样的内容，属于典型的伪装，风险很高，不建议使用。确有区分需求时，可以用 Vary: Accept-Encoding 这类与内容编码相关的字段。

Vary: * 会让缓存几乎失效，源站压力上升，间接拖慢蜘蛛的抓取节奏，属于常见但容易被忽略的性能坑。

Content-Encoding: gzip 或 br，能让蜘蛛用更少的带宽拿到同样的正文，列表页这类结构重复的页面收益更明显。压缩通常由服务器或 CDN 自动完成，但要确认 HTML 响应没有被跳过。

Content-Length 只是声明，不是必须；分块传输也能被正常解析，不必为它纠结。

头部只有几行，却决定了蜘蛛后面的所有动作。把这几行检查清楚，再去看内链、Sitemap 和抓取预算，排查顺序会顺很多。