蜘蛛抓取一个 URL 时，最先拿到的并不是正文，而是服务器返回的响应头。这部分内容在浏览器里看不见，很多维护入口页的人只盯着标题、正文和链接，等到抓取异常时反而查不出原因。响应头本身不保证任何收录结果，但它决定了蜘蛛这次请求是继续解析、稍后再来，还是干脆放弃。
状态码是第一道判断
状态码决定蜘蛛要不要继续处理这个 URL。200 是正常，301 表示永久迁移，302 和 307 属于临时跳转，404 和 410 表示资源不存在，403 是拒绝访问，429 和 503 通常代表压力过大或临时不可用。对入口页来说，关键不是返回哪个码，而是同一个 URL 长期返回的码是否稳定。今天 200、明天 403、后天跳 302，蜘蛛很难判断这个页面的真实状态，抓取频次往往会下降。
如果确实需要限流，用 503 并配合 Retry-After 头，比直接返回 200 的错误页更清晰。反过来，把错误页面伪装成 200，会让蜘蛛把无效内容当成正常页面处理，长期看是负面的。
缓存与更新信号：Last-Modified、ETag、Cache-Control
这几个字段帮助蜘蛛判断页面有没有变化，从而减少无效抓取。Last-Modified 应该反映内容的真实更新时间，而不是每次请求都刷新成当前时间。有些程序在动态渲染时会顺手写入当前时间，结果每次访问都被认为内容更新了，蜘蛛的抓取需求被反复触发，抓取预算被消耗在入口页上。
ETag 的作用类似，如果服务器每次生成的 ETag 都不一样，蜘蛛同样无法判断内容是否稳定。Cache-Control 里常见的 no-store 会让中间层无法缓存，增加源站压力；对入口页一般建议允许较短的缓存时间，减少重复请求。这些字段不直接决定抓取结果，但会影响抓取的节奏和频率。
内容类型与压缩：Content-Type、charset、Content-Encoding
Content-Type 缺失或者写错，蜘蛛可能把 HTML 当成纯文本处理，页面结构无法被正确解析。charset 要和页面内的 meta 声明保持一致，UTF-8 是最省事的选择。编码声明冲突时，容易出现标题乱码、正文被截断的现象，这类问题在日志里通常表现为抓取正常但页面内容异常。
Content-Encoding 用于声明 gzip 或 br 压缩。压缩本身有利于传输，但如果压缩后的内容不完整，蜘蛛拿到的可能只是半截文档，解析自然失败。开启压缩后建议实际抓取一次，确认返回内容是完整的。
机器人相关字段：X-Robots-Tag
X-Robots-Tag 是响应头形式的机器人指令，作用类似页面里的 meta robots，但可以按目录、按文件类型批量下发，也能覆盖到非 HTML 资源。它的风险在于配置范围太大：如果运维在全局层面加了 noindex 或 nofollow，入口页可能在不知情的情况下被整体限制，而页面本身看不出任何异常。
排查时可以把 robots.txt、meta robots 和 X-Robots-Tag 三处对照一遍，确认入口页确实是开放抓取的状态。三者不一致时，通常以更严格的指令为准。
容易被忽略的几个坑
- 全站错误页统一返回 200，蜘蛛把错误页当正常页面处理。
- 跳转链路过长，中间夹着多次 302，抓取效率下降。
- Last-Modified 每次请求都变化，蜘蛛反复回抓。
- 源站和 CDN 返回的响应头不一致，中间层覆盖了原始设置。
- WAF 或防护层对部分 UA 返回 403，而日志里只看到少量请求。
- 限流时直接断开连接，没有返回 429 或 503，蜘蛛只能判定为失败。
- X-Robots-Tag 被全局配置误加，入口页被静默限制。
一条可执行的排查路径
- 用 curl -I 或浏览器的网络面板，直接查看入口页的响应头。
- 对比直连源站和经过 CDN、防护层之后的结果，确认头部字段有没有被改写。
- 抽查一批入口页，看状态码、Last-Modified、Content-Type 是否存在共性异常。
- 结合访问日志，观察状态码分布和抓取频次的变化趋势。
- 发现问题后分批修改配置，避免一次性改动导致整体波动。
响应头不是提升抓取的手段，而是排除干扰的基础。先把状态码、缓存和内容类型这三类字段保持稳定一致，再谈入口页的数量和结构，通常更省事。