排查页面不收录时，多数人会打开 HTML 源码，确认 meta robots 里没有 noindex 就放心了。但页面级收录指令其实有两个投放位置：一个是 HTML 的 head，另一个是 HTTP 响应头里的 X-Robots-Tag。两者只要有一处写了禁止，结果就可能完全不同。
两条指令的关系：位置不同，作用对象相同
meta robots 写在 HTML 的 head 中，只有抓取并解析到 HTML 才会被读到。X-Robots-Tag 写在 HTTP 响应头里，服务器返回响应时就能被看到，不依赖正文解析，因此对非 HTML 文件同样有效。
两者都只作用于当前这个网址，不会自动传递给别的页面。需要区分的是指令性质：noindex、nofollow 这类属于禁止性指令，写了就生效；而 index、follow 只是表示不阻止，属于允许性指令，写了并不等于搜索引擎必须收录。
冲突时通常怎么处理
- 只要能读到 noindex，页面就不会进入索引，无论另一处写的是不是 index。
- 同一处出现多个 robots 标签时，指令会合并处理，禁止性指令优先。
- 拼写或语法错误会让整条指令失效，比如把 noindex 写成 no-index，或把值写在 content 属性之外。
- robots.txt 屏蔽会阻止抓取，此时页面上的 noindex 反而读不到，这是另一类问题，需要分开处理。
常见的冲突来源
- CDN 或反向代理上配置了全局响应头，上线时忘记把测试期的 noindex 去掉。
- 测试环境、预发布环境的配置被同步到了生产环境。
- 模板或组件里写死了 meta robots，单独调整某个页面时没有注意到。
- 安全插件、缓存插件或框架中间件自动注入了 X-Robots-Tag。
- 响应被缓存，源站已经改好但边缘节点还在返回旧值。
核对顺序
- 先用命令行查看响应头，确认 X-Robots-Tag 是否存在以及具体值。
- 再看渲染完成后的 DOM，而不是只看原始 HTML，避免前端脚本动态插入的 meta 被漏掉。
- 在搜索控制台的网址检查里查看已抓取的页面，对照它记录的响应头和 HTML，确认抓取时看到的是哪一版。
- 检查 robots.txt 是否屏蔽了该路径。若已被屏蔽，页面上的指令不会被读取，需要先解除屏蔽再判断。
- 确认冲突来源后修正配置，清理缓存，再提交重新抓取。
解除 noindex 只是把门打开，页面还需要被重新抓取一次，新的响应头才会被记录，索引状态才可能随之更新。这一步通常不会立刻完成。
几个容易踩的误区
第一，以为删掉 noindex 后页面会马上回到索引，实际上要先重新抓取，再经过一轮索引处理。第二，以为加上 index 能加快收录，它只是一个不阻止的信号。第三，只看 HTML 不看响应头，导致真正的屏蔽来源一直没被发现。
把响应头、HTML 指令、robots.txt 和实际抓取记录放在一起对照，冲突通常很快就能定位。