在站点运营中，页面级屏蔽指令是一个容易被忽略的细节。有时是测试页面忘了删 noindex，有时是运维在 CDN 或服务器层面加了 X-Robots-Tag，还有时是模板统一输出了一段 robots meta。结果就是：该被搜索蜘蛛抓取和收录的页面被挡住，而临时活动页、筛选结果页却一直被抓。
meta robots 与 X-Robots-Tag 分别管什么
meta robots 写在 HTML 的 head 区域，属于页面内容的一部分。搜索蜘蛛需要先抓取并解析 HTML，才能看到这条指令。它的作用范围通常只限当前页面，常见写法是 name='robots' content='noindex, nofollow'。
X-Robots-Tag 则通过 HTTP 响应头传递，可以针对单个 URL，也可以在服务器或 CDN 配置中对某一类文件统一设置。它不依赖 HTML 解析，对非 HTML 资源，如 PDF、图片、视频，也能生效。两者都能表达 noindex、nofollow、noarchive 等含义，但生效路径不同。
为什么会出现指令打架
模板与页面配置不一致
常见情况是栏目模板默认输出 index,follow，但个别页面在 CMS 里被设成了 noindex。如果模板逻辑没有正确覆盖，最终 HTML 里可能出现两个 robots meta，蜘蛛读到哪一个并不由运营人员决定。更稳妥的做法是保证每个页面只输出一条明确的 robots meta。
服务器头与页面指令冲突
如果 HTTP 头返回 X-Robots-Tag: noindex，而页面里写着 index,follow，多数搜索蜘蛛会以更严格的屏蔽指令为准。运营在排查“页面明明写了允许收录，为什么没出现”时，不能只看 HTML 源码，还要检查响应头。
临时屏蔽忘记撤销
改版、迁移、内容审核期间临时加上的 noindex，经常在操作结束后被遗漏。页面能正常访问，内链也正常，但搜索蜘蛛每次来都收到屏蔽信号，时间一长就会降低抓取频次。
自查清单
- 查看 HTML 源码：确认 head 中只有一条 robots meta，content 值没有拼写错误，比如把 noindex 写成 no-index 或 noindx。
- 查看 HTTP 响应头：用 curl 或浏览器开发者工具检查是否返回 X-Robots-Tag，尤其是 CDN、反向代理和对象存储的配置。
- 区分页面类型：核心内容页、栏目页应允许抓取；搜索结果页、重复筛选页、临时活动页可按需屏蔽，但不要误伤正常列表页。
- 检查分页与参数页：分页链接如果统一被 noindex，可能影响列表页的发现路径；筛选参数页则要避免与主列表产生大量重复。
- 核对 sitemap 与内链：如果页面在 sitemap 中提交、站内也有入口，却带着 noindex，说明配置自相矛盾，应优先修正。
- 记录临时操作：任何临时屏蔽都应写清恢复时间和负责人，避免改版结束后无人撤销。
修复时的注意事项
移除 noindex 后，搜索蜘蛛需要重新抓取页面才能看到变化。抓取频次受页面权重、更新频率和服务器响应影响，并不会瞬间恢复。运营可以结合服务器日志观察蜘蛛对目标 URL 的访问情况，确认它是否已经拿到新的响应。
如果使用 X-Robots-Tag 做批量屏蔽，建议先在小范围验证，再逐步扩大。误配置可能影响整站或整个目录，排查成本比单页 meta 更高。
页面级屏蔽指令不是“加了就安全”，也不是“删了就立刻恢复”。关键是让 HTML、HTTP 头、sitemap 和内链表达一致，别让搜索蜘蛛收到互相矛盾的信息。
把 meta robots 和 X-Robots-Tag 纳入常规自查，尤其是在改版、迁移、栏目调整和临时下线之后。花几分钟核对响应头和页面源码，往往比事后猜测抓取异常更有效。