标签：响应头自查

站点运营：X-Robots-Tag 响应头自查，别让蜘蛛在看不到的地方被拦下

很多站点只检查 robots.txt 和页面里的 meta robots，却忽略了 HTTP 响应头中的 X-Robots-Tag。它由服务器、CDN 或框架生成，能对一整类资源生效，配置出错时波及面更大。本文梳理常见的误伤场景，并给出可执行的响应头自查步骤。