标簽：响應头自查

站点运营：X-Robots-Tag 响應头自查，別让蜘蛛在看不到的地方被拦下

很多站点只检查 robots.txt 和頁面里的 meta robots，却忽略了 HTTP 响應头中的 X-Robots-Tag。它由服務器、CDN 或框架生成，能對一整類资源生效，配置出错时波及面更大。本文梳理常见的誤伤场景，並给出可执行的响應头自查步骤。