标签：HTTP响应头

搜索蜘蛛抓取：X-Robots-Tag 误用与入口拦截的排查顺序

X-Robots-Tag 是 HTTP 响应头中容易被忽略的抓取与索引控制指令。本文梳理全站 noindex、目录级 nofollow、静态资源误标、CDN 覆盖等常见误用，给出一套从响应头核对到日志观察的排查顺序，帮助站点减少无效入口消耗，恢复正常的抓取路径。