标簽：HTTP响應头

搜尋蜘蛛抓取：X-Robots-Tag 誤用與入口拦截的排查顺序

X-Robots-Tag 是 HTTP 响應头中容易被忽略的抓取與索引控制指令。本文梳理全站 noindex、目錄級 nofollow、静態资源誤标、CDN 覆盖等常见誤用，给出一套從响應头核對到日誌观察的排查顺序，帮助站点减少無效入口消耗，恢复正常的抓取路径。