标簽：HTTP 响應头

X-Robots-Tag 寫在响應头里，蜘蛛會在抓取时先看到它

X-Robots-Tag 是放在 HTTP 响應头里的抓取與索引指令，蜘蛛在下载 HTML 之前就能讀到它。本文說明它與 meta robots 的先後差异、常见指令含义，以及對連結發現、Sitemap 提交和内鏈路径的實际影响，並给出检查方法。