标签：HTTP 响应头

X-Robots-Tag 写在响应头里，蜘蛛会在抓取时先看到它

X-Robots-Tag 是放在 HTTP 响应头里的抓取与索引指令，蜘蛛在下载 HTML 之前就能读到它。本文说明它与 meta robots 的先后差异、常见指令含义，以及对链接发现、Sitemap 提交和内链路径的实际影响，并给出检查方法。