标签：抓取指令

站点运营：noindex 与 X-Robots-Tag，抓取指令别只写在一处

页面要不要被索引，靠的不只是 head 里那行 meta。noindex 既能写在 HTML 里，也能通过 X-Robots-Tag 响应头投递，非 HTML 资源只能用后者。本文梳理两个投递位置的差别、常用指令的写法，以及 robots.txt 屏蔽与 noindex 混用、前端注入等常见矛盾，并给出一份可执行的自查清单。