标签：robots指令

搜索蜘蛛抓取：X-Robots-Tag 响应头与 robots meta 冲突造成的入口屏蔽排查

页面能被蜘蛛抓取却长期不进入索引，有时不是内容问题，而是 robots.txt、meta robots 与 X-Robots-Tag 三类指令互相冲突。本文说明各指令的生效范围，梳理 index 与 noindex、nofollow、按 UA 分组误伤等叠加场景，并给出一套按响应头、模板、CDN 分层核对的排查顺序。