标簽：robots指令

搜尋蜘蛛抓取：X-Robots-Tag 响應头與 robots meta 冲突造成的入口屏蔽排查

頁面能被蜘蛛抓取却長期不進入索引，有时不是内容問题，而是 robots.txt、meta robots 與 X-Robots-Tag 三類指令互相冲突。本文說明各指令的生效范围，梳理 index 與 noindex、nofollow、按 UA 分组誤伤等叠加场景，並给出一套按响應头、模板、CDN 分层核對的排查顺序。