让一個頁面從搜尋结果里消失，常见做法有两種：在 robots.txt 里禁止抓取，或者在頁面上加 noindex。單獨用哪一種都能達到部分目的，但如果同时用，往往會出現“屏蔽了几個月，索引里還在”的情况。原因不复杂，只是两種手段作用的环节不同。
先分清两種手段作用在哪個环节
抓取、索引、展現是三個前後相繼的环节。robots.txt 管的是第一环——蜘蛛能不能来抓；noindex 管的是第二环——抓到之後要不要留下索引记錄。指令寫在頁面里，就必须先被下载下来才生效。
- robots.txt 禁止抓取：蜘蛛不下载頁面正文，自然也讀不到頁面里的任何 meta 指令。
- 頁面 noindex：蜘蛛能正常抓取並讀到该指令，随後把頁面從索引中移除，但前提是抓取没有被拦截。
- X-Robots-Tag：寫在 HTTP 响應头里，适合 PDF、图片等非 HTML 资源，同样需要請求能正常到達。
為什么叠加使用會互相抵消
如果 robots.txt 里寫了 Disallow 禁止抓取，蜘蛛连 HTML 都不會請求，頁面上的 noindex 就永遠讀不到。此时頁面可能因為外鏈、歷史记錄等原因仍留在索引里，只是标题和摘要缺失，顯示為一條没有描述的结果。換句话说，你希望它消失，反而让它以更尴尬的形式留着。
要让 noindex 生效，頁面必须可被抓取；要彻底禁止抓取，就別指望頁面指令起作用。這两件事只能選一件先做。
建议的處理顺序
- 先確認目标：只是想减少抓取压力，還是想让頁面從索引中彻底消失，或者頁面本身要下线。三種目标對應不同做法。
- 只减少抓取压力：用 robots.txt 屏蔽即可，接受頁面可能仍以無描述形式出現在结果里。
- 想让頁面從索引消失：先放開 robots.txt 對它的屏蔽，保證可正常返回 200，再保留 noindex 或返回 410，让蜘蛛能讀到明确信号。
- 观察移除進度：在日誌里確認蜘蛛重新抓取了该 URL，之後索引狀態才會逐步變化，不要刚改動就反复修改。
- 確認消失後再决定是否需要屏蔽：如果頁面已彻底下线，通常没必要再叠加 robots.txt；若仍存在且無價值，可保留 noindex。
常见誤操作
- 頁面加 noindex 的同时用 robots.txt 屏蔽整個目錄，導致目錄下所有指令都讀不到。
- 把 noindex 寫在 JS 動態插入的内容里，蜘蛛拿到初始 HTML 时並不存在该指令。
- 測試环境用 robots.txt 全站屏蔽，上线後忘记移除，新頁面迟迟進不了索引。
- 改完就立刻去站長工具查“已排除”數量，看到没變化就繼續加碼限制。
核對时值得看的几個点
第一，確認该 URL 返回的狀態碼，200、404、410、301 對應的處理路径不同。第二，確認 robots.txt 里是否真的有匹配它的規則，避免被通配符誤伤。第三，看蜘蛛實际抓到的 HTML 里有没有 noindex，而不是只看自己本地环境。第四，区分“未抓取”“已抓取未索引”“已索引”三種狀態，它們的下一步動作並不一样。
整体思路其實很简單：先想清楚是拦抓取，還是要去索引，只選一個主手段，另一個作為补充。两個一起上，往往谁都不生效，還多花時間排查。