标簽：索引屏蔽

robots.txt 挡了抓取，頁面為什么還在索引里：把抓取屏蔽和索引屏蔽分開用

很多站点把 robots.txt 和 noindex 当成同一個開關，结果出現“屏蔽了却還在索引里”或“想移除却一直移除不掉”的情况。本文從抓取屏蔽與索引屏蔽的区別出發，說明 robots.txt、meta robots、X-Robots-Tag 各自的生效條件與冲突處理顺序，以及列表頁、參數頁、临时下线等场景该用哪一個，並附一份自查清單。