标签：索引屏蔽

robots.txt 挡了抓取，页面为什么还在索引里：把抓取屏蔽和索引屏蔽分开用

很多站点把 robots.txt 和 noindex 当成同一个开关，结果出现“屏蔽了却还在索引里”或“想移除却一直移除不掉”的情况。本文从抓取屏蔽与索引屏蔽的区别出发，说明 robots.txt、meta robots、X-Robots-Tag 各自的生效条件与冲突处理顺序，以及列表页、参数页、临时下线等场景该用哪一个，并附一份自查清单。