很多人遇到過這種情况：一個頁面早就不需要了，meta robots 里加了 noindex，robots.txt 里也屏蔽了抓取，過了几周去搜，URL 還在。于是開始怀疑是不是指令没寫對。多數时候指令没問题，問题在于两條規則同时用，把蜘蛛需要讀取指令的那條路先堵死了。
noindex 是一條頁面級指令
noindex 的生效前提，是蜘蛛能抓到這個頁面。它寫在 HTML 的 head 里，或者通過 HTTP 响應头返回，蜘蛛只有實际發出請求、拿到响應，才可能讀到。而 robots.txt 的 Disallow 作用在請求之前，它告诉蜘蛛：這個路径不要来抓。
两者叠在一起的结果是：蜘蛛不来抓，就讀不到 noindex，索引里那條舊记錄缺少新的判断依據。它可能繼續留着 URL，也可能只保留一個不带摘要的结果。這不是 noindex 失效，而是指令根本没被送到。
先分清頁面属于哪一類
- 彻底不要了：比如活動頁下线、商品永久停售。這種情况让服務器返回 404 或 410 更直接，等于明确回答“這里没有内容”。
- URL 還要保留：比如有人外鏈，或者要被其他頁面引用。這類頁面應当允许抓取，加上 noindex，等索引里的记錄移除後，再考虑是否需要屏蔽抓取。
- 不希望被訪問：比如後台、測試頁、内網入口。這類應该用登入校驗、401/403 或 IP 限制，robots.txt 只能算补一层，不能当權限用。
多數“退不出索引”的案例，問题出在把第二類和第三類的做法混在了一起。
404、410 與 noindex 的分工
404 和 410 都是服務器對請求的响應，蜘蛛来了就能立刻得到信号，不需要讀頁面内容。410 比 404 更明确地表示永久移除，但两者的實际差別通常没有想象中那么大。noindex 需要蜘蛛抓取並渲染後才生效，鏈路更長一层。
如果頁面還在线、只是内容不再适合出現在搜尋结果里，用 noindex。如果頁面本身已经不存在了，就让服務器正常返回 404/410，而不是返回 200 再挂一個 noindex，後者容易被当成软 404 處理，判断反而更慢。
已经屏蔽了抓取，怎么补救
確認頁面策略後，可以按這個顺序處理：
- 先把 robots.txt 里针對该路径的 Disallow 去掉，让蜘蛛能够重新抓到頁面。
- 保留或补上 noindex，确保它能被讀到。如果是脚本動態寫入的 meta，先確認渲染後的 HTML 里确實有這條标簽。
- 观察服務器日誌或抓取統計，確認蜘蛛确實重新請求過。没有被抓之前，狀態不會變。
- 確認索引里的记錄已经移除後，如果仍然不想被抓，再考虑恢复 robots.txt 屏蔽。
顺序反過来做，很容易卡在原地：屏蔽着抓取，又等着 noindex 生效，两邊互相等待。
几個容易踩的坑
- 把 robots.txt 当刪除工具：它只控制抓取，不控制索引。被屏蔽的 URL 仍然可能出現在结果里，只是没有摘要。
- 屏蔽後看到還在索引，就以為規則寫错：規則生效需要蜘蛛的下一次訪問，而訪問频率取决于站点整体的抓取情况。
- 把 meta 标簽寫在 body 里：位置不對，通常讀不到。
- X-Robots-Tag 路径寫错：响應头是按請求匹配的，寫错目錄可能让整站都带上 noindex。
不承诺時間，但要留出观察窗口
索引更新没有固定周期。抓取频率高、内鏈多的頁面處理得快一些，長期没有入口的頁面可能拖得久。比較稳妥的做法是给每批處理留出至少几周的观察期，用抓取日誌和索引狀態两個维度對照，而不是只盯着搜尋结果頁面看。
先想清楚這個 URL 是“要刪除”還是“要隐藏”，两者的處理路径完全不同。混用 robots.txt 和 noindex，只會让狀態更模糊。