先分清：阻止抓取和阻止收錄是两件事
很多站長把“不让搜尋引擎抓取”和“不让頁面進索引”当成同一件事，结果用了 robots.txt 屏蔽目錄，過一段時間用 site: 查询，發現 URL 還在。原因在于，搜尋引擎處理一個頁面的流程大致是：發現 URL、抓取頁面、判断是否编入索引。robots.txt 管的是第二步，noindex 管的是第三步。跳過抓取，不代表前面發現的 URL 會自動消失。
noindex：允许抓取，但要求不進索引
noindex 是頁面級指令，通常寫在 HTML 的头部 meta 标簽里，或者通過 HTTP 响應头 X-Robots-Tag 下發。它的意思是：可以抓取這個頁面，但不要把它作為搜尋结果展示。對大多數“頁面本身有價值、只是不想公開被搜到”的情况，noindex 更合适。
用法和常见坑
- 放在頁面头部：使用 noindex 的 meta 标簽。如果只想限制某個搜尋引擎，可以寫具体蜘蛛名，但一般用通用寫法即可。
- 非 HTML 文件用不了 meta 标簽，比如 PDF、图片、视频，需要通過服務器配置返回 X-Robots-Tag 响應头。
- 頁面必须能被抓取，noindex 才會生效。如果 robots.txt 同时屏蔽了该 URL，爬虫看不到 noindex，指令等于没寫。
- noindex 不是立即生效。頁面被重新抓取並處理之後，索引里的记錄才會逐步移除，時間從几天到几周不等。
一個常见誤操作：先在 robots.txt 里 disallow 整個目錄，又在頁面里加 noindex。结果爬虫進不来，noindex 讀不到，URL 可能長期停留在索引中。
robots.txt：阻止抓取，不等于阻止收錄
robots.txt 是抓取层面的协议。它告诉爬虫哪些路径不要抓，但搜尋引擎仍然可能因為外鏈、歷史记錄或其他信号知道這個 URL 存在，並在结果里顯示一個没有摘要的連結。也就是说，robots.txt 适合用来节省抓取配額、保護服務器压力，或者挡住某些動態路径，但它不是“從索引里刪除頁面”的工具。
如果你希望某個 URL 彻底不出現在搜尋结果里，通常應该让它可抓取，然後返回 noindex；如果頁面已经不存在，返回 404 或 410 也是明确信号。單纯用 robots.txt 屏蔽，往往達不到“看不见”的效果。
登入墙與密碼保護：解决的是訪問，不是索引
把頁面放在登入之後，或者用 HTTP 密碼保護，确實能挡住普通用戶和大部分爬虫。但要注意两点：第一，搜尋引擎可能仍然知道 URL 存在，尤其是外鏈指向它的时候；第二，如果頁面内容對用戶有價值，登入墙會让它無法被搜尋到，這本身可能是你想要的，但它不属于精细的收錄控制。對于“只想让特定人群訪問”的内部頁面，登入墙是合理的；對于“公開頁面但不想被搜到”，noindex 更直接。
已经進了索引怎么办
如果發現不该收錄的頁面已经在搜尋结果里，可以按下面的顺序處理：
- 先確認頁面狀態。用 site: 查询、URL 检查工具或搜尋控制台里的 URL 检查，看看是“已收錄”還是只是 URL 被提及但没有摘要。
- 决定頁面未来是否還存在。要保留，就加上 noindex，並确保它可以被抓取；不再需要，就返回 404 或 410。
- 移除内部連結和 sitemap 里的入口。减少發現路径，有助于它更快登出。
- 如果頁面已经被大量外鏈指向，移除索引可能需要更長時間，耐心观察即可，不必反复改指令。
怎么選：按目的来定
- 不想被搜到，但頁面還要给用戶看：用 noindex，保持可抓取。
- 只想减少抓取，不介意 URL 出現：可以用 robots.txt。
- 非 HTML 文件不想被收錄：用 X-Robots-Tag 响應头。
- 内容只给特定人看：登入墙或密碼保護，但要知道它不解决“URL 是否被知道”的問题。
最後提醒一句：這些指令影响的是搜尋引擎如何處理頁面，不承诺一定收錄或一定不收錄。實际结果還取决于抓取频率、外鏈情况和搜尋引擎自己的判断。定期检查索引狀態，比一次性設定更可靠。