你可能遇到過這種情况：在 robots.txt 里寫了 Disallow，確認蜘蛛不该抓某個目錄，但過一段時間用 site: 查，還是能看到那個目錄下的 URL。点進去，搜尋结果只顯示一行“由于该網站的 robots.txt，我們無法提供该頁面的具体描述”。這並不一定是搜尋引擎“不守規則”，而是把抓取和索引当成了同一件事。
抓取、索引、展示是三道不同的门
先拆開看：
- 抓取：蜘蛛請求 URL，下载 HTML。robots.txt 主要在這一步起作用。
- 索引：搜尋引擎把抓到的内容、URL、連結關系存入自己的資料库。索引不等于最终展示，但它是展示的候選池。
- 展示：用戶搜尋某個词时，搜尋引擎從索引里挑出它認為合适的頁面，按一定顺序呈現。
robots.txt 是抓取指令，不是收錄開關。它告诉蜘蛛“這個地址不要来抓”，但没有能力直接命令搜尋引擎“把已经知道的 URL 從索引里删掉”。如果某個 URL 通過外鏈、站内連結、站点地图、歷史抓取记錄等方式已经被發現，搜尋引擎完全可以只记錄這個 URL，而不去抓取正文内容。于是你看到的结果就是：有 URL，没有摘要，或者摘要来自外部锚文本。
被屏蔽的 URL 為什么還會進索引
常见原因有几種：
- 先被收錄，後被屏蔽。 頁面早期允许抓取，已经進了索引。後来你加了 robots.txt，蜘蛛不再抓取，但舊索引不會因為一條屏蔽規則就立刻消失。
- URL 被外部連結暴露。 其他網站連結了你的被屏蔽頁面。蜘蛛不能抓取目标頁，但能看到連結指向的 URL，于是可能只把這個 URL 放進索引。
- 站内仍有可抓取的連結。 如果某個允许抓取的頁面鏈到了被屏蔽地址，蜘蛛會知道這個 URL 存在。它不抓内容，但可能记錄 URL。
- 站点地图或歷史提交。 過去提交過的 URL，搜尋引擎已经知道，robots.txt 只阻止後續抓取。
另外，已经刪除的頁面如果返回 404，也可能在一段時間内繼續出現在搜尋结果里，直到搜尋引擎重新抓取並確認狀態。這不是“删不干净”，而是索引更新有延迟。
noindex 和 robots.txt 不要一起乱用
很多人想让頁面彻底登出索引，會同时做两件事：在 robots.txt 里屏蔽，又加上 noindex meta 标簽。结果往往是 noindex 根本没生效。
原因很简單：noindex 必须被蜘蛛抓取到才能被讀取。如果 robots.txt 已经阻止抓取，蜘蛛進不来，就看不到頁面里的 noindex。它可能仍然保留這個 URL 的索引记錄，或者以後只索引 URL。正确顺序通常是：
- 先允许抓取该頁面，确保蜘蛛能訪問。
- 在 HTTP 头或 HTML 里加 noindex，並確認返回 200 狀態碼，不要用软 404 糊弄。
- 等搜尋引擎重新抓取，观察该 URL 從索引中登出。
- 確認登出後，如果确實不想再被抓取，再考虑用 robots.txt 屏蔽或直接刪除頁面。
robots.txt 管的是“能不能来抓”，noindex 管的是“抓到後要不要收錄”。把两件事混在一起，容易出現想屏蔽却屏蔽不掉，想收錄却收不進来的情况。
如果頁面涉及隐私或敏感信息
robots.txt 不是安全工具。被屏蔽的 URL 仍然可能出現在搜尋结果里，甚至被別人通過外鏈、日誌或浏览器歷史發現。涉及登入凭證、内部資料、個人信息的頁面，應该用登入驗證、權限控制或直接刪除，而不是只靠 robots.txt。
如果頁面已经刪除，返回 404 或 410 通常比 robots.txt 屏蔽更明确。robots.txt 只阻止抓取，不表達“這個頁面已经不存在”。搜尋引擎需要抓到狀態碼，才能更快地更新索引。
检查與收口的日常做法
- 先明确目标：你是不想被抓取，不想被索引，還是不想被展示？目标不同，動作不同。
- 用搜尋平台的 URL 检查工具看單個 URL 的抓取和索引狀態，別只看 site: 的粗略结果。
- 检查被屏蔽 URL 的外部連結。如果外鏈很多，即使屏蔽抓取，URL 也可能繼續被索引。
- 需要登出索引时，優先用 noindex，並保證頁面可抓取、返回正常狀態碼。
- 登出後再决定是否加 robots.txt 屏蔽。顺序反了，noindex 往往讀不到。
- 定期看服務器日誌和索引报告，確認屏蔽、刪除、noindex 是否按预期生效。
收錄不是單一開關，而是抓取、索引、展示几個环节接力後的结果。robots.txt 能减少蜘蛛訪問，但不能替代 noindex，也不能保證 URL 從搜尋结果里消失。把目标拆清楚，再按顺序操作，通常比一股脑加規則更有效。