你可能遇到过这种情况：在 robots.txt 里写了 Disallow，确认蜘蛛不该抓某个目录，但过一段时间用 site: 查，还是能看到那个目录下的 URL。点进去，搜索结果只显示一行“由于该网站的 robots.txt，我们无法提供该页面的具体描述”。这并不一定是搜索引擎“不守规则”，而是把抓取和索引当成了同一件事。
抓取、索引、展示是三道不同的门
先拆开看：
- 抓取：蜘蛛请求 URL，下载 HTML。robots.txt 主要在这一步起作用。
- 索引：搜索引擎把抓到的内容、URL、链接关系存入自己的数据库。索引不等于最终展示，但它是展示的候选池。
- 展示：用户搜索某个词时，搜索引擎从索引里挑出它认为合适的页面，按一定顺序呈现。
robots.txt 是抓取指令，不是收录开关。它告诉蜘蛛“这个地址不要来抓”，但没有能力直接命令搜索引擎“把已经知道的 URL 从索引里删掉”。如果某个 URL 通过外链、站内链接、站点地图、历史抓取记录等方式已经被发现，搜索引擎完全可以只记录这个 URL，而不去抓取正文内容。于是你看到的结果就是：有 URL，没有摘要，或者摘要来自外部锚文本。
被屏蔽的 URL 为什么还会进索引
常见原因有几种：
- 先被收录，后被屏蔽。 页面早期允许抓取，已经进了索引。后来你加了 robots.txt，蜘蛛不再抓取，但旧索引不会因为一条屏蔽规则就立刻消失。
- URL 被外部链接暴露。 其他网站链接了你的被屏蔽页面。蜘蛛不能抓取目标页，但能看到链接指向的 URL，于是可能只把这个 URL 放进索引。
- 站内仍有可抓取的链接。 如果某个允许抓取的页面链到了被屏蔽地址，蜘蛛会知道这个 URL 存在。它不抓内容，但可能记录 URL。
- 站点地图或历史提交。 过去提交过的 URL，搜索引擎已经知道，robots.txt 只阻止后续抓取。
另外，已经删除的页面如果返回 404，也可能在一段时间内继续出现在搜索结果里，直到搜索引擎重新抓取并确认状态。这不是“删不干净”，而是索引更新有延迟。
noindex 和 robots.txt 不要一起乱用
很多人想让页面彻底退出索引，会同时做两件事：在 robots.txt 里屏蔽，又加上 noindex meta 标签。结果往往是 noindex 根本没生效。
原因很简单：noindex 必须被蜘蛛抓取到才能被读取。如果 robots.txt 已经阻止抓取，蜘蛛进不来，就看不到页面里的 noindex。它可能仍然保留这个 URL 的索引记录，或者以后只索引 URL。正确顺序通常是：
- 先允许抓取该页面，确保蜘蛛能访问。
- 在 HTTP 头或 HTML 里加 noindex，并确认返回 200 状态码，不要用软 404 糊弄。
- 等搜索引擎重新抓取，观察该 URL 从索引中退出。
- 确认退出后，如果确实不想再被抓取，再考虑用 robots.txt 屏蔽或直接删除页面。
robots.txt 管的是“能不能来抓”，noindex 管的是“抓到后要不要收录”。把两件事混在一起，容易出现想屏蔽却屏蔽不掉，想收录却收不进来的情况。
如果页面涉及隐私或敏感信息
robots.txt 不是安全工具。被屏蔽的 URL 仍然可能出现在搜索结果里，甚至被别人通过外链、日志或浏览器历史发现。涉及登录凭证、内部数据、个人信息的页面，应该用登录验证、权限控制或直接删除，而不是只靠 robots.txt。
如果页面已经删除，返回 404 或 410 通常比 robots.txt 屏蔽更明确。robots.txt 只阻止抓取，不表达“这个页面已经不存在”。搜索引擎需要抓到状态码，才能更快地更新索引。
检查与收口的日常做法
- 先明确目标：你是不想被抓取，不想被索引，还是不想被展示？目标不同，动作不同。
- 用搜索平台的 URL 检查工具看单个 URL 的抓取和索引状态，别只看 site: 的粗略结果。
- 检查被屏蔽 URL 的外部链接。如果外链很多，即使屏蔽抓取，URL 也可能继续被索引。
- 需要退出索引时，优先用 noindex，并保证页面可抓取、返回正常状态码。
- 退出后再决定是否加 robots.txt 屏蔽。顺序反了，noindex 往往读不到。
- 定期看服务器日志和索引报告，确认屏蔽、删除、noindex 是否按预期生效。
收录不是单一开关，而是抓取、索引、展示几个环节接力后的结果。robots.txt 能减少蜘蛛访问，但不能替代 noindex，也不能保证 URL 从搜索结果里消失。把目标拆清楚，再按顺序操作，通常比一股脑加规则更有效。