页面下线了，搜索里还能搜到——这是很常见的现象。要理解它，先接受一个前提：索引里存的是搜索引擎上一次抓取时看到的结果，不是实时镜像。页面删除只是你这一侧的变化，索引要等到蜘蛛重新访问这个 URL、看到它的状态变化之后，才会跟着更新。
先分清是哪种「下线」
处理方式取决于你想让这个 URL 变成什么，而不是取决于你删了文件。
- 永久删除、没有替代页面：返回 404 或 410。410 语义上更明确，表示已永久移除，但实际差异通常不大，关键是别返回 200。
- 内容迁移到新地址：用 301 指向新 URL，并把站内链接、站点地图一起改过去。只做跳转、不改内链，旧 URL 的抓取会被长期维持。
- 暂时下架、以后还要上：返回 503（可带 Retry-After）比 404 更合适，免得到时候还要重新等一轮收录。
- 页面保留但不想被搜到：用 noindex，而不是直接删除；等索引移除后再决定是否恢复。
索引更新为什么需要时间
蜘蛛得重新抓取这个 URL，才有可能发现它已经 404 或者已经跳转。如果站内还有大量链接指向它，蜘蛛会持续来访，但每次看到的都是同一个状态，更新节奏取决于搜索引擎自己的判断。几个能稍微加快的方式：
- 把该 URL 从站点地图中移除，同时清掉站内指向它的链接；
- 如果页面已迁移，确保 301 生效，并且新页面本身能被正常抓取；
- 使用搜索资源平台提供的移除或刷新工具（各平台名称不同），但不要指望立刻生效。
一个可以照着走的处理顺序
- 先判断这个 URL 是保留、迁移还是彻底删除，选定唯一的目标状态；
- 在服务器上返回与之匹配的状态码，并确认它不是「返回 200 的错误页」（软 404）；
- 清理内链、导航、站点地图里的引用，避免继续给它输送抓取；
- 有替代页面的，把流量用 301 接过去，别让用户落在死页上；
- 等蜘蛛重新访问，观察日志里该 URL 的状态码是否已经变化；
- 过一段时间再核对一次，确认索引里已经没有它。
几个容易踩的坑
用户看到的是 404 页面，蜘蛛看到的却是 200——内容没了，状态码没改。这种情况下索引会一直保留这个 URL，因为在搜索引擎眼里它「一切正常」。
- noindex 和 robots.txt 一起用：robots.txt 禁止抓取之后，蜘蛛读不到页面里的 noindex，移除反而更难。
- 批量删除太急：一次下掉几百个 URL，容易让蜘蛛在短时间内大量撞到错误页，分批处理更稳。
- 只删内容不删链接：内链还在，蜘蛛就会一直来，索引更新的节奏也会被拖慢。
- 把 301 当成临时手段：长期挂着大量 301 链条，会在跳转链路上浪费抓取。
怎么确认处理有没有生效
可以分三处对照：日志里看这个 URL 最近一次被抓取时的状态码；用 URL 检查类工具看它当前的索引状态；再用 site 查询搜一下它的特征词。三者对不上时，以日志为准，因为那是蜘蛛真实看到的结果。
下线页面的索引清理不是一次性开关，而是一个从服务器状态，到内链与站点地图，再到索引更新的过程。把每一步做对，剩下的就是等。