頁面下线了，搜尋里還能搜到——這是很常见的現象。要理解它，先接受一個前提：索引里存的是搜尋引擎上一次抓取时看到的结果，不是實时镜像。頁面刪除只是你這一侧的變化，索引要等到蜘蛛重新訪問這個 URL、看到它的狀態變化之後，才會跟着更新。
先分清是哪種「下线」
處理方式取决于你想让這個 URL 變成什么，而不是取决于你删了文件。
- 永久刪除、没有替代頁面：返回 404 或 410。410 语义上更明确，表示已永久移除，但實际差异通常不大，關键是別返回 200。
- 内容迁移到新地址：用 301 指向新 URL，並把站内連結、站点地图一起改過去。只做跳轉、不改内鏈，舊 URL 的抓取會被長期维持。
- 暂时下架、以後還要上：返回 503（可带 Retry-After）比 404 更合适，免得到时候還要重新等一轮收錄。
- 頁面保留但不想被搜到：用 noindex，而不是直接刪除；等索引移除後再决定是否恢复。
索引更新為什么需要時間
蜘蛛得重新抓取這個 URL，才有可能發現它已经 404 或者已经跳轉。如果站内還有大量連結指向它，蜘蛛會持續来訪，但每次看到的都是同一個狀態，更新节奏取决于搜尋引擎自己的判断。几個能稍微加快的方式：
- 把该 URL 從站点地图中移除，同时清掉站内指向它的連結；
- 如果頁面已迁移，确保 301 生效，並且新頁面本身能被正常抓取；
- 使用搜尋资源平台提供的移除或刷新工具（各平台名稱不同），但不要指望立刻生效。
一個可以照着走的處理顺序
- 先判断這個 URL 是保留、迁移還是彻底刪除，選定唯一的目标狀態；
- 在服務器上返回與之匹配的狀態碼，並確認它不是「返回 200 的错誤頁」（软 404）；
- 清理内鏈、導航、站点地图里的引用，避免繼續给它輸送抓取；
- 有替代頁面的，把流量用 301 接過去，別让用戶落在死頁上；
- 等蜘蛛重新訪問，观察日誌里该 URL 的狀態碼是否已经變化；
- 過一段時間再核對一次，確認索引里已经没有它。
几個容易踩的坑
用戶看到的是 404 頁面，蜘蛛看到的却是 200——内容没了，狀態碼没改。這種情况下索引會一直保留這個 URL，因為在搜尋引擎眼里它「一切正常」。
- noindex 和 robots.txt 一起用：robots.txt 禁止抓取之後，蜘蛛讀不到頁面里的 noindex，移除反而更难。
- 批量刪除太急：一次下掉几百個 URL，容易让蜘蛛在短時間内大量撞到错誤頁，分批處理更稳。
- 只删内容不删連結：内鏈還在，蜘蛛就會一直来，索引更新的节奏也會被拖慢。
- 把 301 当成临时手段：長期挂着大量 301 鏈條，會在跳轉鏈路上浪費抓取。
怎么確認處理有没有生效
可以分三處對照：日誌里看這個 URL 最近一次被抓取时的狀態碼；用 URL 检查類工具看它目前的索引狀態；再用 site 查询搜一下它的特征词。三者對不上时，以日誌為准，因為那是蜘蛛真實看到的结果。
下线頁面的索引清理不是一次性開關，而是一個從服務器狀態，到内鏈與站点地图，再到索引更新的過程。把每一步做對，剩下的就是等。