内容下架、活動結束、商品停售、栏目合並——站点运营中總有一些頁面需要登出。但“從網站上删掉”和“從索引里消失”是两件事。不少站長删完頁面就以為結束了，几周後搜尋结果里仍挂着舊标题和舊摘要。問题通常不在爬虫慢，而在下线方式選错了。

先分清三種“下线”

動手之前，先確認頁面属于哪一種情况，選法完全不同。

• 彻底不要了：内容永久废弃，以後也不會再做同類頁面。
• 暂时不對外：頁面本身還想留着，只是不希望出現在搜尋结果中。
• 只是換了地址：内容還在，搬到了新 URL。這属于重定向，用 301 處理，不在本文讨论范围。

404：預設做法，适合内容确實消失

頁面刪除後，服務器對舊 URL 返回 404，是最常见也最简單的處理。它传递的信息是：這個地址現在没有内容。爬虫多次訪問都拿到 404 之後，會逐步把它從索引中移除。

關键点是狀態碼要真實。如果服務器返回 200，再用模板顯示一句“頁面不存在”，對爬虫来说這就是一個正常頁面，只是内容很空——也就是常说的软 404，頁面可能長期留在索引里。

410：把“永久移除”说清楚

410 的语义比 404 更明确：资源曾经存在，並且确定不會再回来。因為不需要反复確認，爬虫對 410 的處理通常比 404 更果断，失效過程可能更快一些。

但它不是萬能钥匙。批量把几萬個頁面全改成 410，並不會让它們一夜之間消失；而且如果内容以後可能恢复，用 410 就不太合适——恢复时往往要重新走一遍發現與收錄流程。

noindex：頁面保留，但不進索引

想让頁面繼續為登入用戶或内部流程服務，只是不出現在搜尋结果里，用 noindex 更合适。它寫在頁面的 meta 标簽或 HTTP 响應头里，告诉爬虫：可以抓，但別放進索引。

這里有個常见的坑：noindex 必须让爬虫抓到頁面才能生效。如果同时在 robots.txt 里 Disallow 了這個路径，爬虫根本讀不到标簽，頁面反而可能一直留在索引中。两者不要同时用。

為什么不建议用 robots.txt 做下线

robots.txt 管的是“能不能抓”，不是“能不能收錄”。它只能阻止爬虫訪問，無法刪除已经建立的索引记錄。用它来下线已收錄頁面，常见的结局是：爬虫進不来，索引里的舊版本也永遠得不到更新。

唯一相對合理的使用场景，是頁面數量极大、服務器压力扛不住时，先用它降低抓取频率，再逐步處理狀態碼。這只是過渡手段，不是终点。

下线之後的收尾清單

1. 把站内指向该頁面的内鏈清理掉，或改指到相關的新頁面，避免用戶和爬虫走到死路。
2. 從 sitemap 中移除對應 URL，不要让它繼續被当作有效地址提交。
3. 如果頁面只是換地址，確認 301 指向的是内容最接近的頁面，而不是统一扔到首頁。
4. 批量下线时按批次進行，別在一天内改動成千上萬個 URL 的狀態碼。
5. 過一段時間再抽查几個 URL，確認索引中的狀態與摘要文字已经更新。

下线不是删文件那么简單：選對狀態碼、保住抓取通道、清理站内入口，三件事都做到，索引里的舊记錄才會慢慢退场。