内容下架、活動結束、产品停产，頁面删掉了，但過几周在搜尋结果里還能看到舊标题和舊摘要。這種情况不是蜘蛛“忘了”，而是让它從索引里抹掉一條记錄，需要明确的信号，也需要時間。

先分清是“不再维護”還是“彻底刪除”

• 只是不再更新，但頁面還有參考價值：保留，在頁面里补一句說明，別急着删。
• 與目前业務無關，希望它彻底消失：走刪除流程，返回明确的狀態碼。
• 只是換了地址：用 301 指向新頁面，這不是刪除，不要当刪除處理。

三種情况的操作完全不同。最常见的失誤是：本来只想換地址，却直接把舊頁面删掉返回 404，舊入口被清掉，新頁面又没接住，等于自己把流量入口關了。

返回正确的狀態碼，別让蜘蛛猜

頁面确定不要了，服務器應该返回 404 或 410，而不是繼續返回 200。

• 404：内容不存在，语义相對模糊，可能被理解成临时狀態。
• 410：明确告知頁面已永久移除，通常處理會更干脆。
• 200：哪怕頁面是個空壳，也會被当成正常頁面。這就是软 404，很容易長期留在索引里。

還有一種做法是把刪除的頁面全部重定向到首頁。對用戶看起来友好，但對搜尋引擎来说，這等于告诉它“這個舊地址現在指向首頁”。如果成批這么做，多數會被当成软 404 處理，反而拖慢清理進度。

別用 robots.txt 去“藏”頁面

這是很常见的誤操作。把想刪除的 URL 寫進 robots.txt 屏蔽掉，蜘蛛就無法訪問它，自然也就看不到頁面上的 410 狀態或 noindex 标簽。结果是：蜘蛛不再来了，但索引里的舊记錄可能一直留着。

更合理的顺序是：先让頁面返回 410，或者允许抓取並放置 noindex，等索引确實移除之後，再考虑要不要屏蔽。

noindex 和刪除是两件事

noindex 的意思是“可以抓取，但不要收錄”，适合那些還想让用戶訪問、只是不希望進搜尋的頁面，比如登入頁、内部說明頁。它需要頁面能被蜘蛛抓到才會生效，一旦同时加了 robots 屏蔽，noindex 就形同虚设。

清理索引要做的配套動作

1. 更新站点地图，把已经刪除的 URL 移出去，別让舊地址繼續被反复提交。
2. 清理站内指向這些頁面的連結，或改成指向替代頁面，避免内部還在往死鏈上送蜘蛛。
3. 检查外部是否還有指向舊地址的連結，能改的尽量改成新地址，改不了的就让它自然衰减。
4. 站長平台的 URL 移除工具可以處理少量紧急頁面，但它只是临时压制，最终還是要靠 404 或 410 把狀態说清楚。

大批量刪除要分批来做

一次性删掉成百上千個頁面，蜘蛛下次来訪时會撞见大量 404，抓取分配會重新調整，這個阶段收錄波動是正常的。如果這些頁面本身還有流量或外鏈，建议分批處理，並提前给重点内容准备好替代地址。

判断清理是否生效，可以看抓取日誌里這些 URL 的返回碼是否稳定在 404 或 410，以及索引狀態里對應的排除原因，而不是每天去搜尋结果里手動搜一遍。

刪除之後，索引更新需要時間，几周甚至更久都算正常。把狀態碼、内鏈、站点地图這几件事做干净，剩下的交给抓取周期就好。