下线不等于從索引里立刻消失
頁面被刪除、商品下架、栏目合並之後，服務器返回什么狀態碼，是蜘蛛判断“這個 URL 是否還有價值”的第一手信息。很多人以為删掉文件就等于處理完了，實际上下线只是起点：蜘蛛手里還留着舊记錄，它需要在下一次回爬时拿到一個明确答复，才會更新自己的记錄。
如果答复含糊，比如返回 200 但内容已经空了，或者跳到一個無關頁面，蜘蛛會反复回来確認，反而占用了本该给新内容用的抓取次數。
404 與 410 的差別在哪里
两者都属于“這個地址没有内容了”，差別就在确定性上。
- 404：表示找不到。可能是临时故障，也可能是永久刪除，语义上有不确定性，蜘蛛通常會繼續观察一段時間再决定如何處置。
- 410：明确表示已永久移除，且不打算恢复。语义更干脆，蜘蛛拿到之後一般會更快把這個地址從待抓列表里清掉。
- 已经确定不再上线的頁面，410 比 404 更省事；临时下架、後續可能恢复的，用 404 或保留一個說明頁更合适。
- 無论選哪個，都應该是真正的狀態碼，而不是用返回 200 的頁面加一句“内容不存在”来替代。
301 跳到哪，比跳不跳更重要
如果下线頁面有最接近的替代内容，比如同款商品、同系列文章、新版栏目，301 到那個頁面是合理的做法。關键是相關性：跳到一個和原内容差异很大的頁面，用戶和蜘蛛都會感到被誤導，舊地址积累的信号也很难顺利传递過去。
- 跳轉目标要稳定，不要今天跳 A、明天跳 B。
- 避免多跳：A 到 B 再到 C 的鏈條會拉長抓取路径，也容易在中間断掉。
- 不要把所有下线頁面统一跳首頁，這會让首頁堆积大量不相關的入口信号。
- 確認跳轉返回的是 301 或 308，而不是靠 JS 跳轉的 200 頁面。
保留空壳頁面是最需要避免的做法
有的站点為了保住頁面地址，會把内容删掉但保留模板，返回 200 和一句“内容已刪除”。這種做法在蜘蛛看来和正常頁面没有区別，它會繼續抓、繼續處理，只是拿到的是一個没有價值的结果，還占着抓取次數。與其如此，不如干脆返回 404 或 410，让這個地址干净地登出。
批量下线时的操作顺序
- 先確認范围：把要下线的地址整理成清單，区分“永久刪除”和“暂时隐藏”。
- 再定狀態碼：永久刪除用 410 或 404，有替代内容的用 301 指向最相關頁面。
- 清理内鏈：把站内指向這些地址的連結改成新地址，或者直接去掉。留着死鏈會影响蜘蛛的抓取路径，也浪費爬取次數。
- 更新 Sitemap：把已下线的地址從清單里移除，避免一邊告诉蜘蛛“這里没内容”，一邊又把地址递上去。
- 處理列表與分頁：如果下线的是列表項，检查分頁、推荐位、相關阅讀等模块是否還會引用到它。
收尾之後怎么確認效果
處理完不等于結束，還需要回头驗證。
- 看抓取日誌里這些地址的响應碼是否正确，有没有出現本该 410 却返回 200 的情况。
- 观察這些地址的回爬频率，正常情况下會逐渐下降，直到不再出現。
- 检查服務器有没有把错誤頁配成软性返回，或者被 CDN 缓存成了其他狀態。
- 如果站点有多個域名或新舊域名並存，確認下线策略在所有入口上保持一致。
狀態碼是给蜘蛛的第一手答复，含糊的答复只會換来反复的確認抓取。
下线是站点运营里很常见的一件事，但它同样是一次和蜘蛛的沟通。狀態碼给得清楚，内鏈和 Sitemap 同步收干净，蜘蛛就能尽快把注意力轉到還有價值的内容上。