下线不等于从索引里立刻消失
页面被删除、商品下架、栏目合并之后，服务器返回什么状态码，是蜘蛛判断“这个 URL 是否还有价值”的第一手信息。很多人以为删掉文件就等于处理完了，实际上下线只是起点：蜘蛛手里还留着旧记录，它需要在下一次回爬时拿到一个明确答复，才会更新自己的记录。
如果答复含糊，比如返回 200 但内容已经空了，或者跳到一个无关页面，蜘蛛会反复回来确认，反而占用了本该给新内容用的抓取次数。
404 与 410 的差别在哪里
两者都属于“这个地址没有内容了”，差别就在确定性上。
- 404：表示找不到。可能是临时故障，也可能是永久删除，语义上有不确定性，蜘蛛通常会继续观察一段时间再决定如何处置。
- 410：明确表示已永久移除，且不打算恢复。语义更干脆，蜘蛛拿到之后一般会更快把这个地址从待抓列表里清掉。
- 已经确定不再上线的页面，410 比 404 更省事；临时下架、后续可能恢复的，用 404 或保留一个说明页更合适。
- 无论选哪个，都应该是真正的状态码，而不是用返回 200 的页面加一句“内容不存在”来替代。
301 跳到哪，比跳不跳更重要
如果下线页面有最接近的替代内容，比如同款商品、同系列文章、新版栏目，301 到那个页面是合理的做法。关键是相关性：跳到一个和原内容差异很大的页面，用户和蜘蛛都会感到被误导，旧地址积累的信号也很难顺利传递过去。
- 跳转目标要稳定，不要今天跳 A、明天跳 B。
- 避免多跳：A 到 B 再到 C 的链条会拉长抓取路径，也容易在中间断掉。
- 不要把所有下线页面统一跳首页，这会让首页堆积大量不相关的入口信号。
- 确认跳转返回的是 301 或 308，而不是靠 JS 跳转的 200 页面。
保留空壳页面是最需要避免的做法
有的站点为了保住页面地址，会把内容删掉但保留模板，返回 200 和一句“内容已删除”。这种做法在蜘蛛看来和正常页面没有区别，它会继续抓、继续处理，只是拿到的是一个没有价值的结果，还占着抓取次数。与其如此，不如干脆返回 404 或 410，让这个地址干净地退出。
批量下线时的操作顺序
- 先确认范围：把要下线的地址整理成清单，区分“永久删除”和“暂时隐藏”。
- 再定状态码：永久删除用 410 或 404，有替代内容的用 301 指向最相关页面。
- 清理内链：把站内指向这些地址的链接改成新地址，或者直接去掉。留着死链会影响蜘蛛的抓取路径，也浪费爬取次数。
- 更新 Sitemap：把已下线的地址从清单里移除，避免一边告诉蜘蛛“这里没内容”，一边又把地址递上去。
- 处理列表与分页：如果下线的是列表项，检查分页、推荐位、相关阅读等模块是否还会引用到它。
收尾之后怎么确认效果
处理完不等于结束，还需要回头验证。
- 看抓取日志里这些地址的响应码是否正确，有没有出现本该 410 却返回 200 的情况。
- 观察这些地址的回爬频率，正常情况下会逐渐下降，直到不再出现。
- 检查服务器有没有把错误页配成软性返回，或者被 CDN 缓存成了其他状态。
- 如果站点有多个域名或新旧域名并存，确认下线策略在所有入口上保持一致。
状态码是给蜘蛛的第一手答复，含糊的答复只会换来反复的确认抓取。
下线是站点运营里很常见的一件事，但它同样是一次和蜘蛛的沟通。状态码给得清楚，内链和 Sitemap 同步收干净，蜘蛛就能尽快把注意力转到还有价值的内容上。