内容有上线就有下线。活动页过期、产品停产、旧版教程被新规范取代，这些都是正常的站点运营动作。但不少站点在下线内容时只做了一步——把页面删掉，剩下的交给服务器返回 404。对用户来说可能只是少了一个入口，对搜索蜘蛛来说却是一串需要重新判断的信号。
下线处理做得好，抓取预算不会被浪费在成片的死链上；做得随意，轻则抓取日志里 404 比例飙升，重则站内大量链接指向不存在的地址，蜘蛛反复来回确认。
先分清下线的几种情况
- 彻底不需要：内容没有替代品，也不会再有用户访问，适合直接返回 404 或 410。
- 内容合并：旧文章的核心信息已经并入新页面，应该用 301 指向新地址，而不是直接删掉。
- 临时下线：比如系统维护、活动间歇期。这类页面不要返回 404，避免地址被当作永久失效；用 503 加 Retry-After 更合适。
- 栏目整体调整：栏目合并或拆分时，先规划好新的 URL 结构，再逐条做跳转，不要一次性全部删除。
状态码别用错
404 和 410 都表示页面不存在，410 更明确地表达“永久移除”。两者都能让蜘蛛知道地址已失效，差别在于 410 通常能让蜘蛛更快停止回访。至于用 200 状态码返回一个“内容已删除”的空壳页，是最容易混淆的做法——蜘蛛看到 200，会认为页面正常，继续抓取和保留，而用户点进来只看到一句提示。
判断标准很简单：这个地址以后还会不会有内容？会，就用 301 跳到新地址；不会，就用 404 或 410，不要用 200 遮掩。
入口清理比删页面更重要
页面文件删掉了，站内指向它的链接往往还在。这些链接散落在导航、推荐位、侧边栏、标签页、相关阅读、旧文章正文和 RSS 里，需要顺着链接关系逐个排查。
- 导航和面包屑里如果有已下线栏目，要同步调整。
- 正文里的内链如果指向已删页面，改成新地址或去掉链接。
- 站点地图、RSS、分类聚合页要重新生成，别继续把死链交出去。
- 站外链接无法控制，但可以通过 301 把用户引导到替代页面。
归档页怎么处理
有些内容不适合直接删，比如历年公告、旧版本说明。可行的做法是保留一个归档索引页，详情页下线后，把索引页里的链接去掉或改为文字说明。注意归档页本身不要变成只有标题堆叠的空壳——如果它没有任何可读内容，对用户和蜘蛛都没有价值，可以考虑合并进主栏目或直接下线。
下线前后的自查动作
- 列出待下线 URL 清单，标注每条的处理方式：301、404、410 或保留。
- 为 301 的目标页确认内容相关度，别把用户和蜘蛛送到一个不相关的首页。
- 清理站内入口，重新生成站点地图与聚合页。
- 用抓取工具抽查几十条地址，确认状态码与预期一致。
- 上线后观察一到两周的抓取日志，看这些地址的访问是否在减少，404 总量是否回到正常区间。
下线不是“删掉就完事”，它更像一次小型的内容迁移。把状态码、跳转和入口清理三件事做完整，站点结构才不会因为几次内容调整留下大面积的空白。