站点运营里，URL 的生命周期往往比页面内容更长。栏目合并、商品下架、文章重写、域名迁移，都会让一批地址失效或者换位置。对用户来说，一个跳转、一个 404 页面就结束了；对搜索蜘蛛来说，这条抓取路径还要再走几步，而这几步的处理方式，会影响它对整个站点的判断。
蜘蛛拿到一个 URL 之后，先看的是状态码
不管是内链、Sitemap 还是历史记录里的地址，蜘蛛最终都是发一个请求过去，然后看响应状态。状态码是它对这条路径的第一次判断，比页面内容更早生效。
- 200：页面还在，继续解析内容和出链。
- 3xx：地址变了，跟着跳转继续走。
- 404 / 410：这里没有内容，通常不再深入。
- 5xx：服务器出问题，多半会稍后再来。
所以处理下线 URL 时，第一步不是删文件，而是确认服务器返回的状态是否和你的意图一致。
301：把抓取路径平移到新地址
页面只是换了地址、内容仍然存在时，301 是最常见的做法。它相当于告诉蜘蛛：这个 URL 的职责已经交给另一个地址，后续请去那边。
几个容易忽略的细节
- 不要串成长链。A 跳 B、B 再跳 C，每多一跳就多一次请求。能直接跳到终点就跳终点。
- 跳转目标必须能正常打开。如果 301 指向的页面本身是 404，或者被 robots 挡住，蜘蛛走到一半就断了。
- 站内链接要同步改。只改跳转不改内链，页面上仍然到处是旧地址，等于人为制造了大量绕路。
- 别用 302、307 长期代替 301。临时跳转表达的语义和永久跳转不同，长期使用容易让蜘蛛反复确认旧地址。
404 和 410：明确告诉蜘蛛这里没有了
内容确定不再提供、也没有对应新页面时，返回 404 是干净的处理方式。410 的语义更明确，表示这是主动删除并且不会恢复。两者对蜘蛛来说都属于“不必再来”，实际表现可能接近，不必为了用 410 而把简单的删除复杂化。
真正要避免的是两种情况：一是删除内容后仍然返回 200，页面上只留一句“内容已删除”；二是把失效地址全部 301 到首页。前者会让蜘蛛继续把空页面当成有效内容，后者会让首页被大量无关入口指向，两件事都会让抓取路径变得含糊。
只删文件不删链接，会发生什么
页面删掉了，但导航、相关推荐、Sitemap 里还留着旧地址，蜘蛛每次来都会重新走一遍这些死路。少量无妨，成规模时，抓取资源就会持续消耗在没有结果的地址上。
判断标准很简单：如果你自己从首页出发，还会不会点到这个旧地址。会，就说明链接没清干净。
批量下线时，把节奏拆开
- 先确认这批 URL 是“换地址”还是“彻底消失”，分别对应 301 和 404。
- 更新内链：导航、面包屑、正文里的相关链接优先处理。
- 同步清理 Sitemap，不要让文件里继续保留已经下线的地址。
- 分批下线，避免同一天把大量路径变成死路，也让观察日志时更容易分辨原因。
- 下线一段时间后回看服务器日志，确认这些地址的访问量是否在下降。
换域名或改结构时，注意抓取入口
改版或迁移时，蜘蛛往往要通过旧地址才能找到新地址。如果旧域名整体停止服务、没有任何跳转，蜘蛛就失去了入口。比较稳妥的顺序是：先让新地址可访问，再在旧地址上做好跳转，最后才考虑关停旧服务。Sitemap 里的地址也应切换到新域名，而不是新旧混放。
把清理当成日常动作
URL 下线不是一次性项目。每次栏目调整、商品下架、文章合并，都会产生一批需要收尾的地址。把它们记进常规流程，比积累几百个失效链接之后再去集中排查要省力得多。抓取路径越清楚，站点在抓取层面的表现就越可预期——这不需要额外技巧，只需要把每次迁移做完整。