站点跑久了,总有一些页面悄悄失去价值:活动已经结束、产品早已下架、招聘名额招满、旧版说明被新文档取代。这些页面往往还挂在线上,静静地占着栏目位、内链位和抓取配额。定期做一轮过期内容归档,比单纯追求更新频率更能让站点保持清爽。
一、先分清哪些页面已经过期
过期不等于打不开。很多失效页面的状态码还是 200,内容也还在,只是对用户和搜索引擎都不再有意义。可以按下面几类先做盘点:
- 时间限定型:节日促销、限时报名、往期活动专题、已经结束的直播回放页。
- 状态变更型:已下架商品、已停售套餐、已关闭的服务入口。
- 被替代型:旧版本帮助文档、旧价格表、被新版页面取代的说明页。
- 临时过渡型:改版期间的占位页、测试栏目、只用于一次投放的落地页。
盘点时建议连内链一起看:哪些栏目、导航、文章正文里还在指向这些页面。只删页面不动内链,等于把无效地址留给蜘蛛反复发现。
二、三种处理方式,别一刀切
1. 保留,但明确标注时效
有些内容仍有参考价值,比如历年数据、旧版对比。这类页面可以在标题或正文开头标注时间范围,说明该内容对应某年某版本,并给出指向最新内容的链接。这样既不误导用户,也避免蜘蛛把它当成当前有效信息。
2. 合并到新的主页面
如果多个过期页面讲的是同一件事,与其各自留着,不如把有效信息归并到一个主页面,过期地址做 301 指向它。注意一次到位,不要串成 A 到 B 再到 C 的长跳转链。
3. 直接下线
确实没有保留价值的页面,就让它干净地消失,短期临时页、纯占位页用 410 或 404 都可以。如果只是暂时下线、之后还会恢复,就不要急着删地址,先保留并放一个说明页,避免地址状态反复摇摆。
三、归档前的自查清单
- 确认页面类型和当前状态码是否匹配,别让空内容顶着 200。
- 检查站内所有指向该地址的链接,同步移除或改指向。
- 确认该地址没有被 sitemap、RSS 或其他提交渠道继续输出。
- 确认没有外部流量依赖,或已经为重定向做好准备。
- 归档后观察日志中该地址的抓取次数是否逐步下降。
四、归档也要有节奏
不建议一次性大批量下线。比较稳妥的做法是按栏目分批处理,每批之间留出间隔,同时观察服务器状态、日志抓取量和栏目数据。突然少掉几百个地址,容易让蜘蛛在站内反复试探,也会让运维侧难以判断异常到底来自哪里。
归档的目的不是把页面变少,而是让还在线上的页面更明确地表达:我现在是有效的。
如果站点本身就依赖大量长尾时效页做 URL 发现,归档时更要留出替代入口:把有价值的旧内容整合进新的聚合页或专题页,让蜘蛛在旧地址消失后仍能找到新的去处。归档做得好,抓取会更集中到真正需要更新的页面上;做不好,就只是制造一批新的死链。