很多站点都有大量“发完就没人管”的老页面:产品说明、教程、常见问题。几个月不看一次,然后在后台看到抓取频次下降、搜索表现下滑,就开始担心“是不是被搜索引擎剔出索引了”。这件事需要分开看:抓取频次、索引状态、排名表现是三件不同的事。
不更新,不等于会被剔出索引
搜索引擎判断一个 URL 是否留在索引里,主要看它是否还能正常访问、内容是否可用、是否与其他页面高度重复,而不是看它最近一次修改时间。一个三年前的说明页,只要还能打开、内容依然准确,通常可以长期留在索引里。
更新频率影响的更多是抓取频次:蜘蛛来得更少,页面有新内容时被发现得慢一些,索引里的版本可能滞后。这是“慢”,不是“掉”。
真正可能让收录消失的几类情况
- 返回码变了:页面被删除返回 404、410,或长期 500、502,蜘蛛多次抓取失败后可能逐步放弃。
- 指令屏蔽:robots.txt 里 disallow 了该路径,或页面加了 noindex,索引会被清掉。
- canonical 指向别处:改版时不小心把 canonical 写成另一个 URL,原页面会被合并。
- 被更合适的页面替代:同一主题下新页面更完整、内链更集中,搜索结果里换成了新页面;老页面仍在索引中,但不再被选为落地页。
- 内容变得不可见:模板改版后正文依赖 JS 渲染,或需要登录才能看到主体内容。
这五类里,前两类和第三类是真正把 URL 从索引里移除;后两类更多是“被替代”或“抓不到”。排查时先确认属于哪一种,处理方式完全不同。
核对一个老页面还在不在索引里
- 用站点限定查询搜索页面标题或一段独特文字,看能否定位到该 URL。
- 在搜索控制台用 URL 检查功能,看它显示“已编入索引”,还是“已发现/已抓取但未编入索引”。
- 看页面索引报告里这一类 URL 的数量变化,单页波动不必紧张,成批下降才需要查。
- 查服务器日志,确认蜘蛛最近是否还来抓过,返回码是什么。
注意:搜索不到某个 URL,不等于它没被收录——查询写法、地区、个性化都可能影响结果。以索引报告和日志为准更稳妥。
老页面该维护还是放手
不是所有老页面都值得投入。可以按几个信号分流:
- 持续有自然流量的,保持可访问、事实准确,必要时小改;
- 没有流量但有外链、或作为内链枢纽的,保持可用并接回相关新页面;
- 信息已经过期、又和其他页面大量重叠的,考虑更新、合并或明确下线;
- 完全无价值的临时页,返回 410 或重定向到相关页面,比放在那里返回 200 空内容更清楚。
判断老页面要不要动,先问“它现在对用户还有没有用”,而不是“它多久没更新了”。
小结:收录是否保留,取决于页面是否可访问、是否可用、是否重复;更新频率主要影响抓取节奏。发现表现下滑时,先按返回码、指令、canonical、渲染方式逐项核对,再决定是修还是放手。