内容改完、頁面重新發布,過几天去搜尋里一看,展示的還是舊标题和舊摘要。有人因此判断“頁面被降權了”,其實大多數时候只是索引里儲存的版本還没被替換。URL 依然在索引里,只是索引中的内容快照落後于线上版本。把這一层分清楚很重要,因為“没收錄”和“收錄了但版本舊”需要動手的地方完全不同。
第一步:確認索引里存的是哪一版
先在搜尋框里搜一個頁面特有的句子,看看返回的标题、摘要和時間信息。如果 URL 能搜到,只是信息對不上,那問题在版本更新;如果這個 URL 连同内容都搜不到,那属于收錄层面的問题,得從头查抓取與頁面质量。
還有一種中間狀態:搜尋结果里出現的是同一主题的另一個 URL。這往往是站内重复地址没有收敛,舊地址還在索引里,新地址反而没進来。這類情况要先做 URL 規范,而不是干等重抓。
第二步:改動幅度决定重抓的優先級
搜尋引擎判断要不要重抓,主要看這次改動對頁面主题有没有實质影响。改動越大,它越有動力早点来;改動越小,等下一次例行抓取就够了。
通常不會立刻触發重抓的改動
- 改了几個错別字、調整了标点
- 換了一張配图或者調整图片位置
- 更新頁脚版權年份、联系方式
- 只調整了 CSS 样式,正文文字没動
比較容易触發重抓的改動
- 标题、H1、正文主体大面积重寫
- 頁面主题變了,比如從“产品介绍”改成“選购指南”
- 刪除了大半内容,頁面從完整文章變成几行說明
- 頁面结构變了,原来單一詳情頁改成列表加詳情
- URL 本身變了,這種情况要做跳轉,不是等重抓
如果你的改動属于第一類,却天天盯着搜尋结果焦虑,其實没必要;如果属于第二類却迟迟不更新,那才值得排查。
第三步:按這個顺序核對
- 確認线上版本没被缓存或 CDN 挡住。有时你本地看是新版,蜘蛛拿到的還是舊版,先確認返回的 HTML 确實是新的。
- 確認新内容對蜘蛛可见。如果正文靠前端渲染,蜘蛛可能只拿到空壳,用抓取工具看看返回源碼里有没有正文。
- 確認頁面没有阻挡重抓的信号。比如 robots 設定、頁面長期返回 5xx,都會让重抓排後。
- 看日誌里最近有没有来過。如果抓了但版本没換,多半是内容差异不够;如果压根没来,問题在發現路径。
- 检查發現路径是否還通。頁面入口是不是只挂在某個深层列表頁,内鏈在改版时被顺手删了。
- 用 sitemap 的 lastmod 给出明确信号。真正改動後再更新,不要每次發布都無脑刷新。
- 主動提交這次更新的 URL。提交只是提示,不保證立刻重抓,但能缩短等待時間。
第四步:几個常见誤区
- 频繁小改然後反复提交。每次都当成重大更新,時間久了這類信号會變弱。
- 改動後把 URL 換掉。内容更新不是換地址的理由,換地址只會增加迁移成本。
- 只看快照時間判断好坏。快照時間只是抓取记錄的一部分,不等于頁面质量。
- 把版本滞後当成惩罚。大多數情况下它只是抓取排期問题,不是降權。
第五步:运营侧能主動做的事
把更新频率稳定下来,比偶尔一次大改更有效。搜尋引擎對長期稳定更新的站点,抓取节奏也會相對規律一些。
另外,重要頁面的入口不要只依赖一條路径。首頁、栏目頁、相關推荐、sitemap 里都留下入口,蜘蛛發現和重抓的概率都會高一些。改版时尤其要注意:老頁面的内鏈被删掉之後,它可能几周都没人再訪問,自然也不會被重抓。
版本更新慢,先別急着改 URL 或重建頁面。先確認线上返回的是不是新内容,再確認發現路径與抓取信号,最後才是等待或主動提交。
最後提醒一句:索引更新本身就有延迟,几天的滞後属于正常范围。真正需要動手的,是那些抓取路径断了、内容對蜘蛛不可见、或者站内重复地址互相干扰的情况。