網站收錄

改了标题和正文,索引還是舊版本:已收錄頁面的更新如何被重抓

頁面内容更新後,搜尋结果里却還是舊版本,問题往往出在重新抓取這一环。本文拆解索引快照的形成過程,列出内鏈、站点地图 lastmod、外鏈與工具提交等能让蜘蛛回訪的入口,给出保留或更換 URL 的判断标准,並附上一份可执行的更新检查清單。

網站收錄

改了标题和正文,索引還是舊版本:已收錄頁面的更新如何被重抓

很多站点都有過這種经歷:标题改了、正文补了、價格和联系方式都更新了,過两三周去搜,结果里還是老版本,连摘要都停留在上一版。這不是索引出了問题,而是索引里儲存的是上一次抓取的结果——頁面重新被蜘蛛抓取一次,改動才有机會進入索引。理解這條鏈路,才知道该在哪里用力。

索引里的頁面,是某一次抓取的快照

搜尋引擎不會實时讀取你的服務器。它把頁面抓下来、解析、评估,再寫入索引;之後用戶搜尋时調用的是索引里的副本,而不是現场訪問你的網站。所以“内容已更新”和“索引已更新”之間,隔着一到多次抓取。

這也解释了抓取與收錄的区別:抓取解决“蜘蛛有没有来”,收錄解决“這份内容有没有被存進索引並具备展示條件”。更新已收錄頁面,本质是让它重新走一遍抓取與评估的流程。

能让蜘蛛再来的几個入口

  • 内鏈:首頁、栏目頁、相關推荐里的連結,是最稳定的再抓取入口,锚文本或位置變化都會影响優先級。
  • 站点地图:sitemap 中的 lastmod 要如實反映最後修改時間,長期寫死同一個日期,等于告诉搜尋引擎“這里没變”。
  • 外鏈:外部頁面更新指向你的連結,通常也會带来一次回訪。
  • 工具提交:搜尋资源的 URL 检查與提交入口适合重点頁面,不适合批量刷。
  • 頁面自身變化:正文结构、标题、首屏内容的實质改動,比改一個标点更容易被判定為值得重抓。

改動幅度會影响重新评估的力度

小幅修改,比如修正错別字、替換一張配图,通常只影响快照;而換标题、調整正文主体结构、补充大段新内容,可能触發重新评估,收錄狀態和排名短期出現波動是正常的。

需要留意的是幅度邊界:如果同一個 URL 被彻底改寫成另一個主题,索引里积累的歷史信号(锚文本、点击、外鏈语境)會與新内容错位,反而不如新建 URL 干净。判断标准很简單——主题是否還是同一個,主要搜尋意图是否没變。

換不換 URL,先想清楚

绝大多數内容更新,建议保留原 URL:歷史信号可以繼承,不必重新等一轮评估。确實要換地址时,把這套動作一次做完:

  1. 舊 URL 301 到新 URL,保持單跳,不要串成鏈條;
  2. 新頁面自指 canonical,舊地址不要繼續留在 sitemap 中;
  3. 站内相關内鏈统一改為指向新地址,避免舊地址反复被抓;
  4. 更新 sitemap,並观察日誌里舊地址的抓取量是否逐步下降。

一次完整的更新检查清單

  1. 確認目标 URL 返回 200,没有被 robots.txt 屏蔽,也没有 noindex;
  2. 检查 canonical 指向自身,没有被模板或參數带偏;
  3. 修改 sitemap 中该頁的 lastmod;
  4. 從抓取频次較高的頁面加一两條内鏈指向它;
  5. 必要时用工具提交一次,不要重复提交;
  6. 回看日誌:蜘蛛是否回訪、返回狀態是否正常;
  7. 再观察结果頁的快照時間與摘要,判断索引是否已经跟上。

什么时候不必强求

不是每處改動都值得追一次重新抓取。已决定合並下线的栏目、季节性活動頁、即將做 noindex 或重定向的頁面,改得再勤也难带来實际收益。真正需要盯的,是有稳定搜尋需求、承担主要流量的那批頁面。

几個常见誤区

  • 频繁微調同一頁面,以為每改一次就能刷新一次索引,结果让頁面長期處于不稳定狀態;
  • 把 sitemap 里所有 lastmod 都改成当天,短期可能看到抓取量上升,却會稀释這個字段的可信度;
  • 更新完只提交 URL,不動内鏈和站点地图,抓取優先級依舊很低;
  • 只盯着“已收錄”三個字,不看快照時間,誤以為收錄就等于更新。
更新内容的目的,是让頁面更好地回答用戶的問题,索引刷新只是顺带的结果。把顺序反過来,很容易變成為了抓取而改頁面。