改完一段内容,過几天在搜尋结果里看到的還是舊标题、舊摘要,這是很常见的情况。它不代表頁面被排除,也不代表搜尋引擎卡住了,多數时候只是更新的鏈條没有走完。把這條鏈條拆開看,會比反复提交 URL 更有用。
先確認卡在哪一步
内容更新要反映到搜尋结果里,至少要经過三件事:爬虫重新抓取、搜尋引擎更新索引里的版本、结果頁展示新版本。這三件事是串行的,任何一步没完成,你看到的都還是舊内容。
- 没重新抓取:日誌里最近一次抓取時間還停在修改之前。
- 抓取了但索引没換:日誌里能看到新的抓取,但抓回来的内容被判定為變化不大,或者新版本還没被采用。
- 索引換了但展示滞後:用頁面检查類工具能看到已更新,搜尋结果仍是舊摘要,這通常只是展示层的延迟。
先分清是哪一種,再决定要不要做額外動作。很多人一上来就重复提交,實际上問题出在第一步。
為什么爬虫不急着回来
抓取是有成本的行為,搜尋引擎會根據頁面的歷史表現决定回訪节奏。一個長期不怎么變動、外部連結很少、也很少被点击的頁面,回訪間隔本来就會被拉長。改動一次内容,並不會立刻改變這個节奏。
另外,如果站点整体响應慢、错誤率高,或者大量低價值 URL 占用了抓取額度,重要頁面的回訪也會被挤到後面。這不是针對單個頁面的判断,而是整站抓取分配的结果。
更新时可以做的几件事
- 改動要足够實质。換几個同义词、調整语序,在很多判断里不算有變化。补充新資料、修正错誤、增加新的段落,更新信号才更明确。
- 让服務器的時間戳说真话。正确配置 Last-Modified 與 ETag,能让爬虫用條件請求判断内容是否變化,减少無效抓取,也让真實改動更容易被识別。
- sitemap 里的 lastmod 要與實际改動一致。每次發布都無差別刷新 lastmod,會削弱這個字段的可信度;反過来,改了很久却一直不更新,也不利于被發現。
- 從被抓取频繁的頁面给一條内鏈。首頁、栏目頁、热门文章的連結入口,會直接影响爬虫多久碰到這個 URL。
- 检查頁面本身是否可達。被 robots.txt 挡住的、带 noindex 的、需要登入才能看到更新内容的頁面,改動再大也不會進入索引流程。
几件容易被做過头的事
重复提交和频繁改時間戳,不會让更新變快,只會让信号變脏。
- 把整站 URL 反复提交一遍,其中大部分内容没有任何變化。
- 每天改動頁面里無關紧要的字符,只為让爬虫以為更新了。
- 在多個位置同时堆叠更新提示,却不解决抓取频率本身的問题。
怎么驗證结果
比較可靠的做法是看服務端日誌:找到目标 URL 最近几次的抓取時間、返回狀態和响應大小。如果抓取時間已经晚于你的修改時間,說明發現和抓取這一环通了,剩下的是索引采用的問题;如果抓取時間一直没動,重点應该放在入口、内鏈和整站抓取效率上,而不是繼續提交。
對少數關键頁面,可以用站点管理員工具里的 URL 检查功能看最近抓取情况,但它是抽样和诊断用的,不适合当作批量加速的手段。
小结
内容更新後索引没變,通常是抓取节奏、變化识別、索引采用三段中的某一段没走完。把“我改了”變成“爬虫能看出来我改了”,比反复提交更接近問题的根子。更新的频率和幅度都保持真實,長期看反而更容易被稳定回訪。