不少站点把收錄当成一次性開關:URL 提交了、日誌里看到蜘蛛了,就当作這件事已经結束。實际上索引里的頁面會随着内容變化、内鏈調整、同類頁面竞争而不断被重新评估。同一個 URL 在上线、稳定、衰退、下架這几個阶段,需要的動作並不一样。用同一套标准一刀切,常见结果就是该留下的頁面没留住,该清理的舊頁面長期占位。
新頁面阶段:先让它的身份足够清楚
新 URL 最怕的不是抓得慢,而是被抓到时姿態含糊。蜘蛛第一次訪問拿到的信息,會影响它對這個 URL 的判断基础。
- 確認主版本唯一:篩選、排序、跟踪類參數尽量不要生成可被抓取的獨立 URL;
- 标题、正文首屏、结构化資料對同一主题给出一致表述,不要一個说产品、一個说攻略;
- 站内至少有一條稳定入口,站点地图和蜘蛛池只是补充,不能替代導航和内鏈;
- 頁面上不要同时出現互相矛盾的 robots 指令與 canonical 指向。
這個阶段不必追求最快收錄,而是尽量让蜘蛛一次就看清這個 URL 代表什么、和站内哪些頁面是同類。
稳定期:内容改動後要回头看索引是否跟上
頁面進索引之後,很多人就不再管它了。可只要正文、标题或主要模块發生改動,索引里的版本就可能與线上不一致。
小改動與大改動分開處理
修正错別字、調整措辞這類小改動,通常不需要額外動作,让蜘蛛自然回訪即可。但如果主题、目标词或頁面结构發生明顯變化,就要主動確認:舊的索引标题是否還在、URL 是否被替換成了別的版本、内鏈指向有没有跟着更新。
還需要留意一種情况:站点把两個主题相近的頁面合並成一個新 URL,却没有處理舊 URL 的去向。舊頁面如果只是返回 404 或保留残頁,權重和用戶都會被分散。
衰退期:判断是该保留、合並還是放弃
不是所有頁面都值得長期留在索引里。判断时可以看几個信号:
- 長期没有自然流量,也没有站内入口点击;
- 内容與站内其他頁面高度重叠,只是換了個标题;
- 頁面信息已经過期,繼續存在會誤導用戶;
- URL 结构本身混乱,或與現有栏目不再匹配。
如果判定為合並,就把有用的信息並入主頁面,舊 URL 做 301 指向新地址;如果判定為放弃,就直接返回 410 或 404,而不是把頁面留着、只加一個 noindex 了事。保留一個 noindex 的空壳頁面,對用戶和蜘蛛都不算清爽。
下架期:刪除的方式比刪除本身更重要
刪除頁面时,先確認三件事:這個 URL 有没有外部連結或站内連結指向;它的内容有没有被其他頁面繼承;它是不是某個流程中的必要环节。確認之後再决定是 301、410 還是保留一個說明頁。
另外,下架後的一段時間里,索引里仍可能出現舊 URL,這是正常過程,不需要反复提交刪除請求,也不要因為看到舊 URL 就临时把它恢复。稳定地维持處理结果,比频繁改動更容易让狀態收敛。
给站点定一個固定的检查节奏
與其每天盯着收錄數量波動,不如按周或按月做几件固定的事:抽查新上线 URL 的代表版本是否正确;核對重点頁面改動後索引标题與摘要是否更新;清理合並後残留的舊 URL;检查站点地图里是否還包含已经下架的地址。
收錄是持續维護的狀態,不是一次提交的结果。把頁面按阶段分開處理,比用一套動作應對所有 URL 更省事。