很多站点的收錄問题,是在某天發現流量掉了才被想起的。此前的几個月里,頁面發完就結束了,没人再看索引狀態,也没人翻日誌。等發現異常时,能回溯的信息已经很少。把收錄当成一次性動作,問题往往就以這種方式慢慢积累。
為什么“發完就不管”容易出問题
一個 URL 從被發現,到被抓取、渲染、判断质量、寫入索引,每一环都可能因為环境變化而改變结果。服務器變慢、模板改動、内鏈調整、robots 規則更新,都會让原本能進索引的頁面停在半路。這些變化不會自己發出通知,只能從資料和日誌里看出来。
所以更現實的做法是:把索引狀態当成一項常規运维,按固定频率去看,而不是等出事之後再救火。
固定下来要看的几样東西
索引狀態报告
後台的索引报告适合看趋势,而不是盯某一天的绝對值。重点關注两類變化:一是“已抓取,尚未编入索引”持續增長,二是“已發現,尚未抓取”的數量突然變大。前者通常和頁面质量或重复度有關,後者往往指向抓取能力或站点结构的問题。
服務器日誌里的蜘蛛訪問
日誌能回答报告回答不了的問题:蜘蛛到底来没来,来的是哪些地址,返回的是 200 還是 5xx,两次抓取之間隔了多久。如果某類頁面在日誌里長期訪問量為零,那多半不是收錄問题,而是這些 URL 根本没被發現。
- 看狀態碼分布:5xx 和 429 變多时,先修服務器,別急着改内容。
- 看訪問路径:蜘蛛是從首頁、栏目頁還是 sitemap 進来的。
- 看新頁面:上线後有没有出現在日誌里,隔多久再出現。
站点结构與新頁面的入口
内鏈是最稳定的發現通道。如果新頁面只能從 sitemap 找到,没有任何内鏈指向它,被發現的速度和稳定性都會差一截。定期检查栏目頁、列表頁、相關推荐模块,確認新内容能被正常鏈到,而不是發完就沉底。
内容更新與舊頁面复核
並不是所有頁面都需要定期改動,但有一類值得定期翻出来看:
- 标题或主体内容已经過时,但仍在被訪問的頁面;
- 多個頁面在讲同一件事、互相竞争的;
- 内容被大幅删减,只剩一個空壳的;
- 原本有内鏈指向,後来因為改版被孤立的。
這類頁面不一定都要删。合並、补充内容、調整内鏈、指定規范地址,都是可選動作,關键是有人定期把它們找出来,而不是任其躺在索引里。
出現異常时的處理顺序
發現收錄量異常时,建议按下面的顺序排查,避免一上来就大改站点:
- 先確認服務器是否稳定,有没有 5xx、超时、限流;
- 再確認 robots、noindex、canonical 有没有被誤改;
- 然後看相關頁面在日誌里還有没有抓取记錄;
- 最後才回到内容层面,判断质量與重复度。
這個顺序的道理很简單:技術层面的問题改起来成本低,内容层面的調整成本高,先查便宜的,再動贵的。
收錄由搜尋引擎判断,站点能做的只是把阻碍去掉、把入口铺好。任何“保證收錄”的说法都不成立,稳定的做法是把自己能控制的變量控制住。
留痕,避免同一個問题反复出現
每次排查完,把结论简單记下来:什么時間、什么現象、改了什么、之後資料怎么變。站点越大,參與的人越多,没有记錄就容易重复踩同一個坑。這份记錄本身也會慢慢變成判断依據——某類改動的實际效果,只有自己站点的資料能回答。
收錄狀態會随着站点一起變化,固定频率的检查,比一次性的大動作更有用。