打開搜尋资源平台或站長工具,最先看到的是几组數字:蜘蛛抓了多少、索引里存了多少、有多少頁面真的拿到了展現。這三個數字经常被混着看,一看到收錄量涨了就放心,一看到抓取量掉下来就慌。其實它們描述的是三件不同的事,混在一起看,判断很容易跑偏。
三個數字分別是什么
抓取量
抓取量记錄的是蜘蛛来過多少次、取走了多少响應。它只說明“服務器把内容交出去了”,不代表蜘蛛看懂,更不代表會放進索引。抓取量受站点規模、更新频率、服務器响應速度、robots 規則、内鏈密度影响。抓取量大不等于收錄多,但抓取量突然归零值得紧張——那通常是服務器、robots.txt 或者防火墙拦截出了問题。
收錄量(索引量)
收錄量是搜尋索引里儲存的 URL 數量。它包含大量不參與排名的頁面,比如參數頁、重复頁、已被合並的頁面。所以它是一個库存數字,不是成绩單。收錄量上涨可能来自一批低质量頁面被放進来,這種上涨對站点没有好處,甚至會让整站质量被稀释。
有效收錄
有效收錄才是真正有意义的一层:這些頁面在搜尋结果里出現過、拿到過展現,甚至有点击。它比收錄量小很多,也更接近站点的實际流量来源。一個站点收錄 10 萬、有效收錄 300,和收錄 5000、有效收錄 2000,後者通常更健康。
收錄是库存,有效收錄是動销。只盯库存,很容易做出错誤的运营動作。
抓取多、收錄少,先查什么
- 頁面质量是否過得去。内容太薄、模板占位文字太多、正文和标题不匹配,蜘蛛抓完也可能不放進索引。
- 是否重复或高度相似。同一段内容出現在多個 URL 上,索引往往只保留少數版本,其余被合並或丢弃。
- URL 是否規范。大小寫、斜杠、协议、參數顺序不一致,會制造出大量實际相同但寫法不同的地址。
- 响應狀態是否干净。返回 200 的空壳頁、先 302 再 200 的跳轉鏈,都會消耗抓取预算。
- 是否有内鏈支撑。没有内鏈指向的 URL,被發現和被判断為重要頁面的概率都偏低。
收錄多、有效收錄少,通常意味着什么
最典型的情况是索引膨胀:站点自動生成了大量列表頁、标簽頁、篩選頁、搜尋结果頁,它們被收進去了,但没有任何搜尋需求與它們對應。這類頁面几乎没有展現,却占着索引空間,還容易和主頁面抢同一批词。
另一種情况是内容同质化。同一主题寫了十几篇角度相似的頁面,搜尋结果里只需要其中一個,其余頁面拿到零星展現,長期處于“被收錄但不被使用”的狀態。
一套可执行的检查顺序
- 先看抓取日誌,確認蜘蛛来的频率、抓取目錄和返回碼分布,找出被抓最多但價值最低的部分。
- 把索引量按目錄拆開,看是哪些板块在膨胀。
- 對照有效收錄,找出“只被收錄、從無展現”的頁面集合。
- 對這批頁面分類處理:能补充内容的补内容,重复的做合並或規范,纯粹的參數頁用 robots 或 noindex 收敛。
- 把抓取预算和内部連結集中到真正想參與排名的頁面上。
處理完不要指望第二天就看到數字變化,索引更新有自己的节奏,通常需要一段時間才能反映出来。
几個容易踩的坑
- 把收錄量当 KPI。單纯的收錄數量涨跌,說明不了站点好還是坏。
- 為收錄而收錄。批量生成頁面、堆砌入口,短期數字好看,長期拖累整站质量。
- 忽略展現資料。展現和点击才是頁面有没有價值的直接證據。
- 只盯總量不看结构。總量稳定,但资源都耗在不产出流量的目錄上,等于白忙。
把這三组數字放在一起看,判断會清楚很多:抓取量反映蜘蛛愿不愿意来,收錄量反映索引里存了多少库存,有效收錄反映這些库存到底有没有被用起来。运营動作應该朝着第三個數走。