收錄量不是每天都稳定上涨的。某天打開索引报告，發現總收錄數比上周少了一截，很多人的第一反應是“被惩罚了”。但收錄量下降只是一個结果，背後可能是抓取侧的變化，也可能是索引侧的篩選，還可能只是統計口径的波動。先把這三件事分開，排查會清晰很多。
抓取和收錄是两件事
抓取指爬虫来訪問並下载頁面，收錄指頁面经過處理後被放進索引、有机會出現在搜尋结果里。抓取多了不等于收錄一定增加；抓取少了，收錄也不一定立刻掉。但收錄量突然下降时，抓取日誌是最早能给出方向的資料之一。
先查抓取侧有没有異常
打開服務器日誌，按天對比搜尋爬虫的請求量。如果總請求數明顯下降，先看是不是服務器响應變慢或频繁超时，導致爬虫主動降低訪問频率。再看 robots.txt 是否被誤改，把整站或大段目錄挡在了外面。還要確認網站地图是否正常返回，内鏈有没有因為改版被大量刪除。
- 爬虫總請求數：對比下降前後的每日趋势
- 有效頁面請求：是否集中在少數几個 URL 上
- 狀態碼分布：404、500、503 是否明顯增多
- robots 拦截：是否有重要目錄被 disallow
再看索引侧發生了什么
如果抓取量没有明顯變化，問题更可能在索引侧。常见情况是頁面被判定為重复、内容單薄，或者 canonical 指向了另一個 URL，導致目标頁面從索引中登出。也有頁面被加上 noindex，或者返回了软 404 狀態。索引报告里的“已發現，尚未编入索引”“已抓取，尚未编入索引”等狀態，能帮助判断卡在哪一步。
另外，索引报告本身有延迟，site 查询的數字也不精确。如果只是报告數字波動，而實际搜尋關鍵詞仍能稳定找到頁面，不必立刻大動干戈。
按顺序做一轮排查
- 确定下降的時間点和范围：是全站還是某個目錄，是移動端還是桌面端。
- 對比同期抓取日誌：爬虫来少了，還是来了但不收。
- 抽查典型 URL：用 URL 检查工具看抓取狀態、canonical、noindex、渲染结果。
- 检查 robots.txt、網站地图和重要内鏈入口是否正常。
- 检查内容是否近期被大量複製、改寫或合並，導致頁面失去獨立價值。
- 確認没有誤操作後，保持更新和内部連結，观察一到两周。
收錄量下降时，最不该做的是批量改标题、堆關鍵詞或短時間上线大量低质頁面。這些動作可能让抓取和索引的负担更重。
把 URL 規范先理顺
很多收錄問题最後都回到 URL 上。同一内容有多個地址，带參數、带大小寫、带尾斜杠的版本混在一起，爬虫和索引系統就要花時間判断哪個是主版本。把站内連結统一到規范地址，canonical 與 sitemap 保持一致，能减少不必要的抓取浪費，也让索引狀態更稳定。
收錄量有波動是常態。先分清抓取减少還是索引剔除，再按日誌、狀態碼、canonical、内容质量逐項查，比盲目改頁面更有效。日常把 URL 規范、内鏈和網站地图维護好，收錄表現通常會更平稳。