收錄量突然下降，第一反應往往是“是不是被降權了”。但實际排查中，配置层面的誤伤出現频率更高，也更容易被忽略：robots.txt 少寫一個斜杠、模板里多一行 noindex、WAF 把蜘蛛当成攻击流量拦掉，都會让蜘蛛停止抓取或放弃索引，而你在後台看到的只是一個變小的數字。所以排查顺序建议是：先排除自伤，再查服務器，最後才回到内容和结构。
第一步：確認下降是真實的，還是口径變了
不同工具给出的收錄數本来就不一致，site 查询也只是估算值，短期上下浮動几十條不代表出問题。真正值得警惕的是趋势性下降：连續一到两周持續走低，並且伴随抓取量同步下滑。
- 看趋势，不看單点：把近 30 天的收錄數與抓取數放在一起看，两個同时降，通常是抓取侧的問题。
- 区分索引與展現：收錄數没變但点击下滑，多半是排序或需求變化，不要往收錄方向查。
- 区分整体與局部：按目錄、模板分组看，如果只有一個栏目掉，問题通常出在那個模板或那批 URL 上。
第二步：優先排查 robots.txt 與 noindex
這两類信号都属于“一句话定生死”，寫错之後蜘蛛连頁面都不會正常處理，所以放在最前面。
robots.txt 常见的三類問题
- 誤封整站：測試环境的配置上线时，把全站禁止抓取的規則一起带到了正式环境。
- 分组寫法影响其他 UA：為一個 UA 單獨分组後，未列出的 UA 會讀取預設分组，容易誤伤主流蜘蛛。
- 規則寫得太粗：用一條規則封了带參數的目錄，结果把正常内容頁也一起挡掉。
检查方法很直接：在浏览器里打開线上的 robots.txt 文件，確認它是正式环境的最新版本，再把它的修改時間和抓取統計里的抓取量下滑時間点對一下。
noindex 的传播范围往往超出预期
- 模板繼承：在基础模板里加了一次 noindex，整站頁面都繼承了這個信号。
- 信号冲突：meta robots 與 HTTP 响應头里的 X-Robots-Tag 同时存在且互相矛盾，搜尋引擎一般按更嚴格的那個执行，结果是“想收錄却收不了”。
- 批量誤伤：分頁、篩選頁、标簽頁做過一次批量 noindex，後来頁面结构改了，規則却没清掉。
第三步：再看服務器响應與抓取狀態
配置没問题，就去看蜘蛛来的时候站点是什么狀態。
- 5xx 與超时：偶發一次没事，如果抓取日誌里 5xx 占比明顯，蜘蛛會主動降低抓取频次。
- 限速與 CDN 拦截：部分 WAF 的預設規則會把高频抓取判為攻击並返回 403，抓取量可能出現断崖式下降。
- 响應時間變長：整站變慢不一定直接掉收錄，但會压缩單位時間内能抓取的頁數。
這一步不用凭感觉，直接看抓取統計里的响應碼分布和平均响應時間，比猜有用得多。
第四步：最後才回到内容與结构改動
如果前面三步都正常，再回头看最近做過什么：
- 大批量改版或 URL 结构變更，但没有做 301，或者只做了一部分跳轉；
- 栏目合並、内容下线，把一批頁面直接變成了 404；
- 模板調整後正文占比下降，頁面被判定為低價值。
一個可执行的自查顺序
- 確認是趋势性下降，還是口径波動；
- 打開线上 robots.txt，確認没有誤封；
- 抽查首頁、栏目頁、内容頁的 meta robots 與 X-Robots-Tag；
- 查看抓取統計的响應碼分布，排查 5xx、403 與超时；
- 核對近期的 URL 變更，確認跳轉是否完整；
- 按目錄、模板分组對比收錄變化，定位到具体頁面類型；
- 修复後观察一两個抓取周期，再看收錄是否回升。
配置類問题的特点是：修得快，但不一定立刻见效。信号改了之後，仍然要等蜘蛛重新抓取、重新處理，收錄才會有反應。所以不要在同一天反复改配置，容易把變量搅乱，也看不出是哪一步起的作用。
收錄下降本身只是一個结果，真正要回答的是“蜘蛛現在還能不能正常拿到並處理這些頁面”。把 robots、noindex、服務器响應這三层先過一遍，大多數誤伤都能在半小时内排除掉，剩下的才值得往内容质量上想。