搜尋控制台里的“软 404”报告，很多人第一次看到會以為是服務器返回了 404。實际恰恰相反：頁面返回的是 200，服務器和爬虫之間的通信正常，只是搜尋引擎在看完内容後，判断這個頁面没有實际價值，和“頁面不存在”差不多。区別在于，真 404 是服務器自己说“没有這個頁面”，软 404 是搜尋引擎替你说“這頁约等于没有”。两種情况的處理方式完全不同，先分清是哪種，再動手。
先確認它到底是软 404，還是別的狀態
打開網址检查，看三件事：HTTP 狀態碼、抓取到的頁面内容、以及抓取结果是不是空壳。如果狀態碼是 200，抓取内容正常，但頁面被判成软 404，那属于内容判断問题；如果狀態碼本来就是 404 或 410，只是被报告列出来，那走的是另一套流程。還有一種常见誤判：頁面本身没毛病，但被 robots.txt 屏蔽或加了 noindex，爬虫拿不到内容，也容易往软 404 的方向靠。
按成因分類，再决定怎么處理
1. 内容空壳：列表頁、搜尋结果頁、篩選頁
空结果的分類頁、無商品的篩選组合、站内搜尋的無结果頁，是最典型的来源。這類 URL 往往數量巨大、模板结构一致，主体区域只有一句“暂無内容”。搜尋引擎會把它們归為無價值頁面。處理方式不是简單删 URL，而是：對确實無结果的组合返回 404 或至少 noindex；對有结果的组合，保證内容真實存在再谈收錄。
2. 主体内容没渲染出来
如果頁面依赖接口或 JS 渲染，而接口报错、超时、被拦截，爬虫拿到的就是一個框架加空白。這種頁面狀態碼仍是 200，内容却是空的。排查顺序是：先用網址检查看原始 HTML，再確認接口在没有浏览器环境时是否可用，最後看是否有针對特定用戶代理的限制。
3. 狀態碼和内容對不上
有些站点把“頁面不存在”的提示頁做成了 200 返回，或者在 CMS 里把已刪除内容轉成了空模板。這種頁面在人眼里像错誤頁，爬虫看到的也是空壳，狀態碼却寫着正常。這類問题要回到服務端修，不要靠前端跳轉掩盖。
4. 頁面被屏蔽但仍被抓取
robots.txt 屏蔽叠加 noindex 的组合，容易让頁面長期停在“已抓取、内容為空”的狀態。正确的做法是想清楚要不要留：要留就放開抓取，用 noindex 或 canonical 收敛；不留就让 URL 自然失效或返回 410。
推荐的排查顺序
- 在报告里按頁面類型分组，先看數量最多的那一類對應哪個模板。
- 随机抽三到五個 URL 做網址检查，记錄狀態碼、抓取内容和索引狀態。
- 判断是内容問题、渲染問题還是狀態碼問题，归到上面四類里。
- 修好源头後，不要急着批量提交刪除，先观察下一轮抓取後的狀態變化。
- 確認頁面确實已無用，再考虑 404、410 或 noindex 的收敛動作。
几個容易踩的坑
- 把软 404 直接当成收錄異常，一上来就改 canonical，問题通常不在那里。
- 對空列表頁统一 301 到上級分類，短期看似收敛，長期可能把上級頁面的主题冲淡。
- 用 JS 跳轉到错誤頁，狀態碼仍是 200，爬虫看到的内容依舊是空壳。
- 只盯數量下降，不看頁面類型，改完也不知道自己有没有改對。
软 404 反映的是頁面價值判断，不是服務器故障。它的解法通常落在内容侧和模板侧，而不是索引提交侧。
最後提醒一句：软 404 數量多，不等于站点出了大問题。空结果頁和篩選组合頁天然容易落進這一類，重点是分清哪些是可以清理的無效 URL，哪些其實是内容没渲染出来的正常頁面。前者收敛，後者修复，顺序不要反。