软 404 是什么：狀態碼没错，内容已经没了
服務器返回 200，代表這次請求是成功的。但“請求成功”和“頁面有價值”是两件事。当一個 URL 能正常打開，正文却只剩下“该商品已下架”“暂無相關结果”“活動已結束”，或者整頁都是導航、推荐位和頁脚，蜘蛛在判断时很可能把它归為软 404——也就是不该占用索引位置的空頁面。
它和真正的 404 区別在于：404 明确告诉蜘蛛“這里没有東西了”，而软 404 是“打開是打開了，但等于没有”。正因為不报错，這類頁面往往會在站里积很久，直到你去看索引报告和日誌才發現。
哪些頁面最容易變成软 404
- 已下架、已售罄的商品詳情頁，頁面還在但没有任何可讀信息；
- 站内搜尋的無结果頁，尤其是带關鍵詞參數的组合 URL；
- 空栏目、空标簽頁，只有标题和一句“暂無内容”；
- 活動結束後的落地頁，主体被撤掉只留下倒計时或“谢谢參與”；
- 内容已刪除、模板却仍在渲染的占位頁；
- 分頁越界，比如 ?page=99 實际没有任何條目。
共同点是：HTTP 狀態是 200，頁面主体接近零信息量，並且和站内其他頁面的框架高度相似。
蜘蛛大致會看哪几件事
没有人能给出精确的判定公式，但從结果倒推，几個信号比較明顯：
- 正文占比：可讀文本太少，模板部分占了大半；
- 頁面間相似度：同一套模板批量生成的空頁，彼此几乎没有区別；
- 與标题、描述是否相符：标题寫的是商品，頁面上却什么都没有；
- 訪問行為：跳出高、没有内鏈指向，蜘蛛也缺少再次抓取的理由。
這些信号叠加到一定程度，頁面就可能被当作软 404 排除出索引，或者長期停在“已抓取未索引”的狀態。
先分類，再决定怎么處理
處理软 404 的核心判断只有一句：這個 URL 以後還想不想让它出現在搜尋结果里。想做，就补内容；不想做，就明确告诉蜘蛛它已经不存在。
- 確認不再提供的内容：返回 410 或 404，同时把有價值的内鏈指向替代頁面。繼續返回 200，只會让蜘蛛反复回来抓。
- 暂时缺货、暂时無结果：保留頁面，但补上替代推荐和同類内容入口，避免只剩一個空狀態。
- 站内搜尋结果頁：一般没有收錄價值，用 noindex 處理，同时放開 follow，方便蜘蛛顺着走到詳情頁。
- 空栏目、空标簽：要么合並到上級栏目並 301，要么等确實有内容了再放開收錄。
不要靠往空頁里塞几段通用文案来“救”它。模板填充出来的文字，和空頁在判断上没有本质区別，還多消耗一份抓取预算。
日常怎么把它們找出来
索引报告里的“软 404”分组是最直接的入口，但它通常滞後。更及时的办法是從自己這邊筛：
- 在服務器日誌中筛出狀態碼 200、但頁面体积明顯偏小的 URL；
- 给下架、售罄、無结果頁面加統計标记，定期導出這批 URL 看狀態；
- 抽查頁面时只保留正文部分，看還剩多少字。
把這几類頁面控制住之後，抓取预算會更多落在真正有内容的 URL 上，索引里也不會再挂着一批没有價值的地址。收錄這件事，很多时候不是要爬得更多，而是先让不该来的別来。