收錄不是一次性完成的狀態，而是一個會反复變動的结果。一個頁面今天還在索引里，過几周再查却發現搜不到了，這種事在运营中很常见。它不一定是“被惩罚”，更多时候是站点自己發出的某個信号變了，或者頁面本身出了問题。先搞清楚属于哪一類原因，比急着重复提交一遍 URL 更有效。
先確認頁面是不是真的被移出索引
用 site: 查询或者 Search Console 的 URL 检查，得到的结论都有誤差。比較稳的做法是几條线索交叉看：URL 检查工具返回“已编入索引”、site: 能搜到、服務器日誌里有来自搜尋引擎的抓取记錄。如果三個都不成立，才基本可以判断是掉出索引了。還有一種情况是頁面仍在索引里，只是排名掉得厉害，這两件事要分開處理。
站点主動發出的信号
noindex 和 X-Robots-Tag
這是最常见也最容易被忽略的一條。模板改版、评论区加防護、CDN 或安全策略調整，都可能顺手把 noindex 加回去。用 URL 检查工具查看抓取到的 HTML 和响應头，能直接看到有没有 noindex。注意 X-Robots-Tag 生效在响應头里，頁面源碼上完全看不到。
robots.txt 屏蔽
robots.txt 本身只影响抓取，不直接决定是否索引，但如果蜘蛛長期抓不到頁面，索引里的舊版本會逐渐失效。尤其要避免“Disallow 之後没有配套 noindex”這種半吊子操作：蜘蛛看不到頁面上的 noindex，舊内容可能一直挂在索引里。
canonical 指向了別的地址
頁面被改成 canonical 到另一個 URL，自己就登出了索引，權重合並到目标頁。這種结果本身不一定是坏事，但如果是誤配置，就會出現“我明明没做任何改動，頁面却没了”的情况。
頁面本身變得不可訪問
- 404 / 410：頁面被刪除或路径寫错，索引里會逐步移除。410 通常比 404 處理得快一些。
- 5xx：短時間的服務器错誤一般不會立刻導致移除，但如果持續數天，蜘蛛會降低抓取频率，索引狀態可能退回。
- 软 404：返回 200，但正文是“该商品已下架”之類的内容。這類頁面容易被判定為空内容而移出。
内容层面被判定没有保留價值
索引是一個需要维護成本的库，重复、空壳、聚合後没有增量的頁面會被逐步清理。常见的有這么几種：
- 同一内容存在多個 URL 變体，規范化後只保留一條，其他條目被合並或丢弃。
- 頁面主体被大面积替換成广告、推荐模块、彈窗，正文几乎消失。
- 頁面長期無更新，且與站内大量同類頁面高度相似。
- 已经過期的信息，比如早已結束的活動頁、停售很久的商品頁。
判断标准可以简化成一句话：這個 URL 相對站内其他頁面，是否提供了獨有的、對用戶有用的信息。如果没有，被移出索引属于正常结果。
站点級別的變動
換域名、改版、調整目錄结构、開啟全站登入墙，這些動作都會让一批 URL 集体登出索引。迁移时如果重定向没有一一對應，或者舊地址直接返回 404，索引里的舊條目就會消失而不是轉移過去。另外，手動操作或安全類問题也可能導致整站或某個目錄被移除，這類情况在 Search Console 里通常會有明确提示。
排查顺序建议
- 用 URL 检查工具看實时抓取结果，先排除 noindex、robots 屏蔽、重定向、狀態碼這几項。
- 核對 canonical 指向的是不是自己。
- 確認頁面内容是否還在，有没有被替換成空壳。
- 查看 Search Console 的頁面报告和手動操作记錄，判断是不是站点級問题。
- 最後再考虑内容质量层面的原因，這一項最难確認，也最需要時間观察。
减少反复的几点习惯
把 noindex、canonical、robots 纳入上线检查清單；改版或迁移时對新舊 URL 做完整映射；不要用 robots.txt 去處理“不想被收錄”的需求，那是 noindex 该做的事。收錄狀態會随着頁面质量和站点结构持續變化，定期抽查重要頁面，比一次性检查完就放心更靠谱。