很多站点运营者把“抓取成功”当成“已经收錄”，看到日誌里蜘蛛来過、返回 200，就預設頁面已经進入索引。實际從抓取到收錄之間還有几道判断，抓取只是拿到了地址和内容，收錄則是搜尋引擎决定是否把頁面放進索引、以及在什么條件下展現。理解這個区別，排查收錄問题才不會一開始就找错方向。
抓取與收錄不是同一件事
抓取解决的是“能不能拿到内容”，收錄解决的是“值不值得放進索引”。中間至少经過渲染、正文提取、质量判断、重复比對等环节。任何一個环节不通過，都可能出現抓取正常但索引為空、或者頁面被收錄後又被替換的情况。
- 抓取：蜘蛛請求 URL，获取 HTML 與资源。
- 渲染：對依赖 JavaScript 的頁面，需要执行脚本後才能看到完整内容。
- 選擇：判断頁面是否具备獨立價值，是否與已有内容高度重复。
- 保留：進入索引後，仍可能因更新、規范變化或质量波動被調整。
頁面质量信号：不要只看字數
頁面质量没有單一分數，但有些信号會一起影响判断。内容主体是否清晰、信息是否完整、是否直接回應搜尋意图，通常比堆字數更重要。如果正文被大量導航、推荐、广告和重复模板包围，搜尋引擎提取到的有效信息可能很有限。
自查时可以問几個問题：這個頁面是否解决了某個具体問题？标题和正文是否一致？關键信息是否在首屏可见？是否存在大量與頁面主题無關的模块？如果答案偏向否定，先優化頁面本身，再谈提交和收錄。
重复判断：站内相似與跨域相似都要看
重复内容不一定来自抄袭，也可能来自站内结构。列表頁的篩選參數、分頁、打印頁、移動端與 PC 端双地址，都可能生成高度相似的頁面。搜尋引擎不會把所有相似頁面都收錄，常见做法是選擇其中一個作為代表，其余進入补充索引或不收錄。
處理重复时，先分清重复類型：是同一内容多個 URL，還是不同頁面主题相近。前者優先统一 URL 寫法，配合 canonical 和内鏈指向規范地址；後者要考虑是否應该合並内容，而不是靠提交大量 URL 来碰运气。
URL 規范：越小的問题越容易拖累收錄
URL 規范经常被忽略，但它直接影响發現和去重。同一個頁面如果同时存在带參數、不带參數、大小寫混用、结尾斜杠不一致等多個版本，蜘蛛會浪費抓取額度，索引也可能分散到多個地址上。内部連結、sitemap、canonical 中的 URL 寫法應保持一致。
不要用同一個頁面的多個 URL 去提交或互鏈，這會让搜尋引擎难以判断哪個才是規范版本。
排查收錄問题时，按這個顺序走
- 先確認頁面是否被抓取：看日誌、看站点地图、看“已發現”狀態。
- 再確認是否被抓取成功：狀態碼、渲染结果、正文是否可提取。
- 然後检查頁面质量：内容是否獨立、完整、與标题一致。
- 接着處理重复：站内相似 URL 是否收敛，跨域轉载是否注明来源。
- 最後统一 URL 規范：内部連結、canonical、sitemap 指向同一地址。
這個顺序的意义在于，先排除“没抓到”和“抓错了”，再處理“抓到了但不收”。如果頁面本身质量不足，或者同一内容有多個地址，單纯重复提交通常不會改變结果。
把收錄当成结果，而不是操作
收錄是搜尋引擎對頁面價值的判断结果，不是靠某個單獨動作就能保證的。运营能做的是减少干扰項：让頁面可抓取、可渲染、内容清晰、URL 規范、重复收敛。把這些基础條件做一致，收錄表現通常會比反复提交、频繁修改更稳定。
如果某個目錄長期收錄率偏低，建议按模板和目錄分层統計，先找出拖後腿的類型，再决定是優化、合並還是收敛。不要把所有頁面混在一起看平均值，那样很难定位真正的原因。