抓取和收錄之間還有一道篩選
日誌里看到蜘蛛抓取，只說明頁面被下载過，不代表它一定會進入索引。搜尋引擎還會對頁面做质量评估、重复识別和 URL 合並，再决定是否保留。很多站点把“抓取正常”当成“收錄没問题”，结果在索引报告里看到大量已抓取未编入索引的 URL，原因往往不在抓取，而在頁面本身。
内容维度：看信息增益，不只看字數
是否提供了新增信息
同一類問题，如果頁面只是把已有内容重新排列，或者用模板拼接關鍵詞，搜尋引擎很难判断它比現有结果多出什么。信息增益可以理解為：用戶看完這一頁，能不能得到別處没有的细节、資料、案例或解释。
正文是否可见
内容依赖登入、点击展開、滚動加载或大段脚本渲染时，抓取端看到的可能是空壳。即使頁面能正常打開，索引版本也可能只保留很少文字。把核心說明放在 HTML 可讀位置，更利于頁面被理解和判断。
模板维度：有壳無肉會拖累整批頁面
不少站点的問题不在單頁，而在模板。導航、侧栏、广告、推荐位占去大量位置，正文占比很低；或者同一模板批量生成成百上千個頁面，字段替換後主体几乎一样。這類頁面容易在索引阶段被合並或舍弃。
- 導航和頁脚連結過多，正文被挤到後面
- 列表頁直接輸出所有條目，却没有篩選或說明
- 詳情頁只有參數表，缺少解释和使用场景
- 同一模板下多個 URL 内容只差一两個词
URL 與重复内容：先收口，再谈收錄
URL 寫法不统一會让同一内容分散到多個地址。常见情况包括大小寫混用、带不带末尾斜杠、追踪參數生成多個版本、http 與 https 同时可訪問。搜尋引擎需要先判断這些 URL 是不是同一頁面，才能决定把哪個版本放進索引。
處理顺序通常是：能重定向的做 301，參數用規范連結或 robots 規則收口，站内連結统一到目标版本。不要一邊保留多個入口，一邊期待收錄稳定。
站点入口：内鏈决定重要頁面是否被持續發現
頁面质量不错，但没有稳定内鏈入口，也可能長期停留在“已發現”狀態。首頁、栏目頁、相關推荐、面包屑這些位置，至少要让重要頁面有一條可抓取的路径。孤岛頁面不是绝對不能收錄，但發現和复查频率通常更低。
自查顺序：從抓取日誌到索引狀態
- 先看日誌，確認目标 URL 是否被抓取，返回碼是否正常。
- 检查 URL 規范，合並重复版本，確認 canonical 指向正确。
- 對比同模板頁面，看是否只有字段差异，正文是否過薄。
- 检查内容是否依赖交互，抓取端能否看到主要文字。
- 最後观察索引狀態，区分未發現、已發現未抓取、已抓取未编入索引。
几個常见誤区
提交 URL 影响的是發現速度，不是收錄结果。sitemap、主動提交和蜘蛛池能增加入口，但頁面是否進入索引，仍要看质量评估和重复判断。
另一個誤区是只看收錄數量。收錄涨了，如果進来的都是篩選頁、搜尋頁或低质模板頁，對站点並没有實际帮助。與其追數量，不如先把重要頁面的内容、模板和 URL 整理清楚。
收錄是一個動態结果。頁面改動、站点结构調整、重复内容變化，都可能让索引狀態發生波動。定期用日誌、索引报告和站内检查交叉驗證，比單看某一天的收錄數字更可靠。