抓取和收錄是两件事
蜘蛛訪問日誌里出現一個URL，只能說明它被抓取過。抓取是搜尋引擎获取頁面内容的過程，收錄則是内容经過解析、去重、质量评估後，進入索引候選的结果。两者之間隔着好几個處理环节，因此看到蜘蛛来訪就認為頁面會被收錄，容易誤判。
更實用的做法，是把抓取频率和收錄狀態分開记錄：一邊看日誌里哪些URL被訪問，一邊看索引中最终保留了哪個版本。這样排查时才知道問题出在抓取入口，還是出在URL身份和頁面质量上。
URL身份：索引通常要選一個代表版本
同一個頁面可能對應多個URL，比如带不带www、http和https、大小寫不同、结尾有没有斜杠、是否带跟踪參數。這些URL如果都能訪問並返回相似内容，搜尋引擎需要判断哪個是代表版本。如果站点没有给出明确信号，索引里可能出現非预期版本，或者把權重分散到多個地址上。
- 同一内容同时存在http和https版本；
- 大小寫、尾斜杠、預設端口造成多個可訪問地址；
- 站内連結和站点地图提交的URL不一致；
- 篩選、排序、跟踪參數生成大量近似URL。
站点可以做的，是通過内鏈统一、301重定向、canonical标簽和站点地图，尽量把同一内容收敛到一個規范URL上。canonical是提示而非强制指令，所以更重要的是站内連結和重定向也保持一致。
頁面质量：索引评估會看哪些方面
抓取之後，搜尋引擎還會判断頁面是否值得進入索引。這個判断没有公開的固定分數，但站点可以從几個方向自检：正文是否能在初始HTML中讀到、标题與主要内容是否一致、頁面是否围绕一個明确主题、有没有大量模板或广告干扰阅讀。
- 正文直接出現在HTML中，不依赖交互後才加载；
- 标题、描述與正文主题匹配，不堆砌無關词；
- 頁面有獨立價值，不是其他頁面的简單拼接；
- 主要内容可讀，不被彈窗或占位内容遮挡。
收錄更像一種篩選结果，而不是對頁面存在的確認。站点能做的是让頁面具备被索引的條件，不能替搜尋引擎做决定。
重复内容：不止複製粘贴
重复内容不一定来自搬运。模板、參數、分頁、聚合頁和多地区版本，都可能产生大量近似頁面。比如列表頁和詳情頁模板太像，篩選參數生成無數组合，分頁把同一列表切成很多頁，這些都會让搜尋引擎消耗時間判断哪個版本更值得保留。
處理时可以先给每類頁面确定一個代表URL：詳情頁保留内容最完整的版本；參數頁按业務需要决定是否可索引；分頁頁明确是列表的延續還是獨立頁面；多語言或多地区版本用hreflang或canonical說明相互關系。目标不是让所有URL都進索引，而是让值得進索引的URL有清晰身份。
從抓取到索引的核對顺序
- 先確認URL能被抓取：检查robots.txt、noindex、狀態碼和服務器响應。
- 再確認URL身份：检查canonical、重定向、參數、大小寫和尾斜杠是否指向同一版本。
- 確認内容可讀：正文是否在初始HTML中，标题與内容是否一致。
- 確認重复關系：近似頁面之間有没有明确代表版本。
- 最後观察索引狀態：把日誌、站点地图和索引查询结果對照，不只看訪問次數。
這個顺序能帮你分辨問题在抓取、URL處理還是质量评估，而不是盲目反复提交或增加外鏈。抓取是入口，收錄是结果，中間每一步都有站点可以核對的地方。