在服務器日誌里看到大量蜘蛛訪問，站点後台的索引量却没動静，很多人第一反應是“蜘蛛白来了”。其實抓取和收錄是两件事：抓取解决的是“蜘蛛把頁面内容取回”，收錄解决的是“搜尋引擎决定把這條 URL 放進索引並可能展示”。理解這條分界线，才能把排查方向放對。
抓取和收錄之間的那道闸门
抓取只是入口。頁面被取回之後，還要经過解析、去重、质量评估、與其他 URL 的關系判断等步骤，才有机會進入索引。所以“被抓取”是必要條件，不是充分條件。日誌里 200 狀態碼的請求多，只能說明蜘蛛愿意来、服務器也如實给了内容，不能說明頁面會被索引。
常见的几個誤判
- 把日誌請求數当作收錄數：一次抓取可能對應多個 URL，也可能對同一 URL 反复重抓。
- 把“已發現，尚未编入索引”当成抓取失敗：抓取可能已经發生，卡在後續评估环节。
- 把 sitemap 提交成功当成收錄成功：提交只是告知地址，不代表會進入索引。
- 看到 200 就認為頁面正常：空壳頁、报错内容、软 404 一样可以返回 200。
從抓取到收錄的核對顺序
- 先確認頁面真的被抓過：在日誌里按 URL 精确匹配，看是否出現過蜘蛛 UA 的請求，以及返回狀態是什么。
- 確認抓到的是不是你想收錄的那一版：用抓取工具看渲染後的 HTML，检查主体内容、标题、canonical 是否正常。
- 確認頁面是否被規則挡住：robots.txt、meta robots、X-Robots-Tag、登入墙、驗證碼，任何一項都可能让頁面停在索引之外。
- 確認是否存在重复或近似重复的版本：同一内容有多個地址时，搜尋引擎通常只會挑一個代表，其余留在索引外属于正常現象。
- 確認頁面本身的内容厚度：正文過短、模板占比過高、信息與其他頁高度雷同，都會让頁面在质量评估里失分。
- 確認入口是否充足：内鏈少、点击深度深的頁面，被發現的概率和重抓频率都會偏低。
- 再去看索引狀態：用站長工具或 site 查询確認是“未收錄”，還是“已收錄但未被展示”，這两者的處理方式完全不同。
让抓取更容易轉化為收錄
内容层面的調整
把每個 URL 的核心信息集中在前半部分；标题、摘要、正文主题保持一致；避免在一個頁面里堆多個不相關主题。對于列表頁和聚合頁，先明确它提供的是導航價值還是内容價值，別让两類頁面長得一模一样、彼此之間又没有明顯区分。
站点层面的信号
- 内鏈指向稳定：重要頁面從首頁或栏目頁有清晰路径可達，不依赖偶然的發現。
- URL 结构稳定：不要频繁改動目錄和參數寫法，避免同一内容生成多套地址。
- 狀態碼如實：该 301 的 301，该 404 的 404，不要把错誤頁面做成 200。
- 站点地图保持干净：只放規范、可訪問、确實希望被收錄的地址。
抓取資料只能說明蜘蛛来過，收錄结果才反映搜尋引擎對頁面的判断。排查时先分清這两者，可以省掉很多無效操作。
如果你手上有日誌和索引資料，建议按“是否被抓取—抓到的是哪一版—是否被規則拦截—是否是重复地址—内容是否有獨立價值—入口是否充足”的顺序過一遍。多數“抓了不收錄”的問题，會在其中某一步找到原因，而不是全部堆在蜘蛛身上。