很多站点把“蜘蛛来没来”“頁面有没有被索引”“搜尋有没有流量”放在一張表里看，结果優化動作经常打偏。抓取、索引、展示是三個不同环节，各自看的資料和排查方式也不一样。把它們拆開，很多“收錄不好”的問题會更容易定位。
抓取：蜘蛛来没来，抓了什么
抓取是搜尋蜘蛛訪問 URL 並讀取内容的過程。它關心的是可訪問性、URL 發現和抓取预算。日誌里能看到抓取频次、狀態碼、抓取時間。
- URL 發現：sitemap、内鏈、外鏈、歷史抓取等入口，决定蜘蛛是否知道這個地址。
- 可抓取性：robots.txt、狀態碼、服務器响應、JS 渲染都會影响蜘蛛能否拿到内容。
- 抓取配額：站点体量、更新频率、响應速度會影响蜘蛛愿意花多少時間。
被抓取只代表蜘蛛来過，不代表内容被理解，也不代表會進入索引。
索引：抓取之後，頁面能不能被收進去
索引是搜尋引擎對頁面内容進行解析、去重、质量判断後，决定是否放入可检索資料库的過程。這里更關注内容本身和 URL 口径。
常见卡点
- 重复内容：同一内容多個 URL，參數、大小寫、分頁、打印版都可能造成分散。
- URL 規范：canonical、内鏈、sitemap 指向不一致时，蜘蛛需要額外判断哪個是主版本。
- 頁面质量：内容單薄、模板化、缺少主体信息，可能停留在“已抓取，尚未编入索引”。
- 软 404：返回 200 但内容為空或近似空，容易被判為低價值頁面。
索引量不等于收錄了所有 URL，也不等于這些 URL 都會有展示。
展示：索引之後，能不能出現在搜尋结果里
展示發生在查询之後。即使頁面在索引中，也要看用戶搜什么、頁面與查询的相關性、竞争頁面情况。索引是入场券，不是排名保證。
- 索引量上涨，流量不一定同步上涨。
- 某個關鍵詞没排名，不一定是没收錄，可能是相關性或竞争問题。
- 展示資料要看查询、点击、排名区間，而不是只看索引總數。
異常时的排查顺序
遇到“收錄不好”的反馈，先確認说的是哪一层，再按顺序查。
- 先看抓取：日誌里蜘蛛有没有来？狀態碼是否正常？robots 是否誤挡？
- 再看 URL 發現：重要頁面是否在内鏈和 sitemap 中？入口是否太深？
- 然後看索引：用站点查询和索引覆盖报告，区分“已發現未抓取”“已抓取未索引”“已排除”。
- 接着看規范化：canonical、重定向、參數處理是否统一，是否有多個 URL 竞争同一内容。
- 最後看质量與展示：頁面是否满足搜尋意图，是否有重复或模板化内容，展示資料是否集中在少數查询。
把抓取問题当索引問题改，容易白忙；把展示問题当收錄問题改，容易誤伤。
给站点运营的日常检查清單
- 每周看一次抓取日誌，關注重要目錄的抓取频次和狀態碼。
- 每月核對一次 sitemap 與 canonical 口径，避免同一内容多地址。
- 對“已抓取，尚未编入索引”的 URL 做抽样，先看内容质量與重复情况。
- 把索引量和展示量分開记錄，不用一個指标解释所有問题。
抓取、索引、展示各自有獨立的判断逻辑。站点运营更稳妥的做法，是把它們拆開看，按环节找原因，而不是把所有問题都归到“蜘蛛池”或“收錄”上。