做站点运营时，常听到两種说法：“蜘蛛来過了，怎么還没收錄”和“頁面都抓取了，索引里却没有”。這两句话背後其實混了同一件事：把抓取当成了收錄。抓取是搜尋蜘蛛把頁面内容取回去；收錄是搜尋引擎经過篩選後，把頁面放進索引，後續才可能被检索和展現。中間隔着好几道關，任何一道没過，頁面都可能停在半路。
第一關：URL 能不能被發現
蜘蛛不會凭空知道新頁面。它要先通過已有路径發現 URL，常见入口包括站内連結、站点地图、外鏈、歷史抓取记錄等。如果頁面只靠 JavaScript 点击後才出現，或者入口藏在层层篩選後面，蜘蛛可能很長時間都發現不了。發現只是進入队列，不等于马上抓取。
运营上可以先查：新頁面發布後有没有内鏈指向，站点地图是否更新，重要栏目是否有稳定入口。不要只提交 sitemap 就等结果，内鏈仍然是更直接的發現路径。
第二關：抓取調度會不會排到
URL 進入待抓队列後，還要等調度。搜尋引擎會參考站点權重、更新频率、服務器响應速度、頁面重要程度来分配抓取频次。如果服務器经常超时、返回 5xx，或者大量低價值 URL 占着队列，真正重要的頁面就可能被往後排。
這时看服務器日誌比看後台报告更直接：蜘蛛請求了哪些 URL，返回什么狀態碼，响應耗时多少。若日誌里長期只有舊頁面，没有新頁面，問题通常出在發現或調度，而不是内容质量。
第三關：抓到的内容是不是正文
抓取成功也不代表内容被完整拿到。如果正文依赖 JavaScript 渲染，而搜尋引擎拿到的原始 HTML 只有空壳，後續判断就會受影响。另外，robots.txt 誤挡、noindex 标簽誤用、canonical 指向別的 URL，也會让頁面在這一關被放弃或合並。
可以用 URL 检查工具查看“已抓取的 HTML”和“渲染後的 HTML”是否一致。若两者差距很大，優先解决渲染和资源加载問题，而不是反复提交 URL。
第四關：索引前的篩選
即使頁面被抓取、内容也完整，搜尋引擎仍會做一轮篩選。它要判断這個頁面是否獨立、是否有用、是否和其他頁面高度重复、是否满足某種检索需求。薄内容、參數頁、分頁副本、重复商品描述，都可能被排除在索引之外，或者只保留一個代表版本。
所以“已抓取，尚未编入索引”並不等于操作失敗，它可能表示頁面已经進入评估，只是暂时没有通過篩選。运营能做的，是提高頁面獨立價值，而不是不断改标题或堆關鍵詞。
排查时按鏈路走，別跳步
- 先確認 URL 有没有被發現：看内鏈、sitemap、日誌里是否出現。
- 再看抓取狀態：日誌里的狀態碼、响應時間、抓取频次。
- 然後看抓取内容：原始 HTML 和渲染後 HTML 是否包含正文。
- 最後看索引结果：索引覆盖报告、URL 检查工具、site 查询。
每一步只回答一個問题，避免把“没收錄”笼统归因于權重低或内容差。
几個容易混淆的点
- 抓取量不等于收錄量。 抓取多只說明蜘蛛来過，索引里留下多少是另一回事。
- 提交 sitemap 不等于收錄。 它主要帮助發現 URL，不保證抓取和索引。
- 頁面返回 200 不等于内容有效。 空頁面、错誤提示頁、软 404 都可能被抓取，但很难進入索引。
- canonical 不是强制命令。 它是提示，搜尋引擎仍會结合内鏈、sitemap、重复程度判断。
把抓取和收錄分開看，运营動作才有着力点：發現靠入口，抓取靠調度和响應，收錄靠頁面本身是否值得留下。
最後，收錄只是中間结果，不是终点。頁面進入索引後，還要面對排序和展現。與其每天盯着收錄數字，不如把關键頁面按這條鏈路逐段检查：入口是否清楚、响應是否稳定、正文是否可抓、内容是否獨立。這样遇到“蜘蛛来過却没收錄”时，至少知道该從哪一關開始查。