抓取和收錄是两件事
抓取是搜尋引擎蜘蛛下载網頁的過程。蜘蛛通過連結、站点地图、歷史记錄等發現 URL，然後請求服務器，拿到 HTML 或资源。收錄是搜尋引擎把抓取到的内容分析、去重、评估後，放進索引库，並在有查询时可能展示出来。抓取成功只是第一步，不代表頁面一定會被收錄。
日誌里出現蜘蛛訪問，只能說明蜘蛛来過、請求過，甚至可能只抓取了部分资源。是否進入索引，取决于後續處理。
為什么抓取到了却没有進索引
内容被判定為低價值或重复
如果頁面正文稀少、大量模板文本、與站内其他頁面高度相似，或者只是參數组合生成的列表，索引系統可能認為没有單獨收錄的必要。這时抓取日誌正常，但索引里看不到。
規范版本被其他 URL 抢走
同一内容有多個 URL，比如带參數、带 www、大小寫不同、移動版和桌面版。搜尋引擎會選一個規范版本收錄，其他版本可能被合並。你查的那個地址没有索引，不代表内容完全没進索引。
頁面返回了不该返回的狀態
抓取时返回 200，但内容為空或提示错誤，容易被当作软 404。返回 noindex、robots.txt 禁止抓取、canonical 指向別處，也會让頁面無法進入索引。這些要和抓取日誌分開核對。
渲染後内容與源碼不一致
如果正文依赖 JavaScript 渲染，而蜘蛛拿到的初始 HTML 里没有内容，索引系統可能只能看到空壳。虽然現在渲染能力提升，但等待渲染仍有不确定性，重要内容尽量直接輸出在 HTML 里。
自查顺序：從發現到索引逐层核對
- URL 是否被發現：检查内鏈、站点地图、外鏈入口。日誌里完全没有蜘蛛訪問，先解决發現路径，而不是收錄。
- 抓取是否被允许：查看 robots.txt、meta robots、X-Robots-Tag 是否誤拦截。允许抓取是進入索引的前提。
- 服務器返回是否正常：確認狀態碼是 200，内容不是空壳，没有跳轉到無關頁面。软 404 會浪費抓取並影响收錄。
- 規范标簽是否指向自己：canonical 寫错或指向其他頁面，等于主動放弃目前 URL 的索引资格。
- 頁面内容是否有獨立價值：检查正文占比、重复度、信息完整度。模板化頁面需要补充獨特内容，而不是反复提交。
- 查看索引报告與查询表現：区分“已發現”“已抓取，尚未编入索引”“已编入索引”。不同狀態對應不同處理方向。
常见誤区
- 把日誌里的蜘蛛訪問当成收錄通知。訪問频率高不代表索引優先級高。
- 看到“未收錄”就反复提交站点地图。如果頁面本身不合格，提交次數没有意义。
- 只盯一個 URL。多地址版本、移動版和桌面版需要一起看，避免誤判。
抓取是敲门，收錄是進门。先確認门有没有開、路有没有通，再判断房間里的内容是否值得留下。
如果你正在排查，建议先记錄蜘蛛訪問時間、返回狀態、内容版本和索引狀態，再逐項排除。不要只凭一個日誌條目下结论。