在日誌或抓取統計里看到蜘蛛訪問了頁面，就預設它會被收錄，是很多站点运营者容易踩的坑。抓取和收錄是两件事：抓取只是蜘蛛把頁面内容取回去，收錄是搜尋引擎判断這個頁面值得進入索引、並且可以被检索到。中間還隔着解析、渲染、去重、质量评估和排队。
先確認“来過”到底意味着什么
- 狀態碼 200 才算拿到正文；301、302 只是跟着走一趟，404 和 5xx 一般不會留下内容。
- 日誌里的訪問有时是校驗性质的，不代表已经進入索引队列。
- 蜘蛛訪問完立刻去查 site:，多半没有结果，索引本身有延迟。
比較可靠的做法是：用 URL 检查類工具看“已抓取”與“已编入索引”的具体狀態，再结合日誌里该地址的訪問時間和狀態碼一起判断，而不是凭單一线索下结论。
抓取之後没進索引的常见原因
頁面自己说了“不要收錄”
- meta robots 或 X-Robots-Tag 里带了 noindex；
- canonical 指向了另一個 URL，搜尋引擎把索引和權重都记在了那個地址上；
- robots.txt 屏蔽了抓取，頁面上的 noindex 也讀不到，這種情况很容易被忽略。
内容层面的問题
- 與站内或站外已有頁面高度相似，被当作重复内容合並；
- 正文太少，頁面主体是導航和广告，缺少獨立信息；
- 内容需要登入、需要点击多次才出現，蜘蛛拿到的只是一個空壳。
渲染没跟上
如果正文由 JS 渲染，蜘蛛可能抓到了 HTML，却没等到内容出現。可以把關键内容做服務端渲染或预渲染，並在工具里對比“原始 HTML”和“渲染後 HTML”，看正文究竟在不在。
站点整体信号偏弱
新站、低權重站点、几乎没有内鏈指向的頁面，即使被抓取，也可能長期停在“已抓取，尚未编入索引”。這通常不是單個頁面的問题，而是入口數量和整体质量的問题。
一個可执行的排查顺序
- 確認 URL 返回 200，且不是重定向鏈的中間地址；
- 检查 meta robots、X-Robots-Tag、canonical 是否指向自己；
- 用工具對比渲染前後的内容，確認正文對蜘蛛可见；
- 检查标题和正文是否與其他頁面高度重复，考虑合並或改寫；
- 確認這個地址至少有一個站内入口，例如列表頁、相關内容或站点地图；
- 改完之後等重新抓取，再观察索引狀態的變化。
抓取是“蜘蛛来過”，收錄是“搜尋引擎認為值得留下”。前者可以靠提交和内鏈推動，後者只能靠頁面本身。
容易被誤判的几種情况
- site: 的返回结果本来就不完整，不适合作為判断收錄的唯一依據；
- 頁面刚上线几個小时就下结论，样本太小；
- 同一個頁面存在多個 URL 變体，被收錄的是另一個地址，看起来像“没收錄”。
把抓取和收錄分開来看，排查就不會退化成“反复提交 URL”這一件事。先定位卡在哪一步，再决定是改頁面、补入口，還是繼續等索引更新。