在站点运营的日常沟通里，“頁面没收錄”几乎是最常出現的一句话。但如果把日誌和索引狀態摊開来看，會發現其中相当一部分問题並不在收錄這一环——有的頁面压根没被抓取，有的抓了但内容被判為低價值，還有的已经進了索引只是没排到用戶能看见的位置。把這三件事混成一句话，排查就會失焦。
抓取、索引、展現：三個环节各管什么
可以把它理解成一條流水线：搜尋引擎先發現 URL，再派爬虫把頁面内容取回来，這是抓取；取回的内容经過解析、去重、质量判断後决定是否留下，這是索引；用戶搜尋时從索引里挑出匹配结果並排序，這是展現。三個环节的輸入輸出完全不同，出問题时的表現也不一样。
- 抓取层關心的是：這個 URL 被發現了吗？爬虫来過吗？返回的是 200 還是 404、301？
- 索引层關心的是：内容被留下了吗？留的是哪個 URL？有没有被判定為重复而合並？
- 展現层關心的是：這個词有没有机會出現？出在什么位置？
站内能直接拿到證據的是前两层。日誌、站点地图、抓取統計、索引狀態，都属于可以用資料说话的范围；展現层受外部竞争影响大，不适合作為判断收錄是否正常的唯一依據。
為什么“抓到了”不等于“進了索引”
爬虫来訪問頁面，只說明它完成了取回動作，並不代表内容會被保留。取回之後還有几道判断：頁面是否和已有内容高度重合、正文是不是几乎為空、模板部分是否遠多于主体内容、這個 URL 是否属于同一頁面的另一個變体。任何一條不過關，都可能出現“抓取正常、索引没有”的狀態。
反過来也成立：有些頁面没有被抓取，却因為外鏈锚文本或歷史信号出現在索引里。這时如果只盯着日誌看，會得出“没抓取所以没收錄”的结论，但實际情况是索引里已经有了一條可能過期的记錄，需要区分處理。
常被混在一起的几個迹象
- 日誌里訪問次數很多，就認為收錄一定好——高频抓取可能集中在少數几個頁面或參數地址上。
- 提交了 sitemap 就等收錄——提交只是提供了發現入口，後面還要過抓取和索引两道關。
- 索引狀態顯示“已發現但未抓取”，就当成收錄失敗——它其實停在抓取层的排队阶段。
- 看到索引里有這條 URL，就以為内容就是自己現在這一版——索引里的版本可能還停留在舊内容。
排查时怎么把两层分開
- 先確認 URL 是否被正常返回。用站点抓取工具或日誌確認狀態碼，排除跳轉鏈、參數错誤、robots 拦截這類基础問题。
- 再看抓取是否真的發生。查日誌里的訪問记錄，注意区分是列表頁被频繁抓取，還是目标詳情頁根本没被訪問過。
- 抓取正常但没索引时，回到内容本身。看正文是否完整、是否與同站其他頁面大量重合、是否只是篩選或排序产生的變体地址。
- 索引里有但内容不對时，检查是否属于版本滞後。確認頁面主体是否發生過較大改動，以及改動是否值得重新触發一次抓取。
- 確認處理方式是否互相冲突。比如一邊想让它進索引，一邊 robots.txt 又挡住了抓取，這種组合往往會让狀態停在中間態。
一個简單的判断习惯：先問“爬虫来過没有”，再問“来過之後留下了什么”。這两個問题的答案都拿到，讨论才有着落。
什么时候该盯抓取，什么时候该盯收錄
当目标是让新頁面尽快被發現时，重点在抓取层：内鏈位置、目錄深度、sitemap 是否包含、入口是否被屏蔽。当目标是让已有頁面稳定留在索引里时，重点在索引层：内容是否足够獨立、URL 是否唯一、變体是否收敛、頁面是否经常出現長時間空白或报错。
把這两個目标分開之後，很多“收錄問题”會自然落到具体一层。此时再决定是調整内鏈、收敛參數、合並重复頁面，還是补充正文，方向會清楚得多，也不必反复提交同一批 URL 来求安心。