做站点运营时，常听到两種说法：一種是“蜘蛛来過了，怎么還没收錄”，另一種是“明明收錄了，怎么搜不到”。這两句话其實把不同阶段混在了一起。從搜尋引擎的角度看，一個 URL 要经過發現、抓取、收錄、展示四個阶段，每個阶段都有自己的判断标准。蜘蛛池、外鏈、sitemap 能影响的主要是發現和抓取，不能直接換来收錄。
四個阶段分別是什么
把流程拆開看：URL 發現，是搜尋引擎知道這個地址存在；抓取，是蜘蛛把頁面内容取回去；收錄，是搜尋引擎解析、去重、判断质量後存入索引；展示，是根據用戶查询决定是否把结果呈現出来。四個阶段之間有延迟，也有篩選，不是一路绿灯。
URL 發現：入口够不够
如果蜘蛛從未知道某個地址，後面的事情都無從谈起。常见的發現入口包括 sitemap、站内導航、正文内鏈、外鏈和歷史上的抓取记錄。蜘蛛池的作用是增加被發現的概率，但它不保證蜘蛛一定来，更不保證来了就抓。
- 检查 sitemap 是否包含目标 URL，且返回 200。
- 看頁面是否至少有一個可抓取的站内入口。
- 看服務器日誌里有没有蜘蛛對目标地址的訪問记錄。
抓取：蜘蛛来没来、拿没拿到
發現之後，蜘蛛會排队抓取。這一阶段看的是服務器日誌：狀態碼、响應時間、UA、抓取频次。如果返回 5xx、超时或频繁重定向，蜘蛛會降低抓取频率，甚至暂时放弃。抓取成功，只代表搜尋引擎拿到了内容，不代表内容會被收錄。
抓取是動作，收錄是结果。動作完成了，结果不一定發生。
收錄：索引里的處理與篩選
抓取回来的頁面要经過解析、去重、质量判断和索引寫入。很多頁面會停在“已抓取但未编入索引”的狀態。常见原因包括：内容與站内其他頁面高度重复、頁面主要内容太少、canonical 指向冲突、noindex 指令、頁面價值不足以進入索引。
- 核對 canonical 是否指向正确且可索引的版本。
- 检查 noindex 是否被誤加在模板或响應头里。
- 確認頁面主要内容是否與同類頁面有明顯差异。
- 看内鏈是否把權重和信号集中到了目标頁面。
展示：有索引不等于有排名
頁面進入索引後，能不能被搜到、排在第几位，取决于查询意图、内容匹配度、时效性、地域和個性化等因素。同一索引里，有的頁面長期没有展示，不一定是收錄出了問题，可能只是没有匹配到合适的查询，或者竞争頁面太多。此时回头去改抓取設定，通常解决不了展示問题。
运营中的核對顺序
遇到“不收錄”或“收錄了搜不到”，建议按下面的顺序走，不要跳步：
- 先看服務器日誌，確認蜘蛛是否發現並抓取了目标 URL。
- 再看抓取狀態碼和返回内容，確認蜘蛛拿到的是不是正常頁面。
- 然後看索引狀態，是未收錄、已抓取未编入索引，還是已收錄。
- 最後看搜尋表現，分析展示和点击資料，判断是查询匹配還是排名問题。
蜘蛛池、外鏈、主動提交都是影响發現和抓取的手段，它們可以缩短從發現到抓取的時間，但不能替代頁面质量和站点结构。把四個阶段分開核對，排查时就不會把抓取問题当成收錄問题，也不會把展示問题当成索引問题。