服務器日誌里出現蜘蛛的訪問记錄，很多人會直接理解成“這個頁面已经被收錄了”。其實抓取和收錄是两件獨立的事：抓取解决的是“内容有没有被取走”，收錄解决的是“取走的内容有没有被存進索引、並有机會被調用”。中間隔着若干處理环节，任何一环出問题，日誌上都能看到抓取，索引里却找不到這個頁面。
抓取成功只說明内容被取走了
一次抓取能算成功，通常要满足几個條件：域名解析與连接正常、服務器返回 2xx 狀態碼、响應体在超时前完整传出、robots.txt 没有挡住這個地址。這些條件達成，只會让蜘蛛拿到一份 HTML，並不代表它理解了這個頁面。反過来，返回 200 但正文是空的、内容靠前端脚本异步加载、正文被塞在彈窗或折叠区里，都可能出現“抓到了，但没抓到有用的東西”。
從响應内容到索引條目，中間發生的事
- 解析與抽取：從 HTML 里识別标题、正文、時間、作者等主体内容，剔除導航、頁脚、广告等模板部分。
- 去重與規范化：判断這份内容是否與库中已有内容高度相似，並决定同一内容用哪個 URL 作為代表地址。
- 质量判断：内容是否足够獨立、完整，是否只是模板填空或采集拼接。
- 寫入索引：通過前面几關後，頁面才會以一條索引條目的形式存在。
不同搜尋引擎的實現细节有差异，但逻辑是一致的：抓取只是入口，能不能寫進索引取决于後面几步的结果。
卡点一：主体内容没被完整抽取
抽取失敗最常见的原因不是内容不存在，而是内容的位置不符合常規结构。比如：
- 正文由前端框架在浏览器端渲染，服務端返回的 HTML 几乎是空壳；
- 正文放在内嵌框架、图片或画布中，文本层缺失；
- 正文與其他模块混排在一起，抽取时被整块丢弃；
- 首屏被大面积彈窗、登入提示遮挡，主体内容需要交互才出現。
這類情况的信号是：抓取次數正常，甚至频率不低，但索引报告里長期顯示未被编入索引。
卡点二：規范化之後，索引選了另一個地址
同一段内容如果同时存在多個可訪問地址，索引通常只會保留一個代表。带參數的版本、大小寫不同的版本、结尾带不带斜杠的版本，以及被頁面内声明的規范地址指向的其他頁面，都可能成為最终入選的那個。你會看到自己關心的 URL 一直不進索引，其實是它的“兄弟地址”被收錄了。這一点用站点查询或抓取測試工具確認最快，不必反复提交。
卡点三：寫進去了，但頁面质量不够
索引條目存在，不等于随时會被調用。内容單薄、與站内其他頁面高度重复、信息價值有限的頁面，可能被寫入索引，但在展示环节很难获得位置。需要提醒的是：這属于索引之後的取舍，與抓取無關，盯着服務器日誌或抓取频率是看不出問题的。
怎么判断頁面卡在哪一步
- 先看服務器日誌或抓取統計：如果一個周期内蜘蛛完全没来過，問题在發現與抓取环节。
- 再確認返回内容：用不执行脚本的方式請求一次，看返回的 HTML 里有没有正文文本。
- 然後看索引狀態：如果頁面明确顯示未被编入索引並给出原因，顺着原因排查。
- 最後查代表地址：確認同一内容是否有其他 URL 已经被收錄。
顺序反了很容易白忙：還没確認抓取是否正常，就去改标题和内鏈，通常不會有變化。
值得做與不值得做的事
- 值得做：保證服務端返回的 HTML 里有可讀正文；把重复地址收敛成一套；让重要頁面的内容具备獨立性。
- 不值得做：為了尽快收錄不断重复提交同一個地址；在没確認抓取狀態前频繁改動頁面结构；把尚没有内容的頁面提前放出来等索引。
抓取、收錄、可被調用是三件不同的事。排查时先确定頁面停在哪個阶段，再决定要不要動手，比反复试探有效得多。