很多人搭好蜘蛛池入口頁之後，第一反應是去搜尋控制台看收錄。但收錄慢、收錄少的原因，往往在更前面一步：搜尋蜘蛛到底有没有来過。日誌是唯一能直接回答這個問题的材料，而且它不需要等任何後台資料更新。

先分清“被抓過”和“被索引”

抓取是搜尋蜘蛛下载了你的 URL，索引是搜尋引擎决定把它放進结果頁。日誌只能告诉你前者。入口頁被频繁抓取但目标 URL 一直不收錄，說明問题不在 URL 發現這一层，而在内容质量、重复度、canonical、站点權重等更後面的环节。先把日誌讀清楚，能避免在错誤的方向上反复改入口頁。

日誌里值得看的字段

• 請求時間與频率：同一個蜘蛛多次訪問入口頁的間隔，能看出抓取节奏是稳定還是突然中断。
• 狀態碼：200、301、404、403、429、503 含义各不相同，5xx 和 429 會直接压低後續抓取量。
• User-Agent：只能作為初筛，UA 很容易被伪造。
• 来源 IP：配合反向 DNS 解析，比 UA 可靠得多。
• 請求路径：区分入口頁、中轉頁、目标 URL，看蜘蛛走没走完你设計的鏈路。
• 响應体大小：返回 200 但体积只有几百字节，通常是错誤頁或空壳頁。

怎么判断是不是真蜘蛛

先做反向 DNS：用 IP 反解出域名，再把域名正解回 IP，两次结果對得上才算可信。主流搜尋引擎都提供自己的 IP 段列表，可以拿来比對。反過来，如果 UA 寫着搜尋蜘蛛但 IP 来自普通机房或 CDN，大概率是采集器或掃描工具，這類訪問不该影响你對抓取情况的判断。

三類常见的日誌形態

只有入口頁，目标 URL 一條都没有

說明蜘蛛拿到了入口頁，但没有顺着連結繼續走。常见原因是連結靠 JS 渲染、被 nofollow 标记、寫在 iframe 里，或者連結數量太多導致蜘蛛只挑了其中一部分。先检查入口頁 HTML 源碼里能不能直接搜到目标 URL 的字符串。

入口頁和目标 URL 都抓了，但频率很低

這属于抓取预算层面的問题，和抓取速度、站点整体质量、入口頁數量都有關系。此时繼續加入口頁，邊际效果會越来越小，不如先看目标 URL 那一侧的内容和结构。

日誌里大量 4xx 和 5xx

先修服務端，再谈 URL 發現。持續返回错誤會让蜘蛛降低對你整個域名的抓取频率，而且恢复需要時間。

把日誌当成排查起点，而不是结论

日誌能告诉你“發生了什么”，但不會告诉你“為什么”。看到蜘蛛只抓入口頁，需要回到 HTML 结构、robots 規則、响應头去驗證；看到蜘蛛完全不出現，則要確認新域名是否有外鏈、入口頁是否被提交、服務器是否對蜘蛛 IP 做了拦截。把日誌、頁面源碼、robots.txt 三份材料對着看，定位速度會快很多。

不要用日誌里的抓取次數去承诺收錄结果，抓取量高和收錄好是两件事。