做蜘蛛池的人经常會盯着後台的“提交成功”“已發現連結”這類提示，但這些提示只能說明我們這邊做了什么，說明不了搜尋蜘蛛到底有没有来、有没有顺着入口頁的連結走到目标 URL。真正能回答這個問题的，是服務端的訪問日誌。日誌不會说谎，只是很多人不會看。
為什么日誌比“提交成功”更有參考價值
提交接口返回成功，只代表請求被接收；入口頁被訪問，也只代表某個 IP 来抓了一次。這两件事都不能證明目标 URL 被發現了。日誌里记錄的是每一次真實的 HTTP 請求，包括請求時間、来源 IP、User-Agent、請求路径、狀態碼和响應体大小，把這些字段串起来看，才能還原“谁在什么时候訪問了哪個地址，结果如何”。
看日誌时要重点關注的几個字段
- User-Agent：搜尋蜘蛛的 UA 一般带有明顯的自报名稱，但 UA 可以伪造，不能只看這一項。
- 反向解析的 IP：正規搜尋蜘蛛通常會做 rDNS，把 IP 反解成官方域名。UA 對得上、rDNS 也對得上，可信度才高。
- 請求路径：確認入口頁在日誌里的路径和你预期一致，注意大小寫、结尾斜杠、带參數等差异。
- 狀態碼與响應体大小：200 不代表内容正常，如果响應体只有几百字节，很可能是空白頁或错誤模板。
- Referer：部分請求會带上来源頁地址，可以用来判断它是不是從入口頁跟過去的。
時間與频次同样重要
單次訪問說明不了趋势。把同一 IP 段在一段時間内的請求按天統計，看它是稳定回訪、来過一次就消失，還是訪問量忽高忽低。回訪节奏的變化，往往比單次請求更能反映入口頁的狀態。
三種最常见的誤判
- 把普通爬虫当成搜尋蜘蛛：很多第三方采集、监控、SEO 工具也會频繁抓取，UA 里同样寫着類似字眼。不核對 IP 和 rDNS，很容易自我安慰。
- 把入口頁被訪問当成目标 URL 被發現：蜘蛛抓了入口頁，不代表它會立刻跟進頁面上所有連結。這两件事要分開統計，最好用不同的 URL 路径区分開。
- 把静態资源請求算成頁面抓取：日誌里會有大量图片、CSS、JS 請求，這些和 HTML 頁面抓取不是一回事，統計时要過滤掉。
從日誌反推入口頁問题的排查顺序
- 先確認入口頁本身能不能被正常訪問：自己在無缓存环境下請求一次，看狀態碼和正文長度。
- 再確認搜尋蜘蛛有没有来過：按 UA 和 IP 過滤日誌，看時間分布。
- 如果来過但没跟進連結，检查連結是否為可抓取的 a 标簽、是否被 JS 動態插入、是否被 robots.txt 屏蔽。
- 如果跟進了目标 URL，再去目标站的日誌里找同 IP 段的請求，形成閉环。
日誌只能證明“發生過什么”，不能保證“將来會被收錄”。它最大的用處是帮你排除明顯的問题，而不是给你一個确定的收錄承诺。
日誌之外還需要配合的動作
日誌是结果，入口頁和連結的设計是原因，两者要對得上。入口頁更新連結列表後，观察接下来一到两周的日誌有没有出現新的抓取路径；發現某類連結始终没人跟，就優先排查那部分頁面结构，而不是盲目增加入口頁數量。把日誌当成反馈信号逐步調整，比一次性堆量更有效。