投了一批 URL，後台顯示已提交，但站点這邊没有任何動静。這时候只看投放面板是没用的，面板记錄的是你發出了什么，不是蜘蛛真的做了什么。想判断投放是否产生實际作用，办法只有一個：去看服務器自己的訪問日誌。
為什么日誌比投放面板更可信
投放系統能看到的，是它向外請求對方服務器时的返回碼、耗时和响應体。它看不到蜘蛛是否顺着這條线索爬到了你的目标頁，也看不到蜘蛛在你的站上停留了多久、看了几頁。訪問日誌正好补上這一段：它是目标站点一侧的记錄，谁来過、看了什么、结果如何，都寫在里面。
先分清三類訪問来源
真蜘蛛、伪蜘蛛、普通訪客
- 真蜘蛛：UA 声称是搜尋引擎，同时 IP 段、反向解析能對得上官方信息。
- 伪蜘蛛：UA 抄得很像，但 IP 归属對不上，反向解析查不到或指向無關域名。
- 普通訪客：包括你自己、监控探针、爬虫工具，這類流量會干扰频次判断，最好在分析前先過滤掉。
判断身份不要只看 UA，至少做 UA、IP 段、反向解析三者的交叉核對。三項里有两項對不上，就先当伪蜘蛛處理。
日誌里值得盯的几個字段
- 請求路径：蜘蛛進的是入口頁還是直接進了目标頁，這决定了後續是否還需要加强内鏈引導。
- 狀態碼：200 是正常，3xx 是跳轉，4xx 表示它来了但被拒绝，5xx 表示你這邊出了問题。4xx 和 5xx 占比高时，先修站，再谈投放。
- 响應時間：持續偏慢會让蜘蛛降低频次，這是很多站点抓取量下滑的真實原因。
- 抓取频次與时段：一天来几次、集中在什么時間，用于判断目前抓取額度大致處在什么水平。
- 訪問深度：從入口頁往下走了几层，能不能走到你真正想被發現的那些 URL。
日誌要按天留存，至少保留两到四周。只留当天日誌的话，趋势類的判断基本做不了。
從日誌能讀出的三種结论
投放没生效
日誌里既没有目标頁的抓取记錄，也没有入口頁的明顯增量。此时要检查的不是蜘蛛，而是鏈路本身：URL 有没有寫错、入口頁是否可達、是否被 robots 或權限拦住。
投放生效但頁面被拒
有抓取，但狀態碼集中在 4xx 或 5xx，或者响應体是错誤頁。這說明通路是通的，問题在站内，属于可以被修复的一類問题。
抓取被浪費
蜘蛛反复来，但每次都落在同一批没有價值的頁面上，比如篩選參數頁、重复列表頁。這說明抓取額度被消耗在了不该花的地方，需要通過内鏈、參數收敛和入口布局去引導。
常见的几處誤判
- 把日誌里所有带 bot 字样的 UA 都当成搜尋蜘蛛，结果频次被高估。
- 只看總請求數，不看狀態碼分布，頁面其實一直报错却以為投放成功。
- 把 CDN 或代理层的日誌当成最终源站日誌，路径和狀態碼可能已经被改寫。
- 用一天的日誌下结论，忽略了蜘蛛本身就有明顯的周期性波動。
一套简單的日常流程
- 過滤已知的自家探针與监控来源。
- 按 UA 和 IP 段分出疑似蜘蛛的訪問，再做反向解析核對。
- 統計目标路径的命中次數與狀態碼分布。
- 對比前几天的資料，看是增量、持平還是下滑。
- 只對異常項采取動作，不要每天都調整策略。
日誌分析的價值不在于把資料做得多复杂，而在于让每一次投放都有據可查：蜘蛛到底来没来、從哪里進、看到了什么、卡在哪一步。把這四件事弄清楚，比反复調整投放參數要有效得多。