入口頁上线之後，很多人习惯盯着站長後台的抓取統計，但那邊的數字是匯總過的，看不到细节。真正能回答「蜘蛛到底有没有進来、進来之後抓了什么」的，是服務器訪問日誌。日誌不美化、不匯總，每一行都是一次真實請求。
日誌里優先看哪几列
不用把所有字段都讀一遍，先固定看這几列就够了：
- 時間戳：判断抓取是集中爆發還是细水長流。
- 請求 URL：確認抓走的是入口頁，還是站点里其他無關頁面。
- 狀態碼：200 之外的所有返回都值得追一下原因。
- 响應体大小：200 但体积接近 0，通常意味着頁面實际是空的。
- User-Agent：区分不同搜尋引擎，也用来识別冒充者。
- 来源 IP：看抓取是来自少數几個段，還是相對分散。
判断抓取是否真的發生
以下几個信号同时出現，基本可以認為入口頁被正常訪問了：
- 同一 UA 在不同日期對同一個入口頁有請求记錄，而不是只来一次就消失。
- 請求的 URL 落在你准备好的入口頁清單内，而不是只抓了首頁。
- 狀態碼以 200 為主，5xx 和 403 的比例很低。
- 响應体大小與頁面實际内容量匹配，不是几百字节。
- 抓取入口頁之後，日誌里出現了對同域其他 URL 的连带請求。
反過来，如果日誌里只有零星几行，而且集中在某一天，多半說明入口頁只是被顺带掃到，並没有形成持續的抓取路径。
容易誤讀的几種情况
- 把 CDN 或负载均衡的回源日誌当成蜘蛛日誌：多层架构下同一次請求會被记多次，去重後再看數量。
- 把其他工具当成蜘蛛：UA 可以伪造，最好用反向解析或官方 IP 段做交叉驗證。
- 把一次性的探测当成抓取：只請求了 robots.txt 或 favicon，不代表入口頁被讀過。
- 只看總量不看分布：一天一千次請求如果全砸在同一個 URL 上，參考意义有限。
日誌的價值更多在于證伪：它能告诉你哪些入口頁其實没被碰過，而不是證明你已经做對了。
看完日誌之後通常要做的几件事
- 把長期零請求的入口頁挑出来，检查是不是被 robots、登入墙或 IP 規則挡住了。
- 把 5xx 集中的時間段與服務器负载對照，先解决稳定性再谈數量。
- 如果抓取集中在少數頁面，适当减少入口頁總量，让請求分布更均匀。
- 记錄每次調整前後的日誌變化，形成自己的對照基线，而不是照搬別人的數字。
日誌分析不需要复杂的工具，一台服務器加上简單的命令行統計就能起步。重要的是养成习惯：每次改動入口頁配置之後，回到日誌里確認结果，再决定下一步。蜘蛛池只是让 URL 更容易被看到，能不能被讀、被讀多少，最终還是要靠日誌说话。