在蜘蛛池的日常运营里，服務器日誌是判断入口頁有没有被真實抓取的第一手材料。但日誌里带 Spider 字样的 UA 每小时都可能出現成百上千次，其中一部分只是普通爬虫、采集程序甚至压测工具換了名字。分不清真假，要么白白消耗服務器资源，要么誤伤真實蜘蛛，最终影响的還是 URL 發現效率。
為什么真假必须分清
假請求带来三個直接問题：占用带宽與连接數、让日誌指标虚高、让人誤判入口頁已经生效。反過来，真實蜘蛛被誤封或限速過狠，入口頁就會長期没有訪問记錄，池子里的連結自然也就没人去發現。
常用的三類判断依據
一、IP 與反查
- 反向 DNS 反查：對請求 IP 做反查，再把得到的主机名正查回去，看是否回到同一個 IP。
- 官方 IP 段：主流搜尋引擎會公布蜘蛛使用的 IP 段，用列表比對是目前最可靠的方式。
- UA 與 IP 一致性：UA 自称是某家蜘蛛，IP 却落在不相干的机房或家用宽带，基本可以怀疑。
二、行為特征
- 是否請求過 robots.txt，很多假蜘蛛不會走這一步。
- 是否從入口頁進入，再顺着連結走到目标頁，還是直接集中打某個 URL。
- 請求間隔是否稳定，並發是否在某個瞬間異常拉高。
- 是否抓取 CSS、JS 等渲染所需的静態资源。
- 是否在几天内重复回訪，真實蜘蛛通常有相對固定的回訪节奏。
三、請求头细节
Accept、Accept-Encoding、UA 版本号與拼寫都值得看一眼。假蜘蛛常见的情况是 UA 寫得很完整，其他头却缺失，或者 UA 停留在几年前的舊版本長期不變。
容易踩的几個坑
- 只看 UA 字符串就决定放行或封鎖，這是最常见也最容易被绕過的做法。
- 服務器在 CDN 或反向代理後面，日誌里记錄的是节点 IP，需要看 X-Forwarded-For 之類的轉發头才能拿到真實来源。
- 限速阈值设得過低，把正常抓取当成攻击處理。
- 只盯着網頁蜘蛛，忘了移動端蜘蛛和图片蜘蛛，它們的 UA 不同但同样是真實的。
日誌里的 IP 不等于訪客 IP，先確認清楚自己的服務器架构，再谈封禁名單。
一套可以落地的放行策略
- 先建立白名單，把已经驗證過的蜘蛛 IP 與 UA 组合列進去，白名單不參與限速。
- 白名單之外的請求按普通流量處理，可以限速，但不要直接返回 403 或 503。
- 對可疑請求先观察而不是立即封禁，记錄一周左右再决定是否處理。
- 把入口頁訪問和目标頁訪問分開統計，不要混在一個總量里看。
- 定期复查白名單，IP 段會變動，長期不更新迟早會誤伤。
日誌里真正该關注的指标
- 入口頁被訪問的次數，以及返回的狀態碼分布。
- 從入口頁走到目标頁的比例，這比單纯的訪問量更有參考價值。
- UA 分布是否集中，如果九成請求来自同一個来源，值得多看一眼。
- 出現 5xx 或超时的时段，往往說明服務器在某個時間点扛不住了。
小结
判断蜘蛛真假没有一劳永逸的办法，靠的是反查、行為和歷史记錄交叉驗證。把白名單、温和限速和观察窗口配合起来用，既能挡住無意义的請求，也不至于把真正来發現 URL 的蜘蛛拦在门外。