站点上线一段時間後，很多运营者只盯着收錄量這一個數字，却说不清搜尋蜘蛛是從哪個入口進来的、在哪一层停下的。服務器日誌恰好能补上這块拼图：它记錄的是蜘蛛真實的請求行為，而不是我們以為的路径。把日誌当成 URL 發現的复盘工具，比反复猜测更省事。
先做减法：日誌里真正要看的字段
原始日誌又長又杂，第一步是過滤掉静態资源和無關爬虫。留下蜘蛛 UA、請求時間、請求 URL、狀態碼、响應大小、Referer 這几列就够了。Referer 尤其容易被忽略，它往往能說明蜘蛛是從哪條連結走到這個地址的。
- 按 UA 過滤，只看主流搜尋引擎蜘蛛，避免被各種采集器干扰判断；
- 按狀態碼分组，200 是正常抓取，301/302 是跳轉路径，404 是失效鏈路；
- 按目錄前缀聚合，看清哪些频道被反复訪問、哪些几乎没人進。
三類路径要分開看
入口請求
每天第一次出現的 URL，尤其是首頁、频道頁、Sitemap 文件，代表蜘蛛当天的起跑点。如果入口請求長期集中在少數几個頁面，說明可發現的入口太單薄。
扩散請求
顺着内鏈一层层深入产生的請求。观察扩散路径能發現断点：比如列表頁第二頁之後几乎没請求，往往不是内容問题，而是分頁連結没有被有效暴露。
回訪請求
同一個 URL 在多次抓取間隔里的重复訪問。更新频繁的頁面回訪密集是正常的；如果一篇很久没改的文章被高频回訪，可能意味着頁面结构或參數在制造重复地址。
把日誌和 Sitemap、内鏈對照
單獨看日誌只能看到结果，加上另外两個信息源才能定位原因。做法很简單：從 Sitemap 里抽一批 URL，去日誌里查它們有没有被請求過；再從日誌里随机抽一批被频繁抓取的 URL，回头看它們在内鏈中處于第几层。
- 提交了但日誌里没有任何請求，检查 Sitemap 是否可訪問、格式是否正常、是否被 robots.txt 挡住；
- 有請求但狀態碼異常，優先修跳轉鏈和失效地址；
- 有請求但從不深入，检查该頁面的出鏈是不是靠脚本渲染、是否被 nofollow 或分頁參數截断。
几個常见的誤判
日誌里的蜘蛛不一定都是真的。UA 可以伪造，一些采集工具會伪装成搜尋引擎蜘蛛，判断时最好结合反向 DNS 或 IP 段驗證。
另外，請求次數多不等于抓取有效。同一個 URL 因為參數變体被反复請求，看起来热闹，實际上是抓取額度的浪費。遇到這種情况，先收敛參數和重复地址，再谈提升抓取。
日誌是證據，不是结论。它告诉我們蜘蛛做了什么，但為什么這样做，還要回到站点结构和服務器响應上找答案。
落成日常動作
- 每周固定導出一次蜘蛛日誌，按目錄聚合，和上周對比新增與减少；
- 新上线或改版後，头几天重点看新地址是否出現在入口和扩散請求里；
- 把提交量、被抓取量、有效抓取量三個數字分開记錄，避免用一個總量掩盖問题；
- 服務器出現 5xx 或响應變慢时，同步看日誌中的抓取节奏有没有變化。
坚持几周之後，你會慢慢摸清自己站点的抓取規律：哪些路径通畅、哪些环节卡住、哪些地址其實一直在被浪費。這比盯着單一指标更能指導實际調整。