很多人盯着蜘蛛的抓取數量看，却很少回到原始日誌里。抓取量是结果，日誌才是過程。同一批 URL 被反复抓、该抓的頁面一直没人来，答案通常都寫在訪問日誌的三類字段里：狀態碼、响應時間、响應字节數。把這三類先讀顺，再谈 Sitemap 和内鏈怎么調，思路會清楚很多。

一、先確認日誌里能讀到什么

一條典型的蜘蛛請求记錄，至少包含時間、来源 IP 或 UA、請求方法、URL、狀態碼、响應字节數、耗时。缺少耗时的日誌也能用，但會丢掉一半信息。建议按周為單位儲存，至少留 30 天，因為抓取节奏本身有波動，只看一天容易誤判。

二、狀態碼：区分“抓到了”和“没抓到”

200、304 與跳轉的含义並不相同

• 200：真正返回了内容，字节數應当大于 0；如果狀態是 200 但字节數极小，多半是空壳頁或软错誤。
• 304：缓存仍有效，服務器没有重發正文。它不算浪費，但也不产生新内容，占比長期偏高說明這批頁面缺少更新。
• 301 / 302：鏈路過長會拖慢抓取；同一目标存在多條跳轉路径时，應尽早收敛成一條。

4xx 與 5xx 要分開統計

404 往往是連結没清理干净，属于可修的站内問题；5xx 是服務器侧問题，短期集中出現时，蜘蛛通常會降低對该目錄的抓取频率，恢复需要時間。把两類混在一起看，很容易誤以為蜘蛛不来了，其實是被自己的错誤响應挡在门外。

三、响應時間：看尾部，不只看均值

平均值意义有限。更值得看的是最慢的那 5%：如果一批 URL 的耗时長期停在几秒以上，蜘蛛在同一時間窗口里能走的頁面數就會明顯减少。這时優先排查慢查询、缺索引的篩選頁、單頁体积過大這三類問题，比反复提交 URL 更有效。

四、字节數：决定一趟能走多遠

蜘蛛的抓取受時間和带宽共同约束。同一目錄下頁面平均体积從 200KB 涨到 1MB，抓取频次往往不會同步增長，结果是覆盖變慢。压缩传輸、精简模板里重复的内联脚本與样式，通常比改 Sitemap 的優先級更立竿见影。

五、用日誌反推内鏈與 Sitemap

把日誌里的 URL 與站内連結结构對照，常见三種情况：

• 日誌里反复出現的 URL，頁面里却找不到指向它的連結——入口多半来自 Sitemap 或外鏈，内鏈结构有缺口。
• Sitemap 里列出但從未被抓——先確認是否被 robots 規則拦掉，再確認文件本身能否正常訪問。
• 深层頁面抓取比例低——通常是层級過深，或枢纽頁出鏈過多，蜘蛛在浅层就耗完了額度。

六、一個可执行的排查顺序

1. 按狀態碼分组，先看 5xx 集中在哪些时段和目錄。
2. 在 200 的請求里，按目錄統計平均字节數與平均耗时。
3. 找出被抓次數高但内容長期不變的 URL，判断是否值得繼續暴露。
4. 對照 Sitemap 與内鏈，给缺入口的重要頁面补上連結。
5. 調整後观察两到四周，抓取节奏的變化通常不會立刻体現。

日誌是观察窗口，不是操作按钮。改一次就等结果，很容易把正常波動讀成生效或失效。