栏目規划、内容排期、内鏈布局，這些動作做完之後通常没人回头驗收。服務器訪問日誌是少數能回答“蜘蛛實际去了哪里”的材料：它不告诉你排名，但能告诉你蜘蛛把時間花在了哪些地址上。
一、先把日誌里的蜘蛛請求挑出来
多數日誌預設混着真人訪問、监控探针和各類爬虫。直接看總量没有意义，第一步是按 user-agent 過滤出主要搜尋引擎的蜘蛛，再把它們單獨存成一份時間段清晰的记錄。
- 按天或按周切分，跨度太短的样本容易被当天的抓取波動带偏。
- 留意 user-agent 里的版本與来源标识，伪装的爬虫不少，可以配合 IP 段做二次確認。
- 保留 IP、時間、方法、URL、狀態碼、响應大小這几列就够了，字段太多反而不好比對。
二、日誌能看到的四件事
1. 狀態碼分布
統計蜘蛛請求里 200、301、404、5xx 各占多少。如果 404 和重定向占了可观的比重，說明站内連結或歷史地址還留着一批需要清理的入口，抓取预算被分流了。
2. 目錄與栏目的抓取占比
把 URL 按一級、二級目錄归類，看每個栏目被請求的次數。理想狀態是抓取分布和你的内容價值分布大致吻合；如果某個低價值栏目吃掉了大半請求，往往是入口太密、互相推荐太多造成的。
3. 高频但低價值的地址
常见的几類：带篩選參數的列表頁、日歷归档、标簽组合頁、站内搜尋结果頁。它們被反复抓取，但内容重复度高，對收錄帮助有限。發現之後可以在連結层面收窄入口，而不是只靠規則屏蔽。
4. 長期没有出現的板块
反過来看，某些栏目在整段時間里一次都没被請求。原因通常不是内容差，而是没有可爬到的入口：入口藏在脚本里、藏在需要交互才展開的模块里，或者連結层級過深。
三、把日誌结论落回运营動作
看過資料之後要能改出具体動作，否則复盘就只是看报表。
- 按抓取占比排序，给每個栏目寫一句判断：符合预期、偏多、偏少。
- 偏多的栏目，检查列表頁是否有重复入口、是否被多個聚合模块反复連結。
- 偏少的栏目，先补入口：導航、面包屑、相關阅讀、栏目互鏈，再考虑内容层面的更新。
- 新發布的内容，记錄首次被抓取的時間，作為後續更新节奏的參考，而不是用来承诺收錄。
- 把改過的連結结构记進一個简單的變更表，下次复盘时能對上時間点。
四、几個容易走偏的地方
第一，把抓取次數当成质量指标。蜘蛛抓得多不等于内容被認可，抓取量大也可能是因為頁面太碎、入口太多。
第二，只看總量不看分布。總量上涨但集中在几個低價值目錄，實际是抓取预算的浪費。
第三，日誌只看一天。蜘蛛的抓取有明顯周期性，單日样本经常得出相反结论。至少按周對比，按月看趋势更稳。
日誌解决的是“發生了什么”，不是“為什么没排名”。把它当成入口排查工具，而不是效果證明。
五、让复盘變成固定動作
不必频繁，每月一次、改版或大批量更新後加一次，就够用了。每次只回答三個問题：蜘蛛主要抓了哪些目錄、有哪些地址被反复抓却没什么價值、有哪些規划中的板块還没被走過。把答案寫成待办，分给负责栏目和负责技術的人，下一次复盘时先看上一轮的待办有没有落地。