栏目规划、内容排期、内链布局，这些动作做完之后通常没人回头验收。服务器访问日志是少数能回答“蜘蛛实际去了哪里”的材料：它不告诉你排名，但能告诉你蜘蛛把时间花在了哪些地址上。
一、先把日志里的蜘蛛请求挑出来
多数日志默认混着真人访问、监控探针和各类爬虫。直接看总量没有意义，第一步是按 user-agent 过滤出主要搜索引擎的蜘蛛，再把它们单独存成一份时间段清晰的记录。
- 按天或按周切分，跨度太短的样本容易被当天的抓取波动带偏。
- 留意 user-agent 里的版本与来源标识，伪装的爬虫不少，可以配合 IP 段做二次确认。
- 保留 IP、时间、方法、URL、状态码、响应大小这几列就够了，字段太多反而不好比对。
二、日志能看到的四件事
1. 状态码分布
统计蜘蛛请求里 200、301、404、5xx 各占多少。如果 404 和重定向占了可观的比重，说明站内链接或历史地址还留着一批需要清理的入口，抓取预算被分流了。
2. 目录与栏目的抓取占比
把 URL 按一级、二级目录归类，看每个栏目被请求的次数。理想状态是抓取分布和你的内容价值分布大致吻合；如果某个低价值栏目吃掉了大半请求，往往是入口太密、互相推荐太多造成的。
3. 高频但低价值的地址
常见的几类：带筛选参数的列表页、日历归档、标签组合页、站内搜索结果页。它们被反复抓取，但内容重复度高，对收录帮助有限。发现之后可以在链接层面收窄入口，而不是只靠规则屏蔽。
4. 长期没有出现的板块
反过来看，某些栏目在整段时间里一次都没被请求。原因通常不是内容差，而是没有可爬到的入口：入口藏在脚本里、藏在需要交互才展开的模块里，或者链接层级过深。
三、把日志结论落回运营动作
看过数据之后要能改出具体动作，否则复盘就只是看报表。
- 按抓取占比排序，给每个栏目写一句判断：符合预期、偏多、偏少。
- 偏多的栏目，检查列表页是否有重复入口、是否被多个聚合模块反复链接。
- 偏少的栏目，先补入口：导航、面包屑、相关阅读、栏目互链，再考虑内容层面的更新。
- 新发布的内容，记录首次被抓取的时间，作为后续更新节奏的参考，而不是用来承诺收录。
- 把改过的链接结构记进一个简单的变更表，下次复盘时能对上时间点。
四、几个容易走偏的地方
第一，把抓取次数当成质量指标。蜘蛛抓得多不等于内容被认可，抓取量大也可能是因为页面太碎、入口太多。
第二，只看总量不看分布。总量上涨但集中在几个低价值目录，实际是抓取预算的浪费。
第三，日志只看一天。蜘蛛的抓取有明显周期性，单日样本经常得出相反结论。至少按周对比，按月看趋势更稳。
日志解决的是“发生了什么”，不是“为什么没排名”。把它当成入口排查工具，而不是效果证明。
五、让复盘变成固定动作
不必频繁，每月一次、改版或大批量更新后加一次，就够用了。每次只回答三个问题：蜘蛛主要抓了哪些目录、有哪些地址被反复抓却没什么价值、有哪些规划中的板块还没被走过。把答案写成待办，分给负责栏目和负责技术的人，下一次复盘时先看上一轮的待办有没有落地。