做站点运营，很多人会盯着发布量和收录数，却很少回头看服务器上的抓取日志。日志里有蜘蛛来过哪些地址、什么时候来、拿到什么状态码，这些信息比猜测有用得多。定期翻一翻，能提前发现新页面为什么迟迟没被访问。
抓取日志里值得关注的几列
不同服务器的日志格式略有差别，但通常都能看到时间、访问 IP 或主机名、请求方法、URL、状态码、User-Agent、响应大小。把这几列过一遍，就能拼出一张蜘蛛的行走路线。
- User-Agent：确认来访的是哪类蜘蛛，别把普通爬虫和搜索蜘蛛混在一起看。
- 状态码：200、301、404、5xx 各占多少，异常比例高不高。
- URL 分布：抓的是栏目页、详情页，还是一堆带参数的筛选页。
- 抓取频次：同一天里哪些目录被反复访问，哪些目录几乎没人来。
如果日志量太大，可以先按状态码和目录做一次统计，再挑重点时段细看。
新页面为什么没被抓到
新内容发布后迟迟没有蜘蛛访问，通常不是单一原因，可以从几个方向排查。
- 入口太少：页面只存在于后台，列表页、栏目页、相关推荐里都没有指向它的链接。
- Sitemap 没更新：新 URL 没有写进站点地图，或者写进去了但提交时间太久。
- 链接被屏蔽：robots.txt、页面上的 noindex、登录墙把蜘蛛挡在外面。
- 服务器响应慢：频繁超时或 5xx，会让蜘蛛降低对这个站点的访问意愿。
- URL 反复改动：同一篇内容换了几次地址，旧地址跳来跳去，蜘蛛容易放弃。
这几项不必同时改，先修最影响入口的那一条。
把 URL 发现渠道补齐
蜘蛛发现新地址，主要靠链接和站点地图。运营能做的，是让这两个渠道保持通畅。
- 新文章发布后，确认它至少从栏目页、首页或上一篇相关文章里能点到。
- Sitemap 按栏目拆分，更新频率高的栏目单独一份，方便观察。
- 列表页分页保持可抓取，别让第 2 页之后的链接全部用按钮代替。
- 站内搜索结果页、标签页如果内容重复，考虑用 noindex 或 robots 规则收敛，避免抓取分散。
抓取预算与浪费
蜘蛛对每个站点的抓取量是有上限的。如果大量请求落在无价值页面上，留给新内容的份额就会变少。
与其抱怨蜘蛛不来，不如先看看它来了之后都在抓什么。
常见的抓取浪费包括：带各种排序参数的列表页、已经 404 但还挂在导航里的旧链接、跳转链过长的中间地址，以及同一个内容的多套 URL。把这些整理一遍，往往比多做几条外链更直接。
建立固定的观察节奏
抓取日志不需要每天逐行看，但要形成节奏。
- 每周固定时间导出一次日志，统计抓取总量、状态码分布和目录分布。
- 重点记录新栏目上线后的一周，观察蜘蛛有没有跟进。
- 改动结构、改名、换域名之后，连续观察两到三周。
- 把异常（5xx 上升、某目录突然没人抓）记下来，和服务器改动时间对照。
容易踩的几个坑
- 只看提交成功提示，不看蜘蛛实际有没有访问。
- 把蜘蛛抓取量当成收录量，两者不是一回事。
- 为了让蜘蛛多来，频繁改动 URL 和站点结构，反而增加不确定性。
- 日志里混入大量图片、CSS、JS 请求，统计时没做过滤，结论失真。
抓取日志像一份持续更新的体检表。把它和栏目规划、内链结构、服务器状态放在一起看，新页面被发现的速度会更稳定一些。它不保证什么结果，但能让很多问题更早暴露出来。