很多站点运营者习惯只看站长平台给出的抓取数据，但服务器日志里其实有更细的记录：蜘蛛什么时候来、抓了哪个 URL、返回什么状态码、下载了多少字节。如果日志文件只是按天压缩、躺在服务器里，不拿出来看，问题就容易被忽略。
这篇文章说的“抓取日志自查”，不是让你去刷抓取量，而是通过日志确认蜘蛛能不能顺畅地访问重要页面，以及哪些低价值请求在占用资源。
抓取日志里能看出什么
一条访问日志通常包含时间、IP、User-Agent、请求 URL、状态码、响应大小、耗时等字段。对站点运营来说，重点不是逐条读，而是做聚合统计。
- 抓取对象：哪些目录、哪些 URL 被反复访问。
- 抓取结果：状态码是 200、301、404 还是 5xx。
- 抓取频次：同一路径一天被请求多少次，是否突然暴涨或归零。
- 抓取深度：新发布的页面有没有被发现，还是只在首页和列表页打转。
- 响应异常：超时、连接重置、返回内容为空等情况。
先分清哪些是真蜘蛛
日志里 User-Agent 写类似“Baiduspider”“Googlebot”的请求很多，但其中可能混着普通爬虫或伪造请求。自查时可以先用 UA 做初筛，再结合 IP 归属和反向解析判断。如果服务器权限有限，至少把已知蜘蛛的 UA 段整理成过滤规则，后续统计会干净很多。
注意不要因为一次异常请求就封整个 IP 段，有些蜘蛛会从不同 IP 发起抓取。稳妥做法是观察一段时间，确认是持续异常再做限制。
重点看四类记录
状态码异常
把日志按状态码分组，先看 5xx。服务器 500、502、503 出现频率高，蜘蛛会降低抓取意愿，重要页面也可能被暂时跳过。再看 404，如果是大量内链指向已删除页面，说明站内还有死链没清。301 过多则要检查跳转链是否太长。
抓取频次异常
某个栏目突然被高频抓取，可能是它出现了新入口，也可能是参数生成出大量近似 URL。相反，原本每天都被抓的栏目连续几天没有记录，就要检查入口是否被误屏蔽、栏目是否长期没更新，或者服务器是否在特定时段拒绝请求。
重要页面是否被抓
把核心栏目页、新发布的详情页、转化页列一个清单，去日志里搜对应 URL。如果这些页面很少出现，而一些标签页、筛选页、站内搜索结果页频繁被抓，就需要回头检查内链结构和 robots 规则。抓取量高不等于重要页面被抓，更不等于会被收录。
参数和动态 URL
带追踪参数、排序参数、会话 ID 的 URL 如果被大量抓取，容易消耗抓取预算。可以在日志里按“?”分组，看看哪些参数组合生成最多请求。能静态化或收敛的尽量收敛，不能收敛的考虑用 robots.txt 或规范链接处理，但要注意别误伤正常页面。
一份可落地的自查步骤
- 确认服务器已开启访问日志，并保留至少 30 天，按天切分文件，方便对比。
- 整理搜索蜘蛛的 UA 关键词，先过滤出蜘蛛请求，再过滤出普通用户请求。
- 按天统计状态码分布，记录 4xx、5xx 的 URL 和数量变化。
- 按 URL 路径聚合抓取次数，排出前 50 和后 50，看高频和零抓取页面。
- 对比核心页面清单，确认新内容在发布后几天内是否被抓。
- 把发现的问题分优先级：服务器错误优先处理，其次是死链和参数泛滥，最后才是抓取频次优化。
几个常见误区
日志里蜘蛛请求多，不代表页面会被收录；日志里没有蜘蛛，也不代表站点一定有问题，可能是抓取周期还没到。看日志要结合站长平台数据和内容质量一起判断。
- 只看总量：总抓取量涨了，但可能都落在低价值筛选页上。
- 看到 404 就紧张：少量 404 是正常的，关键看是否来自重要内链。
- 为了抓取量造页面：批量生成无实质内容的页面，短期可能增加请求，长期会拖累站点质量。
- 忽略服务器耗时：日志里的响应时间如果普遍偏长，蜘蛛抓取效率也会受影响。
抓取日志不是一次性任务。可以固定每周或每两周做一次聚合，记录核心指标的变化。时间久了，你会对站点的抓取状态有更具体的判断，而不是只凭感觉调整栏目和内容。