不少人在看服务器日志时会遇到这种情况：日志里明明有搜索蜘蛛的访问记录，UA 和 IP 都对得上，但往下翻很久，目标 URL 一次都没被请求过。这时候容易被直接判定成“蜘蛛池没用”，其实中间还隔着好几个环节，需要逐段确认。
先分清“来了”和“抓了”
日志里的记录通常分几类：抓入口页 HTML、抓入口页上的静态资源、抓目标 URL、抓 robots.txt。搜索蜘蛛一般先到入口页，再从返回的 HTML 里解析链接，之后才可能去抓目标页。如果只看到第一类记录，说明它只完成了“发现入口”这一步；链接有没有被提取出来、有没有进入待抓队列，是后面的事。
只抓入口页、不抓目标 URL 的常见原因
1. 链接没有被正确解析
链接写在 JS 里、需要点击或滚动才生成、或者用拼接字符串的方式输出，搜索蜘蛛在渲染能力有限的情况下可能拿不到。纯文本 URL 不带 a 标签、href 为空、href 指向 javascript: 这类写法，同样不会被当成可跟随链接。
2. 入口页本身被判定为低质量
入口页内容重复度高、模板痕迹明显、正文几乎没有，只有一堆指向外部的链接，搜索蜘蛛可能抓完首页就降低对该站点的抓取意愿。这通常不等于“被惩罚”，更常见的是抓取优先级被调低，后续抓取被排到很后面。
3. 抓取配额被入口页自己消耗掉
如果入口页体积大、外部资源多、响应慢，或者站内还有大量无意义的分页、参数页，搜索蜘蛛的时间预算会先花在这些地方，目标 URL 排在后面，甚至当次访问完全不抓。
4. 状态码和 robots 拦截
- 入口页返回 5xx，或者出现长时间 302 循环，蜘蛛会中断本次抓取；
- 入口页 meta robots 或响应头里的 noindex、nofollow，会影响后续处理，nofollow 的链接不会被跟随；
- robots.txt 里 Disallow 了目标 URL 所在路径，或者规则写错把整站挡住；
- 目标 URL 需要登录、设置了 IP 或 UA 白名单，蜘蛛直接被拒绝。
5. 目标 URL 自身的问题
目标页返回 404、410，或者内容为空白、被框架包裹无法渲染，搜索蜘蛛即使来了也不会形成有效抓取。另外目标 URL 如果带大量参数或会话 ID，可能被归一化处理，日志里看到的路径和你预期的并不一致。
按顺序排查的步骤
- 确认日志中访问的是入口页还是目标页，按 URL 路径分组统计数量；
- 在浏览器里关闭 JS，查看入口页源码中能否直接看到目标链接；
- 检查入口页的 HTTP 状态码、响应时间和页面体积；
- 检查 robots.txt 以及页面级的 meta robots 设置；
- 单独测试目标 URL 的可访问性，确认是否返回 200、是否需要登录；
- 对比多个入口页的表现，找出哪些入口页之后确实出现过目标 URL 的抓取记录。
可以尝试的调整
把目标链接放在服务端渲染的 HTML 里，使用标准 a 标签和绝对路径；控制单个入口页的链接数量，优先放少量相关性较高的 URL；压缩入口页体积，减少不必要的脚本和图片；保持目标 URL 稳定，不要频繁更换参数或延长跳转链路。如果某些入口页长期只被抓取、从不带出目标页，与其继续在同一批页面上堆链接，不如替换入口页再观察。
抓取日志只能说明蜘蛛来过，不能保证收录。发现、抓取、索引是三个相对独立的环节，排查时不要把它们混在一起看。