很多人在服务器日志里看到百度、Google 或其他搜索蜘蛛的 UA 访问了蜘蛛池入口页，就默认入口页上的目标 URL 已经被发现。这个判断跳跃了一步：蜘蛛访问入口页，只说明它来过；目标 URL 是否被解析、是否进入待抓取队列，是后面的事。
访问入口页和发现目标 URL 是两件事
搜索蜘蛛抓取入口页后，会先解析 HTML。只有在这个页面里以可识别链接形式存在的 URL，才有机会被加入发现列表。如果链接被 nofollow、被 robots.txt 阻止、由 JavaScript 异步渲染、放在 iframe 里，或者页面本身返回的是验证页、错误页，蜘蛛即使来了，也不一定会把目标 URL 记下来。
另外，入口页日志里出现蜘蛛 UA，并不等于它抓取了入口页的完整内容。有的请求只是 HEAD，或者只取了少量字节就断开。这种请求通常不足以完成链接解析。
日志里更值得看的几个字段
- 请求方法：GET 通常是完整抓取，HEAD 一般只探头部信息。
- 状态码：200 才可能正常解析；403、503、302 到验证页都会影响发现。
- 响应字节数：字节数过小，可能只拿到空页或错误页。
- 目标 URL 的独立请求：如果目标 URL 在入口页被抓后一段时间出现独立请求，说明它被发现了。
- Referer：部分蜘蛛会带上来源页，能帮助判断它从哪里发现链接。
入口页本身的问题会让“发现”落空
入口页返回 200 不代表链接一定可解析。常见情况包括：链接由前端框架动态生成，初始 HTML 里没有；链接放在大量无关外链中间，被蜘蛛忽略；入口页被判定为低质或镜像页面，抓取频率被压低；链接文本是纯文本或图片，没有可点击的 a 标签。
如果入口页的链接数量太多，蜘蛛也可能只挑选一部分抓取。链接越靠后，被解析和抓取的机会通常越低。
怎么验证是否真的被发现
- 先确认入口页返回 200，并且初始 HTML 里能看到目标 URL 的 a 标签。
- 在日志中锁定入口页被蜘蛛抓取的时间点，然后观察之后几小时到几天内，目标 URL 是否出现独立请求。
- 用 sitemap、主动提交或站内链接做对照，看目标 URL 是否通过其他路径被抓取。
- 如果目标 URL 始终没有请求，优先检查入口页链接是否可被解析，而不是反复增加入口页数量。
日志只能反映蜘蛛的行为记录，不能保证目标 URL 一定被收录或获得排名。发现、抓取、索引、排名是不同环节。
实操建议
把入口页链接写成普通可点击的 a 标签，放在 HTML 初始内容里；控制单页链接数量，优先放真正需要被抓取的 URL；保留一段时间的原始日志，方便对比蜘蛛访问入口页和目标 URL 的时间差；不要只凭 UA 判断，最好结合状态码和后续请求记录。
如果入口页频繁被访问，但目标 URL 一直没有动静，先排查页面返回内容和链接结构，再考虑更换入口页形式或配合其他 URL 提交方式。