把目标URL放进蜘蛛池后，日志里能看到搜索蜘蛛来访问入口页，但入口页上的目标链接几乎没有被抓取记录。这是很常见的现象，也不代表蜘蛛池一定失效。搜索蜘蛛的抓取行为受入口页质量、链接形式、站点响应和抓取预算共同影响。下面按排查顺序拆开看。
先确认：是没发现，还是发现了没抓
“只抓入口页”至少有两种情况：一是搜索蜘蛛没有从入口页解析出目标链接；二是解析到了，但暂时没有安排抓取。前者多和链接写法有关，后者多和抓取优先级、配额有关。查看日志时，先把入口页的返回码、响应时间、抓取频率单独列出来，再对比目标URL的访问记录，不要只看总抓取量。
入口页本身是否可正常抓取
- 返回码异常：入口页返回 4xx、5xx 或频繁超时，搜索蜘蛛可能只记录一次就离开，不会继续解析链接。
- meta robots 或响应头限制：入口页如果带 noindex、nofollow，或响应头里有类似的限制，目标链接可能不会被继续发现。
- canonical 指向别处：入口页 canonical 指向另一个URL时，搜索蜘蛛可能把抓取和信号集中到 canonical 目标，而不是入口页上的链接。
- 需要登录或验证：入口页如果弹验证码、跳登录，搜索蜘蛛拿不到完整HTML，链接自然无法解析。
目标链接是否真的“可抓”
链接在浏览器里能看到，不等于搜索蜘蛛能拿到。常见情况包括：链接由 JavaScript 点击后生成，初始HTML里没有 href；链接带 nofollow；链接指向的URL被 robots.txt 禁止抓取；链接经过多层跳转或需要提交表单才能到达。建议用抓取工具查看入口页的原始HTML，确认目标链接是否以普通 a 标签形式存在，并且返回码正常。
链接位置和数量也会影响发现
入口页如果堆了几百上千条链接，搜索蜘蛛可能只抓取其中一部分，尤其是页面底部、折叠区域或与正文无关的链接。目标链接如果和其他大量重复链接混在一起，被发现和抓取的优先级都会下降。更稳妥的做法是把入口页做薄一些，链接分组、分页，或者让目标链接出现在正文附近。
抓取预算和服务器响应
搜索蜘蛛对每个站点的抓取量通常是有限的。如果站点老页面多、参数页多，或者近期抓取错误率高，新URL排队的可能性就会增加。另外，服务器响应慢、CDN 或 WAF 对高频请求返回拦截页，也会让搜索蜘蛛降低抓取频率。可以观察日志中入口页的抓取间隔，如果间隔越来越长，先处理响应速度和拦截问题，再谈URL发现。
排查顺序建议
- 用原始HTML确认目标链接是否存在，优先看 a 标签和 href。
- 检查入口页和目标URL的返回码、robots.txt、meta robots、canonical。
- 查看服务器日志中搜索蜘蛛的抓取频率、响应时间和状态码分布。
- 检查CDN、WAF、防火墙是否对搜索蜘蛛有额外限制或验证。
- 减少入口页链接数量，把重点URL放在更容易被发现的位置。
- 给入口页和重要目标页保持稳定更新，不要频繁改URL或改结构。
调整时不要忽略的细节
- 蜘蛛池更适合做“发现辅助”，不能代替站点结构、内链和内容质量。
- 入口页和目标页都保持可访问、返回码稳定，比一次性投放大量链接更重要。
- 如果目标URL确实重要，可以同时从站内正常入口、sitemap 和站内链接触达，不要只依赖蜘蛛池。
- 观察周期建议按周看趋势，不要因为一两天没有抓取就频繁更换入口页。
蜘蛛池能增加URL被搜索蜘蛛看到的机会，但抓取和收录仍由搜索引擎根据站点质量、抓取预算和页面价值综合决定。排查时先解决可抓取性问题，再考虑投放策略。