投放蜘蛛池后，服务器日志里能看到搜索蜘蛛来过，但抓的全是入口页，目标URL几乎没有记录。这种情况在URL发现里很常见。先别急着加投放量，多数时候不是蜘蛛没来，而是从入口页到目标页的通路没有真正打通。

先确认目标URL是不是真的可发现

搜索蜘蛛跟进链接，第一步是能在HTML源码里看到它。如果链接只存在于JavaScript交互、按钮、表单或者异步加载之后，蜘蛛不一定能走到目标页。

• 入口页里的链接要写成普通的 a href，而不是 onclick 跳转、按钮或表单提交。
• 检查链接是否被 nofollow、robots 的 nofollow 或页面级限制挡住。
• 确认入口页对蜘蛛没有返回验证页、空页或差异内容。
• 链接要在首屏HTML源码中，而不是脚本执行后才出现。

最简单的验证办法，是用抓取工具模拟蜘蛛请求一次入口页，直接看返回的源码里有没有目标URL。如果源码里没有，蜘蛛自然看不到。

入口页自身质量太差，蜘蛛没有继续走的动力

蜘蛛池入口页如果只是几个链接堆在一起，没有主题、没有上下文，蜘蛛抓到后可能只记录入口，不深入。它需要判断这个页面是否值得继续消耗抓取资源。

• 入口页的标题、正文和锚文本是否与目标页相关。
• 页面是否大量重复模板，站群特征过于明显。
• 入口页本身是否被降权或长期没有更新。
• 单个入口页上的链接数量是否太多，导致每个链接分到的权重很低。

入口页不需要做成内容站，但至少要有一个明确的主题，让蜘蛛知道这个页面的链接指向什么方向。纯链接列表的效果通常不稳定。

抓取预算和链接层级也会影响是否跟进

即使链接能被发现，蜘蛛也有抓取预算。目标页层级太深、入口页链接太多、目标站响应慢，都会让蜘蛛先放弃目标URL。

• 目标URL离入口页是否超过三层，层级越深越容易被跳过。
• 同一入口页是否放了成百上千个链接，蜘蛛可能只抓一部分。
• 目标站服务器是否稳定，超时和错误率会不会让蜘蛛降低抓取频率。
• 目标URL是否返回 404、500、软404 或空内容，状态异常会直接打断跟进。

可以把目标URL按重要程度分成几批，入口页链接也做相应控制。先让蜘蛛能稳定抓到一批，再考虑扩大数量。

用日志和回查做验证

不要凭感觉判断蜘蛛有没有跟进。看服务器日志里目标URL的访问记录，重点看 User-Agent、状态码和抓取时间。如果入口页有蜘蛛，目标页没有，就要把注意力放在入口页到目标页的链接和响应上。

1. 筛选搜索引擎蜘蛛的 User-Agent，确认入口页抓取记录。
2. 看入口页返回状态是否正常，内容是否完整。
3. 看目标URL是否出现在日志里，哪怕只有一次。
4. 模拟蜘蛛请求入口页，检查链接是否在源码中、是否可点击。

如果目标URL被蜘蛛访问过，但状态码是 301、404 或 500，先修正目标页本身，再继续投放。如果完全没有访问记录，问题更可能在入口页链接或抓取预算上。

调整时先做小批量测试

不要一次性把量加大。选一小批入口页和目标URL，修正链接形式、减少单页链接数量、提升入口页内容相关性，再观察日志。如果目标页开始被零星抓取，说明通路初步打通，再逐步增加投放。

抓取是收录的前置条件，但不等于收录。看到目标页被抓，只能说明路径通了，是否收录还取决于内容质量、重复度和站点整体情况。

蜘蛛只抓入口页不跟进目标URL，通常不是单一原因。按链接可发现性、入口页质量、抓取预算和链接层级这个顺序排查，比盲目增加投放更有效。