在蜘蛛池入口页里，不少运营者会用 JavaScript 动态生成链接，比如页面加载完成后再把目标 URL 插进列表里。这样做页面灵活、便于统一维护，但也会带来一个直接的问题：搜索蜘蛛第一次拿到入口页时，很可能根本看不到这些链接。
搜索蜘蛛第一步拿到的是 HTML 源码
搜索蜘蛛请求入口页时，首先拿到的是服务器返回的 HTML 源码，而不是浏览器执行完脚本之后的画面。如果目标 URL 只出现在脚本里，或者要等接口返回数据才拼接出来，那么在第一阶段的源码里就是空的。搜索引擎需要再排一次渲染任务，才能把脚本跑起来、把链接“渲染”出来。
渲染抓取确实存在，但它是一次排队的二次任务
主流搜索引擎都有渲染能力，不过渲染比普通抓取更耗资源，所以通常只对一部分页面开放，而且有延迟。快的话几分钟，慢的话几天到几周，也可能一直不排。也就是说，动态链接能不能被发现，带有明显的不确定性。
如果把链接发现寄希望于“渲染总会跑到”，那入口页的稳定性就完全不受自己控制。
几种常见的动态写法与风险
- 前端框架整站渲染，HTML 源码里只有空容器，链接全部由脚本生成。
- 用点击事件跳转，href 写成 javascript:void(0) 或者一个井号，没有可解析的地址。
- 链接数据放在接口里，页面加载后再请求并插入。
- 延迟加载，必须滚动到底部或者满足某个条件才出现链接。
这几种做法在浏览器里看都很正常，但源码和渲染结果不一致，抓取结果就会分叉。
排查时可以按这个顺序走
- 用 curl 或“查看网页源代码”打开入口页，搜索目标 URL 的片段。源码里没有，就说明第一阶段看不到。
- 用站点工具里的抓取测试或渲染预览，看渲染后的 HTML 里是否出现目标链接。
- 对照服务器日志，确认搜索蜘蛛是否请求过入口页，是否在之后请求过目标 URL。
- 如果同一入口页的静态版本能正常被抓，说明问题集中在脚本这一层。
更稳的做法：关键链接回到静态 HTML
- 把要被抓取的链接写成标准的 a 标签，href 指向完整绝对地址，放在服务器直接输出的 HTML 中。
- 需要动态加载的部分保留一个静态入口，不让渲染成为唯一通道。
- 入口页尽量不要层层依赖接口，接口一挂，链接就一起消失。
- 把渲染当成补充，而不是唯一的发现路径。
总结一句：动态插入的链接不是完全没机会被发现，但它的发现时机和概率都不在自己手里。对于蜘蛛池入口页这种以“被发现”为主要目的的页面，尽量让目标 URL 出现在第一阶段的 HTML 源码里，是更省事也更可控的选择。需要提醒的是，链接被发现和内容被收录是两回事，前者只是把入口递出去，后续仍取决于目标站自身的内容与质量。