很多人搭蜘蛛池入口页时，习惯把结构做得尽量简单：一个 HTML，里面直接排一批目标 URL。也有人反过来，用前端模板把链接列表异步拉回来再渲染，觉得这样方便统一管理。问题就来了：入口页源码里只有一段 JS，搜索蜘蛛还能不能发现里面的目标 URL？
结论先说：有可能，但比静态 HTML 脆弱得多
主流搜索引擎的爬虫都会执行一部分 JavaScript，也就是常说的“渲染抓取”。所以理论上，JS 动态插入的链接是能被抓到并继续跟进的。但“可以”和“稳定”是两回事：渲染要额外消耗资源，爬虫会挑着做，不是每个页面都排队去执行。入口页本身内容单薄、数量又大时，能不能轮到你被渲染，很大程度上取决于站点整体的抓取配额。
爬虫执行 JS 的两种路径
可以粗略理解成两步：
- 第一次抓取：抓原始 HTML，此时 DOM 里还没有那些链接，爬虫看不到。
- 渲染阶段：页面进入渲染队列，执行 JS，等 DOM 稳定后再提取链接。这一步可能延迟几秒，也可能拖到几天。
也就是说，即使最终被抓到，发现时间也明显晚于静态链接。对做 URL 发现来说，延迟本身就是成本。
哪些写法相对容易被渲染
- 用正常的 a 标签，在 JS 里设置 href 或插入 DOM，链接文本是真实文字。
- 依赖的数据接口是同域、返回 JSON，且不需要登录 Cookie。
- 页面没有大量第三方脚本拖慢渲染。
哪些写法基本等于没写
- 需要点击按钮才发起请求、链接才出现（用户交互触发），爬虫一般不会去点。
- 链接地址拼在 onclick 里，或者用一个 div 配 JS 跳转。
- 数据来自跨域接口、需要鉴权，或接口本身带有防爬校验。
- 渲染依赖 Canvas、WebGL，或者脚本报错中断。
- 页面很长，链接要滚动到底才加载出来。
要不要为了更稳而改用静态输出
如果目标是让搜索蜘蛛尽快发现目标 URL，入口页用服务端渲染或直接输出静态 HTML，依旧是成本最低的做法。JS 渲染可以作为补充，但把它当成唯一通道，等于把发现效率押在对方的渲染队列上。
实践里比较稳的组合是双轨：
- HTML 里直接输出一批静态链接，覆盖最重要的目标 URL。
- JS 渲染的链接作为增量，用来放不常变的部分。
- 同一批 URL 再通过 sitemap 提交一次，作为兜底。
注意这里的 sitemap 只是提供发现线索，并不代表一定会被抓取或收录。
怎么确认渲染到底有没有发生
- 看服务器日志里是否出现爬虫对接口地址的请求，而不只是对 HTML 的请求。
- 用搜索引擎官方的 URL 检查类工具，对比“原始 HTML”和“渲染后 HTML”里链接是否出现。
- 观察目标 URL 的日志，看有没有来自入口页的引荐来源。
如果渲染后 HTML 里能看到链接，但目标页长期没有爬虫访问，那基本不是渲染的问题，得回到抓取配额、站点质量和链接价值上找原因。
几个容易忽略的细节
- JS 渲染出来的链接如果带 hash 或会话参数，容易被当成重复地址，反而稀释抓取。
- 渲染超时会让爬虫直接放弃，页面里塞太多脚本会提高这个概率。
- 有些爬虫版本只抓 HTML 不渲染，比如部分非主流爬虫和某些移动端 UA，入口页对它们等于空页。
- 入口页自己设了 noindex，不影响它再去发现链接，但别指望它被收录。
一句话：JS 动态链接不是不能用，而是别把它当成唯一路径；能不能被抓到，取决于爬虫愿不愿意为你的入口页花掉那份渲染资源。