为了让入口页更容易维护，有些蜘蛛池会把目标 URL 放在 JavaScript 里，等页面加载后再动态插入到 DOM。这样做页面看起来更“干净”，但搜索蜘蛛是否能看到这些链接，取决于它会不会执行脚本以及执行到什么程度。
搜索蜘蛛对 JavaScript 的处理并不统一
搜索引擎的抓取流程通常分两步：先拿到 HTML 源码，再决定是否进入渲染队列执行 JavaScript。不同蜘蛛的能力和资源分配差异很大。有的蜘蛛有较完整的渲染服务，但渲染排队可能延迟；有的蜘蛛主要解析原始 HTML，对 JS 生成的内容识别有限。也就是说，入口页里由 JS 动态插入的链接，不是所有搜索蜘蛛都能稳定看到。
哪些情况下 JS 链接还有机会被发现
- 搜索引擎的渲染服务能正常访问页面，并且没有在 robots.txt 或 meta 中屏蔽 JS、CSS 等资源。
- 页面本身已经被抓取，且进入渲染队列后没有超时或报错。
- 动态链接在页面加载后短时间内就出现在 DOM 中，不依赖点击、滚动等用户交互。
- 异步接口返回的数据不被防火墙拦截，也不要求登录态或特殊 Cookie。
- 链接是标准的 a 标签 href，而不是只能通过 onclick 跳转的按钮。
即使满足这些条件，渲染也可能比直接解析 HTML 慢很多。目标 URL 的发现时间会拉长，入口页越多，这种延迟越明显。
容易断档的常见场景
- JS 文件被 robots.txt 屏蔽，蜘蛛拿不到脚本，自然看不到链接。
- 链接依赖用户点击、滚动到底部或等待倒计时后才插入。
- 数据通过 fetch/XHR 获取，而接口有鉴权、频率限制或只对真实浏览器放行。
- 页面渲染超时，蜘蛛在链接出现前就结束了任务。
- 链接写在 canvas、iframe 或 shadow DOM 里，解析和跟随都更困难。
- 入口页返回 200，但初始 HTML 几乎为空，蜘蛛没有可继续抓取的线索。
想让发现更稳，优先做这几件事
- 服务端渲染或预渲染：让目标链接出现在初始 HTML 中，不依赖浏览器执行脚本。
- 保留静态 a 标签：即使前端框架接管页面，也尽量在源码里输出可抓取的 href。
- 用 sitemap 补充：sitemap 不是收录保证，但能给蜘蛛额外的 URL 线索，与入口页互为补充。
- 检查渲染前后差异：用抓取工具查看原始 HTML 和渲染后 DOM，确认链接是否真的出现。
- 看日志验证：观察搜索蜘蛛是否请求了 JS、CSS 和接口，以及是否继续访问目标 URL。
- 控制入口页复杂度：减少不必要的脚本、弹窗和验证，让蜘蛛更快拿到链接。
自查时别忽略资源可访问性
很多入口页的 HTML 没问题，问题出在 JS 和接口被挡。可以检查：robots.txt 是否误屏蔽了脚本目录；CDN 或 WAF 是否对蜘蛛返回了不同内容；接口是否要求来源页、Token 或 Cookie。只要其中一环断开，动态链接就可能无法生成。
动态渲染适合提升用户体验，但不适合作为搜索蜘蛛发现 URL 的唯一通道。能静态输出的链接，尽量静态输出；JS 渲染可以保留，但要有备用线索。
最后提醒，任何方法都只是提高被发现的概率，不能保证收录或排名。更可靠的做法是以日志和抓取数据为准，持续观察入口页是否真的把目标 URL 暴露给了搜索蜘蛛。