现在不少站点用前端框架渲染页面，导航、列表、详情链接都由 JavaScript 生成。对搜索蜘蛛来说，这类页面并不是完全抓不到，但“抓到什么”和“能发现哪些 URL”往往分成两步：先请求初始 HTML，再决定是否把页面放进渲染队列。理解这两步，能帮你判断重要链接为什么没被跟到。
先拿 HTML，再决定是否渲染
蜘蛛请求一个 URL 时，服务器返回的初始 HTML 里如果已经有 a 标签和 href，链接通常会在解析阶段直接进入待抓取队列。如果链接是脚本运行后才插入 DOM 的，它需要等页面被渲染后才有机会被发现。
渲染抓取比普通抓取更耗资源：要下载 JS、CSS、图片等资源，执行脚本，等待异步请求。渲染队列有容量和超时限制，所以大量依赖 JS 的页面，发现速度可能比静态链接慢，甚至部分链接长期不被处理。这并不等于一定不抓，而是优先级和确定性会下降。
链接写在 JS 里，风险在哪里
- 点击事件跳转：用 onclick 或 addEventListener 绑定的链接，如果初始 HTML 中没有对应 href，蜘蛛难以把它当成普通链接处理。
- 前端路由：单页应用常用 history.pushState 改变 URL，但初始 HTML 只有一个入口，深层 URL 需要靠渲染后的导航或 sitemap 补充。
- 懒加载与无限滚动：内容在滚动或交互后才请求，蜘蛛未必触发相同行为，列表页的后续链接可能无法发现。
- 隐藏元素：用 display:none 隐藏的导航链接，即使 HTML 中存在，也可能被判断为低价值或忽略。
相对稳妥的做法是：重要导航、列表页、详情页入口，尽量用标准的 <a href> 写在初始 HTML 中。脚本可以增强交互，但不要成为唯一入口。
让关键内容直出，减少渲染依赖
如果站点确实依赖前端渲染，可以考虑几种折中方式：
- 服务端渲染：首屏 HTML 包含主要内容和链接，蜘蛛不必执行脚本就能拿到抓取路径。
- 预渲染：在构建阶段为已知 URL 生成静态 HTML，适合内容更新不频繁的页面。
- 动态渲染：按 User-Agent 返回渲染后的 HTML。要注意，给蜘蛛和用户返回差异过大的内容，可能被判定为作弊，使用前应评估风险。
- 关键区块直出：至少把面包屑、分类导航、分页链接和详情入口放在初始 HTML 里。
怎么检查蜘蛛实际看到了什么
- 用浏览器查看网页源代码，而不是开发者工具里的 Elements 面板，确认链接是否出现在初始响应中。
- 使用搜索平台提供的抓取测试工具，查看抓取到的 HTML 和渲染结果。
- 查看服务器日志，观察蜘蛛是否请求了 JS、CSS 等渲染资源，以及渲染请求是否稳定返回。
- 在无 JS 环境下打开页面，检查主要链接和内容是否还能到达。
几个常见误区
提交了 Sitemap 并不代表 JS 生成的链接会被立刻处理；Sitemap 解决的是 URL 清单，不解决页面内部可抓取路径的问题。
- 认为蜘蛛会像真实浏览器一样完整执行所有交互。
- 把全站导航放在 JS 里，只留一个根路径可抓。
- 用按钮代替链接，再靠脚本跳转。
- 忽略渲染超时和资源加载失败，导致页面只被抓到空壳。
总体来说，先保证重要 URL 在初始 HTML 中有可跟随的链接，再考虑渲染增强。抓取路径越确定，蜘蛛发现和维护 URL 的成本越低，后续的抓取和更新也更可控。