現在不少站点用前端框架渲染頁面，導航、列表、詳情連結都由 JavaScript 生成。對搜尋蜘蛛来说，這類頁面並不是完全抓不到，但“抓到什么”和“能發現哪些 URL”往往分成两步：先請求初始 HTML，再决定是否把頁面放進渲染队列。理解這两步，能帮你判断重要連結為什么没被跟到。
先拿 HTML，再决定是否渲染
蜘蛛請求一個 URL 时，服務器返回的初始 HTML 里如果已经有 a 标簽和 href，連結通常會在解析阶段直接進入待抓取队列。如果連結是脚本執行後才插入 DOM 的，它需要等頁面被渲染後才有机會被發現。
渲染抓取比普通抓取更耗资源：要下载 JS、CSS、图片等资源，执行脚本，等待异步請求。渲染队列有容量和超时限制，所以大量依赖 JS 的頁面，發現速度可能比静態連結慢，甚至部分連結長期不被處理。這並不等于一定不抓，而是優先級和确定性會下降。
連結寫在 JS 里，風險在哪里
- 点击事件跳轉：用 onclick 或 addEventListener 绑定的連結，如果初始 HTML 中没有對應 href，蜘蛛难以把它当成普通連結處理。
- 前端路由：單頁應用常用 history.pushState 改變 URL，但初始 HTML 只有一個入口，深层 URL 需要靠渲染後的導航或 sitemap 补充。
- 懒加载與無限滚動：内容在滚動或交互後才請求，蜘蛛未必触發相同行為，列表頁的後續連結可能無法發現。
- 隐藏元素：用 display:none 隐藏的導航連結，即使 HTML 中存在，也可能被判断為低價值或忽略。
相對稳妥的做法是：重要導航、列表頁、詳情頁入口，尽量用标准的 <a href> 寫在初始 HTML 中。脚本可以增强交互，但不要成為唯一入口。
让關键内容直出，减少渲染依赖
如果站点确實依赖前端渲染，可以考虑几種折中方式：
- 服務端渲染：首屏 HTML 包含主要内容和連結，蜘蛛不必执行脚本就能拿到抓取路径。
- 预渲染：在构建阶段為已知 URL 生成静態 HTML，适合内容更新不频繁的頁面。
- 動態渲染：按 User-Agent 返回渲染後的 HTML。要注意，给蜘蛛和用戶返回差异過大的内容，可能被判定為作弊，使用前應评估風險。
- 關键区块直出：至少把面包屑、分類導航、分頁連結和詳情入口放在初始 HTML 里。
怎么检查蜘蛛實际看到了什么
- 用浏览器查看網頁源代碼，而不是開發者工具里的 Elements 面板，確認連結是否出現在初始响應中。
- 使用搜尋平台提供的抓取測試工具，查看抓取到的 HTML 和渲染结果。
- 查看服務器日誌，观察蜘蛛是否請求了 JS、CSS 等渲染资源，以及渲染請求是否稳定返回。
- 在無 JS 环境下打開頁面，检查主要連結和内容是否還能到達。
几個常见誤区
提交了 Sitemap 並不代表 JS 生成的連結會被立刻處理；Sitemap 解决的是 URL 清單，不解决頁面内部可抓取路径的問题。
- 認為蜘蛛會像真實浏览器一样完整执行所有交互。
- 把全站導航放在 JS 里，只留一個根路径可抓。
- 用按钮代替連結，再靠脚本跳轉。
- 忽略渲染超时和资源加载失敗，導致頁面只被抓到空壳。
總体来说，先保證重要 URL 在初始 HTML 中有可跟随的連結，再考虑渲染增强。抓取路径越确定，蜘蛛發現和维護 URL 的成本越低，後續的抓取和更新也更可控。