為了让入口頁更容易维護，有些蜘蛛池會把目标 URL 放在 JavaScript 里，等頁面加载後再動態插入到 DOM。這样做頁面看起来更“干净”，但搜尋蜘蛛是否能看到這些連結，取决于它會不會执行脚本以及执行到什么程度。
搜尋蜘蛛對 JavaScript 的處理並不统一
搜尋引擎的抓取流程通常分两步：先拿到 HTML 源碼，再决定是否進入渲染队列执行 JavaScript。不同蜘蛛的能力和资源分配差异很大。有的蜘蛛有較完整的渲染服務，但渲染排队可能延迟；有的蜘蛛主要解析原始 HTML，對 JS 生成的内容识別有限。也就是说，入口頁里由 JS 動態插入的連結，不是所有搜尋蜘蛛都能稳定看到。
哪些情况下 JS 連結還有机會被發現
- 搜尋引擎的渲染服務能正常訪問頁面，並且没有在 robots.txt 或 meta 中屏蔽 JS、CSS 等资源。
- 頁面本身已经被抓取，且進入渲染队列後没有超时或报错。
- 動態連結在頁面加载後短時間内就出現在 DOM 中，不依赖点击、滚動等用戶交互。
- 异步接口返回的資料不被防火墙拦截，也不要求登入態或特殊 Cookie。
- 連結是标准的 a 标簽 href，而不是只能通過 onclick 跳轉的按钮。
即使满足這些條件，渲染也可能比直接解析 HTML 慢很多。目标 URL 的發現時間會拉長，入口頁越多，這種延迟越明顯。
容易断档的常见场景
- JS 文件被 robots.txt 屏蔽，蜘蛛拿不到脚本，自然看不到連結。
- 連結依赖用戶点击、滚動到底部或等待倒計时後才插入。
- 資料通過 fetch/XHR 获取，而接口有鉴權、频率限制或只對真實浏览器放行。
- 頁面渲染超时，蜘蛛在連結出現前就結束了任務。
- 連結寫在 canvas、iframe 或 shadow DOM 里，解析和跟随都更困难。
- 入口頁返回 200，但初始 HTML 几乎為空，蜘蛛没有可繼續抓取的线索。
想让發現更稳，優先做這几件事
- 服務端渲染或预渲染：让目标連結出現在初始 HTML 中，不依赖浏览器执行脚本。
- 保留静態 a 标簽：即使前端框架接管頁面，也尽量在源碼里輸出可抓取的 href。
- 用 sitemap 补充：sitemap 不是收錄保證，但能给蜘蛛額外的 URL 线索，與入口頁互為补充。
- 检查渲染前後差异：用抓取工具查看原始 HTML 和渲染後 DOM，確認連結是否真的出現。
- 看日誌驗證：观察搜尋蜘蛛是否請求了 JS、CSS 和接口，以及是否繼續訪問目标 URL。
- 控制入口頁复杂度：减少不必要的脚本、彈窗和驗證，让蜘蛛更快拿到連結。
自查时別忽略资源可訪問性
很多入口頁的 HTML 没問题，問题出在 JS 和接口被挡。可以检查：robots.txt 是否誤屏蔽了脚本目錄；CDN 或 WAF 是否對蜘蛛返回了不同内容；接口是否要求来源頁、Token 或 Cookie。只要其中一环断開，動態連結就可能無法生成。
動態渲染适合提升用戶体驗，但不适合作為搜尋蜘蛛發現 URL 的唯一通道。能静態輸出的連結，尽量静態輸出；JS 渲染可以保留，但要有备用线索。
最後提醒，任何方法都只是提高被發現的概率，不能保證收錄或排名。更可靠的做法是以日誌和抓取資料為准，持續观察入口頁是否真的把目标 URL 暴露给了搜尋蜘蛛。