很多人搭蜘蛛池入口頁时，习惯把结构做得尽量简單：一個 HTML，里面直接排一批目标 URL。也有人反過来，用前端模板把連結列表异步拉回来再渲染，觉得這样方便统一管理。問题就来了：入口頁源碼里只有一段 JS，搜尋蜘蛛還能不能發現里面的目标 URL？
结论先说：有可能，但比静態 HTML 脆弱得多
主流搜尋引擎的爬虫都會执行一部分 JavaScript，也就是常说的“渲染抓取”。所以理论上，JS 動態插入的連結是能被抓到並繼續跟進的。但“可以”和“稳定”是两回事：渲染要額外消耗资源，爬虫會挑着做，不是每個頁面都排队去执行。入口頁本身内容單薄、數量又大时，能不能轮到你被渲染，很大程度上取决于站点整体的抓取配額。
爬虫执行 JS 的两種路径
可以粗略理解成两步：
- 第一次抓取：抓原始 HTML，此时 DOM 里還没有那些連結，爬虫看不到。
- 渲染阶段：頁面進入渲染队列，执行 JS，等 DOM 稳定後再提取連結。這一步可能延迟几秒，也可能拖到几天。
也就是说，即使最终被抓到，發現時間也明顯晚于静態連結。對做 URL 發現来说，延迟本身就是成本。
哪些寫法相對容易被渲染
- 用正常的 a 标簽，在 JS 里設定 href 或插入 DOM，連結文本是真實文字。
- 依赖的資料接口是同域、返回 JSON，且不需要登入 Cookie。
- 頁面没有大量第三方脚本拖慢渲染。
哪些寫法基本等于没寫
- 需要点击按钮才發起請求、連結才出現（用戶交互触發），爬虫一般不會去点。
- 連結地址拼在 onclick 里，或者用一個 div 配 JS 跳轉。
- 資料来自跨域接口、需要鉴權，或接口本身带有防爬校驗。
- 渲染依赖 Canvas、WebGL，或者脚本报错中断。
- 頁面很長，連結要滚動到底才加载出来。
要不要為了更稳而改用静態輸出
如果目标是让搜尋蜘蛛尽快發現目标 URL，入口頁用服務端渲染或直接輸出静態 HTML，依舊是成本最低的做法。JS 渲染可以作為补充，但把它当成唯一通道，等于把發現效率押在對方的渲染队列上。
實践里比較稳的组合是双轨：
- HTML 里直接輸出一批静態連結，覆盖最重要的目标 URL。
- JS 渲染的連結作為增量，用来放不常變的部分。
- 同一批 URL 再通過 sitemap 提交一次，作為兜底。
注意這里的 sitemap 只是提供發現线索，並不代表一定會被抓取或收錄。
怎么確認渲染到底有没有發生
- 看服務器日誌里是否出現爬虫對接口地址的請求，而不只是對 HTML 的請求。
- 用搜尋引擎官方的 URL 检查類工具，對比“原始 HTML”和“渲染後 HTML”里連結是否出現。
- 观察目标 URL 的日誌，看有没有来自入口頁的引荐来源。
如果渲染後 HTML 里能看到連結，但目标頁長期没有爬虫訪問，那基本不是渲染的問题，得回到抓取配額、站点质量和連結價值上找原因。
几個容易忽略的细节
- JS 渲染出来的連結如果带 hash 或會话參數，容易被当成重复地址，反而稀释抓取。
- 渲染超时會让爬虫直接放弃，頁面里塞太多脚本會提高這個概率。
- 有些爬虫版本只抓 HTML 不渲染，比如部分非主流爬虫和某些移動端 UA，入口頁對它們等于空頁。
- 入口頁自己设了 noindex，不影响它再去發現連結，但別指望它被收錄。
一句话：JS 動態連結不是不能用，而是別把它当成唯一路径；能不能被抓到，取决于爬虫愿不愿意為你的入口頁花掉那份渲染资源。