不少蜘蛛池入口頁為了改版方便，會用 JavaScript 在頁面加载後把目标連結插入 DOM。對訪客来说没問题，但連結能不能被搜尋蜘蛛發現，取决于蜘蛛有没有执行脚本、执行到什么程度。
搜尋蜘蛛會执行 JavaScript，但触發條件不确定
主流搜尋引擎的抓取流程通常分两步：先用普通請求拿到原始 HTML，再决定要不要把頁面放進渲染队列，用無头浏览器执行 JS。渲染後的 DOM 里如果出現新的 a 标簽連結，理论上就能被發現。
關键在于“是否渲染”和“何时渲染”由搜尋引擎自己决定。渲染资源有限，頁面可能被跳過、延迟，或渲染中途超时。所以 JS 注入的連結，發現速度和稳定性都不如直接寫在 HTML 里。
這些寫法更容易让連結漏掉
- 連結要点击、滚動或悬停後才注入，蜘蛛不會主動触發交互。
- 提供連結的 JS 文件被 robots.txt 屏蔽，或被 CDN、防火墙拦截，渲染阶段根本拿不到脚本。
- 連結資料来自需要登入態、Cookie 或特定 UA 的接口，蜘蛛請求时返回空。
- 用 onclick、location.href 之類的跳轉代替标准超連結，DOM 里没有可跟進的 href。
- 連結地址拼接在字符串里，渲染完成後也没有插入到可点击的元素中。
渲染抓取有時間和次數上的限制
即便頁面被渲染，搜尋引擎也要控制成本：渲染耗时過長、脚本报错、首次抓取和渲染结果差异過大，都可能让這次抓取不解析出連結。渲染型抓取普遍比纯 HTML 抓取慢，入口頁數量一多，目标 URL 被發現的节奏就會明顯拉長。
JS 渲染可以当补充手段，但把 URL 發現完全押在渲染上，風險偏高。
更稳妥的處理顺序
- 需要被發現的目标連結，尽量由服務端輸出到 HTML，用标准 a 标簽，href 给完整 URL。
- 必须用 JS 注入的，保證初始 HTML 里有一份静態連結兜底，或使用服務端渲染、预渲染。
- 同时用 sitemap、HTTP Link 响應头等方式声明 URL，减少對單一路径的依赖。
- 避免把連結放在必须交互後才出現的位置，分頁、更多按钮等内容尽量在初始 DOM 中可见。
- 结合服務器日誌观察蜘蛛是否抓取了 JS 文件和目标 URL，用真實记錄判断效果。
怎么驗證入口頁的連結是否可见
可以先用抓取工具關閉 JS 抓一次，統計 HTML 里有多少可跟進的 a 标簽；再開啟渲染抓一次做對比。如果關閉 JS 後連結几乎為零，說明入口頁對脚本依赖過重。也可以借助站長後台的 URL 检查或渲染结果，確認渲染後确實出現了目标連結。日誌里如果蜘蛛只取了入口頁和 JS，却没有目标 URL 的請求记錄，通常意味着渲染环节没有交出連結，或者這些連結不满足跟進條件。
常见誤区
一是認為所有蜘蛛都能执行 JS，忽略版本差异和渲染预算；二是把“頁面看起来有連結”等同于“HTML 里有連結”；三是只在一個入口頁上反复調整，却不检查站点是否用了统一的前端渲染方式。入口頁更換模板、改版後，連結呈現方式往往一起變化，URL 發現效果也會跟着波動。
總而言之，搜尋蜘蛛具备执行 JavaScript 的能力，但执行與否、执行到不到位都不确定。蜘蛛池入口頁要把 URL 發現做得稳一些，優先用静態 HTML 連結，JS 渲染只做辅助，再用 sitemap 等方式补一层，不要依赖單一發現路径。