在蜘蛛池入口頁里，不少运营者會用 JavaScript 動態生成連結，比如頁面加载完成後再把目标 URL 插進列表里。這样做頁面灵活、便于统一维護，但也會带来一個直接的問题：搜尋蜘蛛第一次拿到入口頁时，很可能根本看不到這些連結。
搜尋蜘蛛第一步拿到的是 HTML 源碼
搜尋蜘蛛請求入口頁时，首先拿到的是服務器返回的 HTML 源碼，而不是浏览器执行完脚本之後的画面。如果目标 URL 只出現在脚本里，或者要等接口返回資料才拼接出来，那么在第一阶段的源碼里就是空的。搜尋引擎需要再排一次渲染任務，才能把脚本跑起来、把連結“渲染”出来。
渲染抓取确實存在，但它是一次排队的二次任務
主流搜尋引擎都有渲染能力，不過渲染比普通抓取更耗资源，所以通常只對一部分頁面開放，而且有延迟。快的话几分钟，慢的话几天到几周，也可能一直不排。也就是说，動態連結能不能被發現，带有明顯的不确定性。
如果把連結發現寄希望于“渲染總會跑到”，那入口頁的稳定性就完全不受自己控制。
几種常见的動態寫法與風險
- 前端框架整站渲染，HTML 源碼里只有空容器，連結全部由脚本生成。
- 用点击事件跳轉，href 寫成 javascript:void(0) 或者一個井号，没有可解析的地址。
- 連結資料放在接口里，頁面加载後再請求並插入。
- 延迟加载，必须滚動到底部或者满足某個條件才出現連結。
這几種做法在浏览器里看都很正常，但源碼和渲染结果不一致，抓取结果就會分叉。
排查时可以按這個顺序走
- 用 curl 或“查看網頁源代碼”打開入口頁，搜尋目标 URL 的片段。源碼里没有，就說明第一阶段看不到。
- 用站点工具里的抓取測試或渲染预览，看渲染後的 HTML 里是否出現目标連結。
- 對照服務器日誌，確認搜尋蜘蛛是否請求過入口頁，是否在之後請求過目标 URL。
- 如果同一入口頁的静態版本能正常被抓，說明問题集中在脚本這一层。
更稳的做法：關键連結回到静態 HTML
- 把要被抓取的連結寫成标准的 a 标簽，href 指向完整绝對地址，放在服務器直接輸出的 HTML 中。
- 需要動態加载的部分保留一個静態入口，不让渲染成為唯一通道。
- 入口頁尽量不要层层依赖接口，接口一挂，連結就一起消失。
- 把渲染当成补充，而不是唯一的發現路径。
總结一句：動態插入的連結不是完全没机會被發現，但它的發現时机和概率都不在自己手里。對于蜘蛛池入口頁這種以“被發現”為主要目的的頁面，尽量让目标 URL 出現在第一阶段的 HTML 源碼里，是更省事也更可控的選擇。需要提醒的是，連結被發現和内容被收錄是两回事，前者只是把入口递出去，後續仍取决于目标站自身的内容與质量。