不少蜘蛛池入口頁為了排版灵活，會把目标連結交给前端脚本生成：HTML 源碼里看不到目标 URL，一切都要等浏览器执行脚本之後才出現。围绕這個做法最常见的疑問是——搜尋蜘蛛到底能不能顺着這些動態連結走到目标頁。答案不是简單的“能”或“不能”，取决于脚本怎么渲染、爬虫用哪一套引擎，以及連結最终出現在什么位置。
先分清抓取和渲染是两步
主流搜尋蜘蛛現在大多走两步：第一步抓 HTML 原始响應，第二步在必要时排队做渲染，执行頁面里的 JavaScript，再把渲染後的 DOM 抓一遍。两步之間可能有明顯延迟，也可能因為渲染队列资源紧張而根本没排上。
所以完全依赖 JS 插入的連結，属于“可能被發現，但不确定、也不及时”。更麻烦的是，渲染是有限资源。入口頁本身如果内容單薄、又大量重复，蜘蛛很可能只做第一步就結束，脚本從头到尾没跑過，目标 URL 自然不會被發現。
几種常见寫法的實际差异
- 直接寫死在 HTML 里的 a 标簽：最稳，第一步就能發現，不需要渲染。
- 用脚本拼字符串再插入节点：必须渲染才能看到，能否發現取决于渲染是否执行。
- 点击或滚動後才加载連結：蜘蛛不會主動交互，基本發現不了。
- 連結藏在折叠区域、懒加载模块里：同样依赖触發條件，風險很高。
- 用文档寫入或前端路由拼接：即使渲染，也可能因為时序問题拿不到最终地址。
两個容易被忽略的细节
第一，脚本里拼接的地址如果带了随机參數、時間戳或會话标识，每次渲染得到的 URL 都不一样。蜘蛛即使执行了脚本，也可能把同一個目标当成许多條陌生 URL，反而分散了處理精力。
第二，脚本從外部接口拉取連結列表时，接口本身可能對爬虫 UA 返回空資料或直接拒绝。這时渲染後的 DOM 里同样是空的，頁面在浏览器里看着正常，對蜘蛛却什么都没给。
想判断真實效果，別靠猜
- 用搜尋引擎官方的抓取測試工具，分別看“原始 HTML”和“渲染後 HTML”两個视图里有没有目标連結。
- 對照入口頁訪問日誌，观察爬虫 UA 是否只請求了 HTML，没有請求脚本等静態资源。没有請求资源，通常說明没渲染。
- 看目标頁日誌里有没有對應的爬虫訪問记錄，以及首次出現的時間差，判断是“没發現”還是“發現了但排在後面”。
- 如果连續多天只有入口頁被抓、目标 URL 毫無動静，優先怀疑渲染没执行，而不是額度不够。
更稳妥的折中做法
如果頁面必须用脚本渲染，可以保留一份服務端直出的連結作為兜底：即使脚本没跑，HTML 里也有可解析的 a 标簽。同时控制單頁動態連結的數量，避免一次性插入几百條把渲染成本推得過高。對重要的目标 URL，還可以配合 sitemap 或主動提交，让發現路径不止一條。
把 URL 發現建立在“HTML 里看得见”這件事上，永遠比赌渲染队列靠谱。脚本渲染可以当补充，不适合当作唯一通道。