蜘蛛池入口頁的核心任務之一，是让搜尋蜘蛛在抓取时發現目标 URL。為了更新方便，有些入口頁會用 JavaScript 從接口拉取資料，再動態生成連結。這種寫法對人看没問题，但對搜尋蜘蛛来说，發現路径可能完全變了。
搜尋蜘蛛拿到的是初始 HTML，還是渲染後的頁面？
大多數搜尋蜘蛛抓取一個 URL 时，會先請求服務器，拿到第一份 HTML 响應。如果連結寫在初始 HTML 里，蜘蛛可以直接解析並加入待抓取队列。如果連結只在 JavaScript 执行後才出現，蜘蛛就需要額外执行脚本、等待資料返回、再把 DOM 渲染出来，才能看到這些連結。
問题在于，执行 JS 不是無條件的。搜尋引擎會考虑渲染资源、队列和優先級，入口頁如果脚本复杂、依赖外部接口、加载慢，蜘蛛可能只拿到初始 HTML 就結束本次抓取，或者把渲染排到很晚。
哪些寫法容易让目标 URL 被漏掉
- 用 innerHTML 或前端框架在挂载後才生成 a 标簽，初始响應里没有目标 URL。
- 通過 fetch/XHR 拉取 URL 列表，但蜘蛛没有触發点击或滚動，請求根本没發出去。
- 連結放在懒加载模块里，需要用戶交互或滚動到可视区域才渲染。
- 用按钮点击後跳轉，而不是标准 a 标簽，蜘蛛不容易把跳轉目标当作可發現連結。
- 頁面依赖登入態或本地缓存，蜘蛛拿到的接口返回為空，自然看不到目标 URL。
這些寫法的共同点是：人打開浏览器能看到連結，但蜘蛛第一次拿到的源碼里没有連結。蜘蛛不會因為你頁面里寫了“目标 URL 列表”就凭空知道它們。
怎么判断蜘蛛有没有走到 JS 生成的目标 URL
先做一次對照測試：用不带 JS 的方式請求入口頁，直接看返回的 HTML 源碼。如果源碼里搜不到目标 URL，說明發現鏈路至少多了一层渲染依赖。再去服務器日誌里看目标 URL 是否出現過蜘蛛請求。两者结合，能大致判断是“蜘蛛没發現”還是“發現了但没抓”。
也可以用抓取诊断工具，分別看初始 HTML 和渲染後 DOM。如果渲染後才有連結，而蜘蛛日誌里目标 URL 長期没有請求，那就要優先改入口頁輸出方式，而不是反复提交 URL。
更稳妥的做法：让連結出現在初始 HTML 里
如果條件允许，入口頁尽量用服務端渲染或静態生成，把目标 URL 直接輸出成标准 a 标簽。這样蜘蛛請求一次就能拿到全部連結，不必等待脚本执行。對于必须動態更新的部分，可以考虑以下方式：
- 首屏或列表底部保留一批静態 HTML 連結，作為基础發現入口。
- 用 SSR 把資料在服務器端拼好，前端只做交互增强。
- 如果只能用 JS，至少在初始 HTML 中放一個指向目标 URL 的普通連結或分頁連結，不要全部藏在脚本里。
- 避免用 onclick 跳轉替代 a 标簽，标准連結更利于解析。
入口頁不是展示頁，越简單、越接近原始 HTML，搜尋蜘蛛越容易完成發現任務。JS 渲染可以用于用戶体驗，但不要让它成為目标 URL 唯一的出口。
最後提醒一点：即使連結出現在初始 HTML 里，也不代表一定會被快速抓取或收錄。入口頁能做的是减少發現障碍，後續抓取和收錄還受目标 URL 质量、站点整体抓取预算等因素影响。把可控的發現环节做扎實，比反复猜测蜘蛛行為更實际。