用蜘蛛池做 URL 發現时，很多人把精力放在入口頁數量和連結层級上，却忽略了一個更基础的問题：蜘蛛拿到的 HTML 里到底有没有連結。如果入口頁的連結是靠 JavaScript 在浏览器里動態生成的，抓取端可能只看到一個近乎空白的骨架，後面的目标頁自然也無從被發現。
抓取端處理 JS 的两種路径
主流搜尋引擎的抓取大致分两步：先按 HTML 源碼抓一次，再擇机用渲染服務执行頁面里的脚本。渲染是有成本的，是否执行、什么时候执行、执行到什么程度，都不由你决定。所以對入口頁来说，連結出現在初始 HTML 里，和連結要靠脚本生成，是两種完全不同的處境。
前者蜘蛛一次請求就能拿到連結，顺利進入下一跳；後者要排队等渲染，如果渲染没有發生或中途失敗，連結就等于不存在。
空壳入口頁的常见成因
- 前端框架整站渲染：React、Vue 這類方案把路由和内容都放在 JS bundle 里，服務端返回的 HTML 只有根节点和几個 script 标簽。
- 連結异步加载：列表、分頁、推荐位先請求接口，拿到資料後再插入 DOM。
- 脚本报错或被拦截：入口頁依赖的第三方资源加载失敗，或被防火墙、CDN 規則拦掉，渲染直接中断。
- 内容被隐藏：連結寫在折叠面板、tab 或懒加载容器里，需要交互才會出現。
先確認蜘蛛看到的是不是空壳
不要用浏览器打開来判断，浏览器會执行脚本，你看到的是渲染後的结果。可以用下面几個办法交叉核對：
- 查看網頁源碼，而不是审查元素，搜尋目标連結的 URL 或锚文本，看是否出現在初始 HTML 中。
- 用 curl 或脚本抓取一次，把返回体與浏览器里的 DOM 做對比。
- 检查訪問日誌里入口頁的响應体大小，如果長期只有几百字节，基本可以判定是空壳。
- 用带渲染開關的抓取工具各跑一遍，對比两次拿到的連結數量。
如果源碼里没有連結、渲染後又出現，那這個入口頁對抓取的贡献就高度依赖渲染，稳定性會差很多。
让連結回到 HTML 里
更省事的做法是從结构上改，而不是和渲染机制較劲。
- 服務端渲染或预渲染入口頁，至少保證通往目标頁的連結出現在初始 HTML 中。
- 把關键連結放在首屏静態区域，避免依赖点击、滚動或接口回調。
- 分頁、篩選這類連結尽量用普通 a 标簽加真實 href，不要用 onclick 跳轉或纯 hash 路由。
- 如果确實無法做服務端渲染，可在入口頁底部放一组静態導航連結作為兜底。
- 數量上控制規模，一個入口頁放出几十個有效連結通常够用，堆几百個反而稀释權重。
几個容易踩的誤区
頁面在浏览器里能正常打開、連結能点，不等于蜘蛛能拿到連結。视觉正常和抓取正常是两回事。
- 给用戶一套渲染、给蜘蛛一套空壳，這種差异化容易被判為作弊，長期也不稳定。
- 認為只要用了成熟框架，搜尋引擎就一定能渲染。渲染是尽力而為，不是承诺。
- 把 JS 生成的連結和 sitemap 当成互斥選項。两者可以同时存在，sitemap 是补充，不是替代。
- 忽略渲染超时。脚本多、接口慢时，渲染队列可能等不到内容就結束。
使用建议
對蜘蛛池的入口頁，建议把“初始 HTML 里可被解析的連結數”当成一個常規检查項，而不是上线一次就不管。改動模板、更換框架、上线新广告位之後，重新抓一次源碼確認連結還在。真正稳定的 URL 發現，靠的是简單、静態、可预测的 HTML，而不是让蜘蛛去执行你的前端工程。
如果發現某類入口頁長期只有渲染後才出連結，與其反复調優，不如換一批结构更简單的模板，把抓取预算留给那些一次請求就能走通的頁面。