蜘蛛第一次拿到的往往是源碼
在浏览器里打開入口頁，你看到的是 JavaScript 执行、接口返回、样式渲染之後的画面。但搜尋引擎蜘蛛第一次請求时，拿到的通常只是服務器返回的原始 HTML。如果頁面主体、列表、連結都靠前端异步加载，蜘蛛在源碼里可能只看到几個占位节点和一段脚本。
搜尋引擎确實有渲染能力，會把部分頁面放入渲染队列，执行 JavaScript 後再讀取 DOM。但渲染不是無限资源：它要排队、要消耗抓取预算，而且不同搜尋引擎、不同站点權重、不同頁面類型得到的渲染机會並不一样。對蜘蛛池入口頁来说，把“蜘蛛能看到什么”完全押在渲染上，風險偏高。
源碼與渲染後 DOM 的差异在哪里
可以做一個简單對比：用查看網頁源代碼的方式看原始 HTML，再用搜尋平台的 URL 检查工具看渲染後的 HTML。常见差异包括：
- 列表、導航、分頁連結只存在于渲染後 DOM，源碼里没有可跟随的連結。
- 正文文字由接口返回，源碼中只有“加载中”或空容器。
- 連結用点击事件加 JavaScript 跳轉，源碼里没有标准 href。
- 部分内容被懒加载或折叠，蜘蛛不滚動、不点击就看不到。
為什么入口頁尤其不适合只靠 JS
蜘蛛池入口頁的核心任務，是让蜘蛛發現更多 URL、顺着連結繼續走。如果入口頁的連結都依赖 JavaScript 生成，蜘蛛在源碼阶段就可能找不到出口。即便頁面之後被渲染，也要等队列、等资源加载；如果脚本被 robots.txt 拦截、接口需要登入態、CDN 返回了错誤版本，渲染结果也可能不完整。
另外，入口頁數量一多，渲染成本會被放大。假设每個入口頁都要执行大段脚本、請求多個接口，搜尋引擎分配给這些頁面的渲染時間很快被消耗掉。结果不是“蜘蛛看不到”，而是“蜘蛛看得慢、看得少”。
判断入口頁對蜘蛛是否可讀的步骤
- 先看原始 HTML：禁用浏览器 JavaScript，刷新頁面，確認核心連結和文字是否還在。
- 用搜尋平台的抓取诊断或 URL 检查：查看抓取到的 HTML 和渲染後 HTML 的差异。
- 看服務器日誌：如果蜘蛛频繁抓取静態资源、接口，却很少抓取入口頁里的目标 URL，說明連結發現可能受阻。
- 做一次“源碼連結提取”：只從原始 HTML 里提取 a 标簽，看能提取出多少入口頁和目标頁。
實用調整建议
如果入口頁必须使用前端框架，至少做到以下几点：
- 關键連結服務端輸出：導航、列表、分頁、目标頁連結尽量寫在原始 HTML 里，使用标准 a 标簽和 href。
- 正文優先静態或预渲染：入口頁的介绍文字、分類說明、聚合内容可以服務端渲染或构建时生成，不必等接口。
- 避免纯 JS 跳轉：不要只用 onclick 或路由脚本跳轉，蜘蛛不一定會执行点击。
- 检查资源可抓取：不要让 robots.txt 誤拦 JS、CSS 或接口，否則渲染结果會缺样式、缺資料。
- 控制脚本体积和請求數：入口頁不是應用主界面，能少一個依赖就少一個，给渲染留余量。
別把渲染当作收錄捷径
JavaScript 渲染只是让蜘蛛多一種讀取方式，不是收錄或排名的保證。入口頁真正稳定的做法，仍然是让服務器直接返回可讀的 HTML：蜘蛛請求一次就能拿到文字和連結，不必等待二次渲染。把入口頁做成“源碼可讀、渲染後更好”，比“源碼空壳、全靠渲染”更可控。
先保證蜘蛛在源碼阶段就能找到路，再考虑用 JavaScript 做体驗增强。顺序反了，入口頁就容易變成只给自己看的頁面。