做蜘蛛池的时候，很多人會打開浏览器看入口頁，觉得“内容挺全、連結也不少”，就預設蜘蛛看到的也是這些。但搜尋引擎蜘蛛来抓取时，預設拿到的是服務器返回的 HTML 源碼。浏览器里那些由 JavaScript 拼出来的文字、图片和連結，如果没有出現在源碼里，對蜘蛛来说就等于不存在。
蜘蛛拿到的預設是源碼
入口頁一般要干两件事：一是让蜘蛛拿到一個能讀的頁面，二是让蜘蛛顺着連結走到目标頁。這两件事都依赖“源碼里有没有東西”。搜尋引擎虽然對 JS 渲染有一定處理能力，但渲染要走額外的队列，消耗更多资源，也不保證把頁面上的每一块都执行完整。把關键内容放在源碼里，是最省事的做法。
哪些寫法會让入口頁“變空”
- 整站前端渲染：頁面框架先返回一個空壳，正文和列表等接口資料回来後再填進去。蜘蛛抓取时接口可能還没被調用，看到的是一片空白。
- 連結用 JS 事件跳轉：列表項绑定 onclick 或前端路由跳轉，源碼里没有可跟随的 href，蜘蛛拿不到通向目标頁的路。
- 文字藏在图片或图标字体里：導航、标题、锚文本都用图片或字体图标實現，源碼里没有對應文本，蜘蛛讀不到你要传達的關鍵詞方向。
- 關键区块按需加载：内容要滚動到底、点击“加载更多”才出現，蜘蛛不會替你滚動頁面。
- 跳轉靠定时器：用 setTimeout 在几秒後跳轉，源碼里看不到跳轉意图，蜘蛛可能在原地就停了。
入口頁更稳妥的渲染方式
- 首屏正文、列表标题、分頁導航由服務端直接輸出，保證不看 JS 也能讀到内容。
- 所有希望蜘蛛跟随的連結都用标准 a 标簽，href 指向真實 URL，不要用 # 或 javascript: 占位。
- 需要跳轉的頁面用 301 或 302，让跳轉信息出現在响應头里，而不是寫在脚本里。
- 分頁、列表頁尽量使用可訪問的 URL 形式，方便蜘蛛一頁頁顺着抓下去。
- 结构化資料内联在源碼里，不要等前端脚本注入。
動手自查的几個動作
- 在浏览器里打開“查看網頁源代碼”，搜尋入口頁的核心词，看它是否真的出現在源碼中。
- 用 curl 带上蜘蛛 UA 抓一次入口頁，對比返回内容和浏览器里看到的是否一致。
- 临时禁用 JavaScript 打開頁面，看正文和出鏈還在不在。
- 用搜尋引擎提供的抓取測試工具跑一次，看抓取结果里的 HTML 是什么样。
判断标准很简單：如果關掉 JavaScript 之後，入口頁的正文和出鏈就没了，那蜘蛛大概率也看不到同样的東西。
常见誤区
- 把“我能看到”当成“蜘蛛能看到”，只看渲染後的画面，不看源碼。
- 以為搜尋引擎一定會执行 JS，于是把入口頁的核心内容全部交给前端。
- 只改了首頁模板，列表頁、詳情頁仍在客戶端渲染，蜘蛛走到第二层又断了。
什么时候可以接受 JS 渲染
如果頁面上的交互、篩選、局部刷新只是锦上添花，核心正文和主要出鏈在源碼里已经完整，那么用 JS 增强体驗没有問题。真正需要避免的是“没有 JS 就没有内容”的结构。對于批量铺设的入口站，模板往往来自采集或接口接入，改模板的成本遠低于後期排查為什么蜘蛛只来不走的成本。
把渲染這件事理顺，不保證收錄，也不保證排名，它只是让蜘蛛在有限的抓取次數里，少做無用功，把机會留给真正需要被發現的目标頁。