搭蜘蛛池的时候，入口頁怎么生成是個绕不開的問题。有人图省事，直接套一個前端框架，頁面内容全靠 JS 拉接口；也有人全部輸出静態 HTML。两種做法蜘蛛都能遇到，但遇到的难度完全不一样。這篇文章只讨论一件事：入口頁的内容，到底该在服務端就拼好，還是交给浏览器去渲染。
蜘蛛拿到 HTML 之後還要不要跑 JS
搜尋引擎的抓取大致分两步：先抓 HTML，再决定要不要進渲染队列。渲染是有成本的，每個頁面都要占計算资源，所以渲染队列通常比抓取队列慢得多，而且有配額。一個入口頁如果關键内容、連結全在 JS 里，蜘蛛第一次拿到的其實是個空壳，只能排队等渲染。等得到算运气好，等不到就只留下一份内容稀薄的记錄。
換句话说，静態輸出是即时可见，JS 渲染是延迟可见。蜘蛛池入口頁數量動辄几千上萬，延迟一点点，整体效率就差很多。
静態 HTML 和前端渲染，差在哪几個地方
- 可见時間：静態内容抓取当次就能讀到，JS 内容要等二次渲染。
- 連結發現：寫了 a 标簽的 URL 在 HTML 里就能被提取，靠 JS 拼接出来的連結往往要等渲染完才被發現，甚至永遠發現不了。
- 失敗率：渲染會受接口超时、跨域、第三方脚本加载失敗影响，任何一环出問题，頁面在蜘蛛眼里就是空的。
- 抓取预算消耗：渲染一個頁面消耗的资源明顯高于纯文本抓取，同样的预算能覆盖的頁面數會變少。
三種常见方案怎么選
纯静態 HTML
入口頁内容變化不频繁、主要目的是把連結和主题词递出去，静態就是最省事的方案。生成时把正文、标题、内鏈一次性寫進 HTML，蜘蛛進来一次就能拿走全部信息，不需要排队渲染。
服務端渲染（SSR）
内容需要按參數變化、又不想放弃静態可见性时，可以在服務端把首屏拼好再返回。對蜘蛛来说，拿到的仍然是完整 HTML。代價是服務器压力更大，缓存没做好时 TTFB 容易變長，這一点要額外留意。
客戶端渲染（CSR）加兜底
如果确實用了前端框架，至少要保證首屏關键内容直出，而不是依赖接口返回。剩下非關键部分再交给 JS，這样即使渲染失敗，頁面也不是一片空白。
坚持用 JS，也得守住几條线
- 入口頁的主要連結必须寫在 HTML 里，不要用 onclick 或 JS 跳轉代替 a 标簽。
- 标题、正文摘要這類核心内容尽量直出，不要等着接口返回再填。
- 少依赖第三方脚本、統計代碼和外部字体，任何一個卡住都可能拖垮整頁渲染。
- 不要用 JS 判断 UA 再决定给不给内容，容易誤伤，也容易被当成作弊。
- 如果需要跳轉，優先用标准 301 或 302，而不是 JS 里的 location.href。
几個常见的想当然
“搜尋引擎都能渲染 JS，所以怎么寫都行。”能渲染和一定渲染是两回事，渲染排期、配額、失敗重试都要算進去。入口頁數量一多，這個差別會被放大。
- 以為頁面在浏览器里顯示正常，蜘蛛看到的就是同一份内容，其實首屏可能靠接口，接口你有、蜘蛛不一定等得到。
- 以為把連結寫在 JS 數组里也算内鏈，這更多是给用戶看的，對 URL 發現帮助有限。
- 以為渲染過的頁面會被永久记住，重新抓取时如果 HTML 還是空壳，判断可能回到原点。
一個简單的判断标准
判断方法很朴素：把頁面 HTML 源碼里的 JS 全部關掉，看還剩多少内容。如果标题、正文、内鏈都還在，說明方案是稳的；如果關掉 JS 只剩一個空 div，那就要考虑改造成静態輸出或者 SSR。蜘蛛池要的是被快速、稳定地讀到，而不是頁面做得多花哨。