搭建蜘蛛池时，很多人把注意力放在域名、IP、程序上，却忽略了一個更基础的問题：搜尋引擎蜘蛛第一次拿到的，到底是完整的 HTML，還是只剩一個空壳的頁面。如果是後者，入口頁里的連結和内容對它来说约等于不存在，池子再大也难以形成有效的發現路径。
蜘蛛抓取通常分為两步
大多數搜尋引擎的抓取流程可以粗略拆成两段：先請求 URL 拿到 HTTP 响應体，也就是源碼；再决定是否投入资源去执行 JavaScript、渲染出最终頁面。第二步的成本遠高于第一步，因此只有一部分 URL 會進入渲染队列，而且往往伴随等待時間和失敗重试的损耗。
這意味着：寫在源碼里的連結會被稳定看到，靠 JS 插入的連結則有概率被漏掉。蜘蛛池入口頁的核心作用就是被發現、被顺着爬，所以渲染方式直接决定了這個作用能不能發挥出来。
三種渲染方式在蜘蛛眼里的差別
服務端渲染（SSR）
服務端把 HTML 拼好再返回，蜘蛛一次請求就能拿到标题、正文和連結。對入口頁来说這是最省事的方式，稳定性也最好。
静態生成（SSG）
构建阶段生成 HTML 文件，效果與 SSR 接近。要注意的是缓存與更新节奏，如果入口頁長期不重新生成，可能出現源碼里還是舊連結的情况。
客戶端渲染（CSR）
服務端只返回一個容器和一堆脚本，内容靠浏览器执行 JS 後展示。蜘蛛第一次請求拿到的基本是空頁面，是否能渲染取决于對方的調度策略，不确定性很高。
入口頁最容易踩的四個坑
- 導航和列表用 JS 生成。頁面看起来有几十個連結，源碼里却只有 div 和 class。
- 内容靠接口异步拉取。資料在 XHR 或 fetch 里，蜘蛛不执行脚本就看不到任何文字。
- 連結点击才跳轉。用 onclick 或路由跳轉代替 a 标簽的 href，蜘蛛無法把目标 URL 排進队列。
- 渲染前後不一致。服務端给蜘蛛的版本和给用戶的版本差別過大，容易触發质量判断上的负面信号。
實操建议
- 入口頁的導航、列表、分頁尽量在服務端輸出真實的 a 标簽 href。
- 不要依赖 JS 跳轉来做 URL 分發，那往往是蜘蛛最容易断掉的环节。
- 用 curl 或關閉 JavaScript 的浏览器环境訪問入口頁，看看源碼里還剩多少可用連結。
- 對比訪問日誌中頁面請求與静態资源、接口請求的比例，判断蜘蛛是否真的执行了脚本。
- 如果技術栈必须用 CSR，至少保證首屏有基础内容，並把關键連結放在源碼可讀的位置。
渲染方式只是让蜘蛛“看得见”的前提，它不保證頁面被收錄，也不代表入口頁越多效果越好。
一個简單的自检流程
- 用 curl 带上蜘蛛 UA 請求入口頁，把返回的源碼儲存下来。
- 在源碼里搜 href、http 等關键字，數一數可抓連結的數量。
- 把源碼和浏览器渲染後的 DOM 做對比，看差异有多大。
- 连續几天的日誌里观察蜘蛛是否請求了這些連結，而不是只守着入口頁本身。
蜘蛛池的很多問题最後都能归结到一句话：你以為蜘蛛看到的東西，和它真正拿到的東西不是一回事。把渲染方式当成入口頁的基本配置来對待，比事後反复調參數更省時間。