做蜘蛛池的人常問一個問题：入口頁里的連結和文字，蜘蛛到底看不看得见？答案取决于頁面是怎么“長”出来的。同一段 HTML 源碼，经過不同的渲染方式，蜘蛛拿到的内容可能完全不一样。
先分清：源碼和渲染结果是两回事
用浏览器打開頁面时看到的完整效果，是浏览器执行了 HTML、CSS、JavaScript 之後的结果。而爬虫拿到的第一份東西，通常只是服務器返回的原始 HTML 源碼。如果關键内容靠 JS 動態寫入，源碼里可能空空如也，蜘蛛第一次訪問时自然讀不到東西。
三種常见渲染方式的實际差別
- 服務端直出（静態 HTML）：連結、标题、正文都在源碼里，任何爬虫都能直接讀到，最省事也最稳。
- 服務端渲染（SSR）：内容在服務器上拼好再返回，效果接近静態頁，但需要框架和執行环境支撑。
- 客戶端渲染（CSR）：源碼只有骨架，内容靠浏览器执行 JS 再填充，對不执行 JS 的爬虫等于一張空白頁。
主流搜尋引擎的爬虫大多具备渲染能力，但渲染通常要排队、有配額，也可能超时失敗。換句话说，能渲染不代表一定會渲染，更不代表每次都能拿到完整结果。
判断蜘蛛實际看到了什么
不要靠猜，可以按這几步驗證：
- 查看服務器日誌，看爬虫是否請求了頁面里的 JS 文件，以及請求的時間顺序。
- 把浏览器 JavaScript 關掉再打開入口頁，對比還能看到多少文字和連結。
- 用抓取模拟工具或搜尋平台的抓取測試功能，查看返回的渲染快照。
- 留意渲染耗时，如果首次内容出現要好几秒，被抓取时更容易中断。
容易踩的几個坑
- 把内鏈放在 JS 里生成，或者点击後才加载，源碼中拿不到可讀的 href。
- 用無限滚動、懒加载承载主要連結，蜘蛛不滚動就等于看不到。
- 首屏内容被彈窗、遮罩或全屏 loading 盖住，渲染快照里只剩一层壳。
- 接口返回慢或跨域失敗，頁面渲染到一半就停在空白狀態。
落地建议
對蜘蛛池入口頁来说，稳定的做法是让關键内容走服務端輸出：入口頁的标题、正文片段、目标連結尽量直接寫在返回的 HTML 里，JS 只承担統計、交互這類增强功能。如果技術栈只能做客戶端渲染，至少要保證核心連結在源碼中有可讀的兜底形式，比如放在 noscript 之外的静態列表里，或者單獨给蜘蛛留一條直出路径。
渲染方式只影响蜘蛛能否讀到内容，不等于讀了就會收錄，最终仍要看頁面质量和站点整体情况。
把渲染方式理顺之後，入口頁的抓取路径才谈得上可控。與其等抓取異常了再回头排查，不如在建頁阶段就把“源碼里究竟有什么”這件事先定下来。