蜘蛛池的入口站，最终交到蜘蛛手里的其實是一份 HTML 源碼。样式、動效、图片這些東西，多數要等 HTML 解析完之後才逐步加载。也就是说，蜘蛛第一次看到頁面时，能立刻判断的只有源碼本身：体积多大、正文在哪、有多少連結、有没有可讀的文字。入口頁做得再精致，如果源碼這一层是“重”的，抓取效率就會打折。
HTML 体积：多出来的部分都在消耗抓取時間
蜘蛛抓取單次响應是有上限的，各搜尋引擎的具体數值不同，但基本以 MB 計，超過部分會被截断。這意味着，一個入口頁如果因為内联 base64 图片、大段内联样式、嵌套過深的 DOM 结构，把 HTML 撑到几百 KB 甚至更大，靠後的内容很可能压根没被讀到。
更常见的情况不是超限，而是“不值”。蜘蛛的抓取预算是有限的，一份臃肿的 HTML 換来的有效信息如果只有几行文字和一两個連結，性價比就很低。入口頁本身不需要承载太多内容，把 HTML 控制在几十 KB 以内，是比較稳妥的做法。
首字节時間：服務器太慢，蜘蛛可能等不到内容
首字节時間（TTFB）指的是從蜘蛛發起請求，到收到服務器第一個字节的間隔。這個值偏高时，蜘蛛在超时之前拿不到東西，這次抓取就白跑了。入口頁铺量之後往往共用少數几台服務器，如果資料库查询没做缓存、動態拼接逻辑太重，單頁看着没問题，並發一上来 TTFB 就會明顯拉高。
對入口頁而言，静態化生成是成本最低的解法之一：頁面提前生成好，請求進来直接返回文件，TTFB 通常能稳定在很低的水平，也不依赖資料库。
正文和連結的位置，值得往前挪一挪
蜘蛛是自上而下解析 HTML 的。如果正文段落和指向目标頁的連結被压到很靠後的位置，前面堆着一大段導航、广告位占位、無關的版權說明，那么被完整讀取的概率就會下降。
- 把可讀的正文放在源碼靠前的位置，哪怕视觉上看起来普通；
- 指向目标頁的連結尽量出現在正文附近，而不是全部集中到底部；
- 避免用大量空 div 或重复的容器把真正的内容“埋”起来。
外鏈资源、JS 渲染與懒加载
JS 渲染
搜尋引擎對 JavaScript 的渲染能力在提升，但渲染是要額外排队的，通常比直接抓取 HTML 慢一截，而且不一定每次都會执行。入口頁如果正文和連結全部靠 JS 插入，被漏掉的風險就明顯高于静態輸出。能直接寫在 HTML 里的内容，就不要绕道 JS。
懒加载與分頁
图片懒加载本身不影响文字抓取，但如果把連結也用“滚動到底部才加载”的方式處理，蜘蛛不滚動，就永遠看不到這些連結。分頁同理，入口頁若靠“加载更多”按钮翻頁，而按钮背後是 JS 請求，那么第二頁之後的内容對蜘蛛来说基本不存在。需要被發現的連結，最好在源碼里就是可点击的 a 标簽。
上线前的一份检查清單
- 確認服務器開啟了 gzip 或 brotli 压缩，HTML 传輸体积會小很多；
- 抽查几個入口頁 HTML 的原始体积，重点看有没有内联大图或超長内联样式；
- 用不执行 JS 的方式查看源碼，確認正文和通往目标頁的連結是否真實存在；
- 测一下 TTFB，尤其是並發下的表現，而不是只看單次訪問；
- 检查是否存在必须滚動或点击才會出現的連結；
- 控制單頁外鏈资源的數量，第三方統計、字体、组件脚本不必每個站都堆一遍。
入口頁的作用是让蜘蛛顺畅地讀到内容、顺着連結走到目标頁。頁面做得漂亮與否，蜘蛛判断不了；源碼是重是轻，它第一時間就能感受到。
把這些基础項理顺之後，再做铺量，抓取效率會稳定很多。反過来，如果入口頁一层层往上叠资源，站点數量再多，實际能被讀到的有效頁面也有限。