做蜘蛛池的人习惯把精力放在連結數量、入口布局和域名资源上，却常常忽略一個更基础的問题：入口頁本身有多“重”。搜尋蜘蛛抓一個頁面，要先下载、再解析、再决定是否繼續跟進頁面里的連結。頁面越臃肿，單次抓取占用的時間和带宽越多，同一時間段内能覆盖到的 URL 就越少。把入口頁做轻，本质上是在给蜘蛛省成本。
体积從哪几個环节影响抓取
頁面大小不會直接决定是否被抓，但它會參與蜘蛛對“這個站值不值得多来”的判断。影响大致集中在三個环节：
- 下载阶段：HTML 文档越大，單次請求耗时越長，達到超时阈值後被中断的概率越高。
- 解析阶段：节点越多，构建 DOM 的時間越長，連結提取也越慢，尤其是嵌套很深的结构。
- 配額阶段：同一個站点在單位時間内的抓取次數通常是有限的，重頁面會挤占轻頁面的机會。
這三個环节是叠加的。一個 500KB、节点上萬、還要加载七八個脚本的入口頁，實际消耗的资源可能是同内容精简頁的好几倍。
多大的頁面算“偏大”
没有硬性标准，但可以给自己设一條參考线，用来判断哪些入口頁需要回头收拾：
- HTML 文档本身（未压缩前）尽量控制在 100KB 以内，压缩後通常能到 20KB 上下。
- DOM 节点數控制在 1500 以内比較從容，超過 3000 就值得检查结构。
- 首字节時間（TTFB）保持在一個稳定的較低区間，避免因後端查询過重而拖慢整站。
- 入口頁里没有必须执行才能看到内容的阻塞脚本。
這些都是经驗区間，不是及格线。真正要看的趋势是：同一個入口頁改動前後，日誌里它的抓取频次和回訪間隔有没有變化。
DOM 复杂度的隐形膨胀
体积問题往往不是内容多，而是结构冗余。常见来源包括：
- 模板层层套娃，一個卡片外面裹了五六层 div。
- 大量内联样式和重复的 class 名，让 HTML 迅速變大。
- 同一份導航、頁脚、侧栏在每個入口頁里完整重复一遍。
- 統計、客服、埋点脚本在執行时注入額外节点，蜘蛛看到的和你在浏览器里看到的並非一回事。
- 為了视觉效果加的空容器和占位元素。
精简入口頁的几個實用做法
- 開啟 Gzip 或 Brotli 压缩，這是收益最大、改動最小的一步。
- 把公共導航和頁脚做成结构简單的重复块，別為每個入口頁單獨定制一套 DOM。
- 能用 CSS 表達的效果不要寫進 HTML，减少内联样式。
- 統計和埋点脚本尽量异步加载，避免阻塞正文解析。
- 列表頁控制單頁條數，宁可用分頁也不要一次渲染几百條。
- 入口頁的正文和連結直出在 HTML 里，不要依赖前端二次請求才能出現。
两種容易走偏的反向操作
一種是為了瘦身删内鏈。入口頁的價值很大一部分来自連結，节点精简和連結數量要分開看，删掉该有的入口得不偿失。另一種是用脚本延迟渲染正文，看起来源碼變干净了，但蜘蛛拿到的初始 HTML 里可能什么都没有，反而更糟。
体积優化的目标是让蜘蛛用更少的成本看到同样的内容，不是让源碼看起来更短。判断标准始终是抓取日誌，而不是文件大小本身。
怎么自查
不需要复杂工具，日常巡检可以固定看几項：查看压缩前後的 HTML 大小、統計 DOM 节点數量、观察 TTFB 波動、對比同批入口頁之間的差异。如果某一批入口頁的回訪間隔明顯長于其他批次，先去看它們的体积和结构，往往能找到原因。体积和 DOM 复杂度不是决定性因素，但它是一個可以主動控制、且改動成本很低的變量，值得放進日常维護清單里。