讨论蜘蛛池的时候，大家习惯把注意力放在域名、IP、連結和内容上，入口頁本身的代碼体量却经常被忽略。蜘蛛抓到一頁，先要下载整個 HTML，再解析 DOM、抽取連結、判断正文。頁面越重，這两步消耗的時間越多，而抓取资源是有限的。
抓取队列里的隐性成本
搜尋引擎的抓取器按队列工作：同一站点在單位時間内能拿到的抓取額度大体固定。如果一個入口頁的 HTML 有 800KB，蜘蛛下载並解析它的時間，足够處理十几個几十 KB 的轻頁面。结果就是同样的抓取预算，能覆盖的 URL 變少了。
更麻烦的是超时。部分抓取器對單次請求有响應時間上限，頁面越大、服務器带宽越紧張，被中断的概率越高。中断一次，這次抓取基本就浪費了。
哪些東西最容易把入口頁撑大
- 把整站 CSS 和 JS 直接内联進每一個入口頁；
- 用 base64 把图片、字体塞進 HTML；
- 套用带大量组件的前端框架，實际只用到几個連結；
- DOM 节点動辄上萬，嵌套层級很深；
- 残留的調试代碼、重复的模板注释、無用属性。
這些内容對蜘蛛识別連結没有任何帮助，却實實在在占用了下载與解析時間。
一個可以參照的量級
没有硬性标准，但经驗上，蜘蛛池入口頁的 HTML 控制在 100KB 以内比較舒服，能做到 30–50KB 更好；DOM 节点總數尽量別超過 2000。這只是參考值，不必為了凑數字牺牲内容。真正要守住的是：頁面里的有效連結和主题内容，蜘蛛用最少的解析成本就能拿到。
精简时不要踩的坑
- 別用 JS 後置渲染正文和連結。省下来的体积，可能直接換来“内容没被抓到”。
- 別把連結藏進 iframe、注释或脚本字符串。這些位置蜘蛛通常不当作可跟進的連結。
- 別為了减重把正文删空。入口頁太“薄”同样會被判定為低质量模板頁。
- 外鏈 CSS、JS 尽量异步或延迟加载，避免阻塞首屏 HTML 的解析。
入口頁在蜘蛛池里的角色是“通路”。通路越轻、越干净，蜘蛛走得越顺；但轻不等于空，保留必要的内容和連結才是前提。
怎么自查
- 用 curl -I 或浏览器開發者工具看 HTML 的传輸体积和解压後体积；
- 查 DOM 节点數量與最大嵌套深度；
- 對比服務器日誌里同一入口頁的抓取频率變化，看体积調整後是否有改善；
- 確認關閉 JS 後，頁面里仍能看到主要連結與文字。
把入口頁当成一個“轻量索引頁”来设計，而不是一個小型门戶站。少一些装饰，多一些可被直接解析的連結，蜘蛛的抓取效率自然會好一些。這不會立刻带来收錄，但它减少的是每一层都不必要的损耗。