蜘蛛池入口頁的作用是让爬虫顺利進来、顺着連結繼續走。很多人把精力放在連結结构、域名歷史和 IP 部署上，却容易忽略最基础的一件事：頁面本身有多大、要下载多少東西才能完整打開。頁面越重，爬虫在單位時間内能處理的 URL 就越少，抓取预算被消耗在下载和等待上，而不是連結發現上。
為什么体积會直接影响抓取
搜尋引擎爬虫的抓取是有成本约束的。它不會無限量地把带宽和時間投在某一個站点上，尤其是在同一個主机下存在大量入口頁时，這個约束會更加明顯。爬虫每次訪問一個 URL，都要经歷 DNS 解析、建立连接、下载 HTML、解析、再决定跟哪些連結。如果 HTML 下载這一步就花掉几秒，後面的連結發現自然被压缩。
換句话说，入口頁不是内容頁，它不需要承载太多信息。它的核心任務是被快速抓完，並且把可抓的連結暴露出来。在這個前提下，頁面越轻越好。
HTML 本身的体积
HTML 体积過大，通常不是正文造成的，而是一些看起来無害的寫法：
- 把大量 CSS 和 JavaScript 直接内联在頁面里，尤其是整站共用的样式表被複製粘贴到每個入口頁；
- 導航、頁脚、侧栏在每個頁面重复輸出，且带大量空标簽和嵌套；
- 為了排版方便，用多层 div 包裹，DOM 层級很深，标簽數量遠超實际内容需要；
- 頁面里塞入與連結發現無關的長文本、表格或评论模块。
一般来说，入口頁的 HTML 控制在几十 KB 以内是比較舒服的范围。超過這個量級，就该检查一下是不是有可以外鏈化或删掉的部分。
外部资源才是更大的坑
HTML 只是第一层。真正拖慢抓取速度的，往往是頁面里引用的外部资源。爬虫虽然不一定像浏览器那样执行所有资源，但很多爬虫會抓取 CSS、JS 和图片，用于渲染判断和頁面理解。這意味着：
- 一張没有压缩的大图，可能比整個 HTML 還大；
- 引用了外部字体文件，會多出跨域請求；
- 頁面上挂了統計脚本、广告脚本、客服插件，這些第三方资源會带来額外的连接和下载；
- 资源地址寫错或已失效，會持續产生 404 請求，浪費抓取次數。
建议入口頁尽量不依赖外部资源。图片能省則省，确實需要时控制在合理尺寸並使用正确的格式。第三方脚本如果不是必需，就不要出現在入口頁上。
渲染阻塞與首屏
把 CSS 和 JS 放在 head 中同步加载，會阻塞頁面的首次渲染。對用戶来说這是白屏，對爬虫来说則是更長的等待。入口頁可以让样式尽量简單，把非關键的脚本延後加载，避免用 JavaScript 動態生成主要的連結结构。如果連結是脚本渲染出来的，部分爬虫可能压根看不到。
入口頁的目标不是好看，而是让爬虫用最少的资源把這一頁看完，並顺利找到下一條連結。
一份可操作的检查清單
- 打開頁面源碼，看看 HTML 大小是否明顯超過预期；
- 統計頁面中的外部請求數量，逐條判断是否必要；
- 检查是否有资源請求返回 404 或重定向鏈路過長；
- 確認主要連結是否寫在 HTML 里，而不是依赖脚本生成；
- 用速度測試工具看首字节時間和完整下载時間；
- 對比同一批入口頁的体积，找出明顯偏大的個別頁面。
几個常见誤区
- 只有内容頁才需要優化体积。入口頁同样消耗抓取资源，甚至更關键，因為它决定了爬虫會不會繼續往下走。
- 图片压缩一下就没事了。压缩只是其中一环，請求數量和渲染阻塞同样重要。
- 体积小就一定抓得好。体积是必要條件之一，連結结构、响應狀態、可訪問性同样影响结果，不能只看單一指标。
把入口頁做轻，本质上是在提高抓取效率的性價比。它不會直接带来排名，但能让爬虫在同样的時間里多看几個頁面，這對依赖 URL 發現的站点运营来说，是有實际意义的准备動作。