很多人把入口頁当成一個普通網頁来设計，加上統計、轮播、客服浮窗，结果頁面越来越重。但蜘蛛来抓的时候，真正拿到手的只有服務器返回的那段 HTML。
蜘蛛讀的是源碼，不是设計稿
大部分搜尋引擎蜘蛛請求入口頁时，先解析的是 HTML 源碼里的文本與連結；是否执行 JavaScript、能不能渲染出完整頁面，取决于蜘蛛類型和自身渲染能力。國内多數的抓取以源碼為主，這意味着入口頁真正的“内容”，就是 HTML 里寫了什么、連結放在哪。
不過這並不代表资源加载可以忽略。外鏈的 CSS、JS、图片、字体都會产生額外請求，占用服務器並發與带宽，間接拉長响應時間，而响應時間恰恰是蜘蛛是否愿意繼續抓的一個現實因素。
三類资源各自的影响
HTML 体积
- 模板堆砌、注释冗余、内联大量資料，會让單頁 HTML 膨胀到几百 KB 甚至更大。
- 蜘蛛對單頁抓取存在大小上限，超出部分可能被截断；如果截断的位置正好是連結区，連結就等于没寫。
- 建议把主要連結放在 HTML 前半段，控制整体体积，別让連結藏在深层嵌套里。
外鏈脚本與样式
- 每一個外鏈文件都是一次額外請求，第三方統計、广告、客服 SDK 往往還带多級依赖。
- 入口頁不需要交互，與“被發現”無關的脚本可以直接去掉；必要的少量样式内联或合並成一個文件即可。
图片與字体
- 大图、外鏈字体文件對入口頁几乎没有價值，只會消耗带宽。
- 用纯文本連結、小图标，或者干脆不放图，把资源留给 HTML 本身和蜘蛛的請求。
抓取预算和带宽是同一筆帳
蜘蛛池入口頁數量多、更替频繁，抓取预算和服務器资源都是有限的。渲染重、請求多的頁面會让蜘蛛在這一頁停留更久，單次抓取能覆盖的 URL 更少；服務器侧的並發被资源請求占掉，HTML 响應變慢，蜘蛛可能超时或主動降低频次。
入口頁的目标不是好看，而是被快速讀懂，並沿着連結繼續往下走。
一份可落地的瘦身清單
- 主要連結放在 HTML 前 30%~40% 的位置，避免埋進多层嵌套。
- 移除第三方統計、广告、客服脚本，需要統計就去看服務端日誌。
- CSS 内联或合並為一個小文件，JS 能不用就不用。
- 图片只在必要时使用，压缩到几 KB，或用文字代替。
- 避開 iframe、视频、地图這類重组件。
- 检查入口頁到目标頁之間是否存在多級跳轉，每多一层就多一次失敗概率。
- 入口頁本身返回 200，不要用重定向来替代内容。
怎么確認頁面真的轻了
用 curl 或抓取工具看單頁返回的 HTML 大小、請求數量和首字节時間；再對照蜘蛛日誌里的抓取間隔與返回狀態。如果日誌顯示蜘蛛在同一入口反复抓取却不往深處走，除了检查連結结构，也值得看一眼頁面本身是不是太重。
入口頁的本质是一條通道，通道越窄越堵，蜘蛛越容易轉身离開。把它做薄，是把抓取预算花在目标頁上最直接的方式之一。