入口頁是蜘蛛池里用来让搜尋蜘蛛發現目标 URL 的頁面。為了让搜尋蜘蛛多爬几條，有人會把几百上千個連結、内联脚本、样式、甚至 base64 图片全塞進同一份 HTML。頁面越寫越大，問题就来了：搜尋蜘蛛會不會只抓前面一段，後面没抓到的連結等于白放？
搜尋蜘蛛抓 HTML 时有没有大小上限？
多數搜尋引擎在抓取和解析 HTML 时，會對單個响應体設定一個處理上限。常见说法是 Google 大约處理前 2MB 的 HTML，超過部分可能不再解析；其他搜尋引擎也有類似机制，但具体數值和触發條件並不完全公開，也會随抓取端、頁面類型和压缩方式變化。可以确定的是：搜尋蜘蛛不是無限量下载並解析你的頁面，响應体越大，後半部分被忽略的風險越高。
哪些内容最容易把目标 URL 挤到後面？
- 内联脚本和样式：把整站 JS、CSS 直接寫進入口頁，几行代碼就可能占几十 KB。
- base64 图片和字体：一張小图轉成 base64 後体积會膨胀，字体文件更明顯。
- 重复的導航和頁脚：每個入口頁都複製同一套菜單，連結没多几個，体积先上去了。
- 大量注释、空白和格式化标簽：對用戶不可见，但會實實在在增加 HTML 長度。
- 超長連結列表：為了堆 URL，把連結集中放在頁面底部，恰好最容易被截断。
搜尋蜘蛛只抓一半时，會發生什么？
如果目标 URL 的連結刚好在被截断的位置之後，搜尋蜘蛛這次抓取就不會發現它。日誌里可能看到入口頁返回 200，抓取狀態正常，但响應字节數明顯小于文件實际大小，或者搜尋蜘蛛後續没有再請求頁面後半段的連結。另一種情况是頁面前半段已经發現了一批連結，搜尋蜘蛛按自己的节奏繼續抓，剩下那一批則要等下次抓取或永遠等不到。
怎么判断入口頁有没有被截断？
- 在服務器日誌里筛出搜尋蜘蛛的抓取记錄，重点看入口頁的响應大小和狀態碼。
- 把日誌里的响應大小與頁面儲存後的實际 HTML 大小對比，差距過大时優先怀疑截断或传輸层压缩。
- 用搜尋蜘蛛模拟工具或抓取測試工具查看它實际解析到的連結，確認目标 URL 是否出現在解析结果里。
- 把目标連結临时移到頁面顶部，再观察後續抓取日誌里是否出現對该目标 URL 的請求。
入口頁瘦身的几個實用做法
- 把最重要的目标連結放在 HTML 前部，不要全堆在頁脚。
- 脚本、样式尽量外鏈，並用压缩後的版本；入口頁只保留必要结构。
- 去掉 base64 图片和内联字体，改用普通图片文件或纯文本占位。
- 压缩 HTML，刪除無用注释和多余空白，但不要為了压缩破坏可讀性。
- 控制單頁連結數量，連結特別多时拆成多個入口頁或分頁。
- 用 sitemap 直接提交目标 URL，给搜尋蜘蛛多一條發現路径，而不是只依赖入口頁的正文連結。
連結确實很多时，怎么组织更稳？
如果目标 URL 數量很大，不建议把所有連結压進一個頁面。可以按主题、目錄或時間拆成多個入口頁，每個頁面只保留一组核心連結，並让這些連結尽量靠前。分頁之間用普通連結串联，保證搜尋蜘蛛能從一頁走到下一頁。對于重点 URL，可以在 sitemap 里單獨列出，再配合入口頁做交叉發現。
頁面体积小、連結靠前，只能降低“因為截断而漏掉連結”的概率，並不等于目标 URL 一定會被收錄。抓取和索引是两回事，搜尋蜘蛛發現了 URL，後面還要看目标頁自身质量和站点整体情况。
回到最初的問题：入口頁 HTML 体积太大时，搜尋蜘蛛确實可能只處理前面一部分，後面的目标 URL 就有被漏掉的風險。與其纠结具体上限是多少，不如把入口頁当成普通頁面来優化：减少無關内容、把重要連結前置、用分頁和 sitemap 分担發現任務。做完這些，再用日誌去驗證搜尋蜘蛛到底抓到了什么，比凭感觉堆連結更可靠。