在蜘蛛池和站点运营的讨论里，经常能看到一種说法：入口頁 HTML 只要超過某個大小，搜尋蜘蛛就會停止解析，後半部分的連結等于白放。這個说法有依據，但被简化得太多，容易让人把精力用错地方。
解析上限确實存在，但通常离你很遠
主流搜尋引擎在解析 HTML 时确實會設定處理上限，超出部分可能不會被用于提取連結。公開资料和實测经驗给出的量級大多落在几百 KB 到 2 MB 之間，不同引擎、不同抓取方式並不一致。關键在于：绝大多數蜘蛛池入口頁只有几十 KB，几段文字加十来條連結，遠遠够不到這個量級。
所以当你發現入口頁里的連結没有被跟進时，先別急着把锅甩给“体积太大”，排查顺序應该反過来——先確認源碼里到底有没有這個連結。
真正容易让連結“消失”的几種情况
- 字符编碼声明错誤。声明為 UTF-8 實际用 GBK 輸出，中文路径或部分标簽會被解析成乱碼，連結属性可能整段失效。
- 标簽未閉合。尤其是一個没關掉的 div 或 a 嵌套错乱，解析器可能直接跳過一大块内容，视觉上正常但源碼里連結已经不属于文档主体。
- 連結不在源碼里。寫在 HTML 注释中、靠 JavaScript 動態插入、或者放在被脚本覆盖的占位容器里，原始 HTML 中根本看不到地址。
- 体积被無關内容撑大。首屏塞進大量 base64 图片、内联 SVG、完整的 CSS 和字体文件，連結本身没几條，文件却涨到几百 KB。
這些原因里，只有最後一條和体积直接相關，而且真正的問题往往不是“超限被截断”，而是入口頁變得臃肿、加载變慢，間接影响抓取效率。
自查顺序建议
- 用抓取工具取原始 HTML，而不是浏览器渲染後的 DOM，確認目标連結在源碼中确實存在。
- 分別看 gzip 後的传輸体积和完整 HTML 的字节數，两者差距可以反映是否堆了大量内联资源。
- 做一次 HTML 结构校驗，重点看未閉合标簽和嵌套错誤。
- 數一下入口頁的有效連結數量，判断是不是連結太密、正文太薄。
- 把入口頁分頁或拆成多個层級，让每個頁面承担有限的連結量。
入口頁体积怎么控制
與其纠结几百 KB 的阈值，不如把入口頁做得干净：連結用普通的 a 标簽寫在可解析的正文区域，剔除和跳轉無關的装饰性资源，把重复的模板结构收敛掉。一個几十 KB、结构清晰、能正常返回 200 的入口頁，比一個塞满内容却结构混乱的頁面更容易被稳定抓取。
体积小不等于一定被跟進，体积大也不等于一定被截断。入口頁可訪問、结构清楚、連結明确，比死磕解析上限更有實际意义。
最後提醒一句：入口頁只是發現 URL 的起点，能不能被收錄還是取决于目标頁本身的质量、可訪問性和内容狀態。把入口頁理顺之後，問题往往出在目标站那一侧，這时候就该去查目标頁的响應、内容和站内结构了。