很多人把入口頁当成“連結越多越好”的容器，结果日誌里经常出現一種情况：搜尋蜘蛛来了，抓了一部分就走了，目标URL只被跟進了一小截。除了服務器响應慢、被拦截這些原因，頁面本身的体积和連結密度也是常被忽略的一环。

先確認“抓一半就走”長什么样

它通常不是一次明顯的报错，而是几個迹象凑在一起：

• 同一個入口頁在日誌里被反复抓取，但每次請求的字节數都停在某個位置；
• 頁面上放了几百條目标URL，實际被跟進的只有前几十條；
• 請求正常返回 200，但没有後續對目标站资源的抓取。

出現這些迹象时，先排查响應速度和狀態碼，再回头看頁面结构。

HTML 体积控制在什么范围

入口頁不需要复杂，体积越小越容易被完整抓取。经驗上可以把未压缩的 HTML 控制在 100KB 以内，压缩传輸後往往只有十几 KB。超過 500KB 的頁面，抓取開销明顯變大，被截断或超时的概率上升。

体积膨胀的来源通常很集中：

• 内联的大段 CSS 和 JS，尤其是整套框架代碼；
• base64 内嵌的图片、字体；
• 把大量連結裹在多层嵌套的 div、table 结构里。

把样式表、脚本改成外鏈，图片單獨走 HTTP 請求，HTML 只留必要的结构和文字，体积很容易就降下来。同时记得開啟 gzip 或 brotli 压缩。

一頁放多少條連結比較稳

搜尋蜘蛛没有公開的“單頁連結上限”，但連結越密，單條被跟進的机會就越被稀释，靠後的連結被忽略的可能性也越高。從實际操作看：

• 單頁 50～200 條連結是比較常见的区間，结构清晰、每條都有锚文本；
• 超過几百條时，建议拆分成列表頁加分頁，或者做成多层入口；
• 同一頁里不要反复指向同一個目标URL，重复連結並不會带来額外收益。

如果确實要铺很多 URL，與其把一頁撑到上千條，不如分成十頁、每頁一百條，让蜘蛛保持稳定的抓取节奏。

別让入口頁看起来像纯連結堆

頁面里只有一堆連結、没有任何說明文字，很容易被判定為低质量頁面。加一两句和主题相關的描述、一個像样的标题层級，反而更有利于抓取和後續處理。用 ul、li 组织連結，比用表格或纯 div 堆砌更容易被正确解析。

入口頁的目标是“让蜘蛛顺利讀懂並愿意繼續走”，而不是“塞進尽可能多的連結”。

抓取效果怎么驗證

最直接的方式還是看服務器日誌：統計每個入口頁被請求的次數、返回的字节數，以及目标URL是否出現在後續的抓取记錄里。如果某個入口頁長期只被請求一部分就中断，優先检查它的体积和响應時間；如果是連結被跟進的比例偏低，優先检查連結數量和頁面结构。

最後提醒一句：以上都是基于抓取行為的经驗判断，不同搜尋引擎的策略會調整，頁面大小和連結數量也没有放之四海皆准的數值，建议结合自己站点的日誌持續观察和修正。