蜘蛛拿到頁面之後，先做的不是“收錄”
不少人把入口頁当成一個提交開關，觉得只要蜘蛛来了就萬事大吉。實际上蜘蛛抓到一個頁面後，第一件事是解析 HTML、抽取正文、识別連結，然後才决定要不要繼續抓、要不要把 URL 放進後續的處理队列。如果頁面里能被识別的有效文本很少，這一趟基本等于空跑。
這也是為什么模板占比高的入口頁，抓取频次往往會慢慢降下来——不是被封，而是頁面本身没提供多少新信息。
模板占比過高时，頁面長什么样
典型的薄内容入口頁有几個共同特征：
- 導航、頁脚、侧邊栏、版權声明加起来占了頁面文本的七成以上；
- 正文只有一两句话，或者干脆是自動拼接的關鍵詞堆；
- 同一批入口頁之間，除了标题几乎完全一致；
- 正文里塞满指向同一批 URL 的锚文本，連結密度高于文字密度。
這样的頁面，蜘蛛解析完能提取到的差异化信息非常有限。它不會立刻报错，但抓取調度器會逐步降低對這類 URL 的優先級。
薄内容會带来哪些實际問题
第一是抓取预算被摊薄。抓取资源相對有限，模板頁占的比例越大，真正有内容的頁面分到的份額就越少。第二是頁面容易被归入低價值样本，從而影响同一批 URL 的整体抓取节奏。第三是排查困难——抓取日誌里全是 200，看不出毛病，可入口頁就是迟迟没有後續反應。
入口頁的核心不是“多挂連結”，而是让蜘蛛在一個頁面里取到足够多的可区分信息。
提升正文可讀性的几個做法
- 控制模板比例。精简導航和頁脚，让正文区域在 HTML 中尽量靠前出現，减少解析时先撞上一大段公共结构。
- 每頁提供一点獨有信息。哪怕是一段描述、一组參數、一個時間戳，只要和其他入口頁不同，就有区分度。
- 正文用自然語言寫。關鍵詞堆砌不但没用，還會让文本可讀性變差，蜘蛛抽不出有意义的片段。
- 連結位置分散。把内鏈放進正文语境里，比统一堆在頁脚更自然，也更利于判断連結關系。
- 定期清理低质頁面。長期不更新、也没有抓取反馈的入口頁，可以合並或下线，把预算留给有效頁面。
内容质量不是收錄開關，但它影响抓取效率
需要說明的是，把正文寫好並不等于一定被收錄，收錄還取决于站点侧和搜尋引擎侧的诸多因素。但從抓取調度的角度看，一個能被解析出有效正文的頁面，比一层空壳更容易获得持續的抓取机會。做入口頁时，先把“蜘蛛能讀到什么”這個問题回答清楚，比單纯堆數量更有意义。