做蜘蛛池的人经常遇到一種頁面：HTTP 狀態碼是 200，title 也有，但正文只有几行模板文字、几個導航連結和一大片連結列表。從日誌看搜尋蜘蛛确實来過，可目标頁的抓取量始终上不去。這類頁面在搜尋引擎眼里常被归到“低质量”或“软 404”的范围，里面的連結還能不能被繼續跟進，就成了一個很實际的問题。
先分清几種“看着正常”的空頁面
- 纯連結頁：只有标题加一堆外鏈，没有任何解释性文字
- 空壳模板：框架渲染失敗，正文区是空白或只有 loading 文案
- 采集拼接：段落之間没有逻辑，關鍵詞反复堆叠
- 占位頁：寫着“内容正在建设中”，長期不更新
這几種頁面的共同点是：狀態碼 200，但對訪問者没有實际價值。搜尋蜘蛛在决定是否繼續跟進連結时，不只看狀態碼。
狀態碼 200 不等于“值得繼續抓”
搜尋蜘蛛的處理大致分两层：第一层是能不能抓，看 robots 协议、狀態碼、响應時間；第二层是值不值得抓，看内容质量、重复度、頁面類型。第一层過了，第二层才决定要不要繼續解析並跟進連結。空壳頁面通常卡在第二层。
常见表現是：日誌里抓取频率逐渐降低，從每天几次變成几天一次；入口頁里的目标 URL 迟迟不出現；站点整体的 URL 發現效率下降。注意這些都是“节奏變化”，並不代表頁面被明确處罚。
連結還會不會被跟進
通常會，但一般有两個變化：一是量變少，蜘蛛可能只取頁面前几條連結，剩下的留在队列里迟迟不抓；二是频率變低，同一批連結的再次抓取間隔被拉長。換句话说，連結不是完全被忽略，而是優先級被压得很低。
如果入口頁長期保持這種狀態，整個入口的 URL 發現效率會明顯下滑，繼續往里加連結的收益也會越来越小。
連結被發現不等于被跟進，被跟進也不等于被马上抓取。
几種常见處理方式和取舍
- 补充說明性文字：哪怕每頁加两三段真正描述目标内容的文字，也比纯連結堆好很多。
- 控制單頁連結數量：與其一頁塞几百條，不如拆成几頁，每頁几十條，並做简單分组。
- 用 sitemap 兜底：入口頁负责發現，sitemap 负责提交，两條路並行，不必二選一。
- 定期清理失效入口：長期不更新、内容空白的入口頁，删掉往往比留着更省抓取预算。
這几点都不复杂，难点在于执行时的取舍：拆頁面會增加维護成本，补文字需要額外投入。可以先從流量最大的那几個入口頁開始改。
怎么自查入口頁是不是“空壳”
- 關掉 CSS 和 JavaScript，看頁面還剩下多少可讀文字
- 對比入口頁被抓次數和目标頁被抓次數，看差值是否長期偏大
- 看日誌里蜘蛛抓的是入口首頁，還是更深一层的連結頁
- 統計單頁平均返回大小和抓取时長，異常小的頁面要留意
如果自查發現入口頁返回的体积很小、每次只抓首頁不往深處走，基本可以判断是内容质量問题在拖後腿，而不是提交方式的問题。
一個容易被忽略的点
空壳頁不一定是“被惩罚”，更多是自然取舍。搜尋引擎每天要處理海量頁面，在抓取预算有限的情况下，把額度留给信息量大的頁面是正常逻辑。把入口頁做到“有内容可讀”，通常比反复提交 URL 更管用。
最後提醒一句：無论怎么優化入口頁，都不能保證一定被收錄或获得排名。能做的只是减少蜘蛛在你站点上的無效消耗，让真正有價值的 URL 更容易被發現和安排抓取。