有站長遇到這样的情况：蜘蛛池入口頁日誌里搜尋蜘蛛来得很勤，但目标URL迟迟没有被抓取。回头看入口頁，HTTP 狀態碼是 200，标题也正常，可正文几乎是空的——只剩導航、頁脚，或者一层還没渲染出内容的框架。這類頁面在抓取层面通常被称為“软 404”：狀態碼说“我在”，内容却说“這里没什么可看的”。
软 404 為什么比真 404 更麻烦
真正的 404 是明确信号，搜尋蜘蛛看到就知道该停手，抓取资源不會被浪費。而 200 的空頁面會把蜘蛛留下来，机器需要先下载、解析、判断，最後才發現没有實质内容，這一步的成本已经花掉了。如果入口頁大面积是這種狀態，抓取预算會被大量消耗在“来了也白来”的頁面上，留给真正目标URL的机會自然就少了。
搜尋蜘蛛在空入口頁上會怎么做
需要先明确一点：只要連結以可解析的形式存在于 HTML 中，搜尋蜘蛛一般仍然會發現並排队。空内容不會让連結凭空消失。但發現和抓取是两件事，空頁面影响的是後半段：
- 連結的發現優先級可能下降，排队時間變長；
- 如果頁面内容高度重复，比如几十個入口頁只有模板相同，去重後可能只保留少數几個；
- 多次抓到空内容後，對整批 URL 的抓取节奏會趋于保守。
所以“蜘蛛来了”不等于“連結一定會被跟進”，更不等于目标URL會被收錄。
三種常见的“假满真空”形態
- 模板壳：有導航和頁脚，主内容区是空的容器，連結全在菜單里。
- 纯 JS 渲染：HTML 源碼里只有一行挂载点和 script 标簽，連結在資料接口里。
- 错誤頁伪装成 200：入口程序出错时仍返回 200，頁面寫着“參數错誤”或者干脆空白。
自查清單
- 用 curl 或抓取工具拿原始 HTML，而不是看浏览器渲染後的頁面；
- 確認主内容区是否有獨立于導航的文本和連結；
- 核對狀態碼是否稳定為 200，出错时是否誤返回 200；
- 在服務端日誌里對照入口頁的抓取频次與目标URL的抓取次數，看是否明顯失衡；
- 抽查一批入口頁，看内容重复度是否過高。
處理思路
- 给入口頁补上真實的、稳定的正文信息，哪怕只是几段描述性文字和上下文，也比空壳好；
- 把目标連結放在服務端渲染的 HTML 中，不要只靠前端接口拼出来；
- 出错頁统一返回 404 或 503，別让错誤頁顶替正常頁；
- 長期無效、無内容的入口頁直接清理，减少無效抓取；
- 入口頁數量控制在合理范围，宁可少而實，不要多而空。
怎么驗證目标連結有没有被跟進
- 看服務端日誌里目标URL是否出現搜尋蜘蛛的請求记錄；
- 對比入口頁抓取時間與目标URL抓取時間，看是否存在明顯關联；
- 用站点地图或主動推送作為补充通道，對比两條路径的抓取差异；
- 在搜尋後台查看 URL 狀態，区分“已發現”和“已抓取”。
蜘蛛池解决的是“被發現”的問题，解决不了“值不值得抓”和“抓了之後會不會收錄”的問题。入口頁能做的，是把連結干净地交出去；剩下的取决于目标URL本身的质量和可抓取性。
最後提醒一句：入口頁返回 200 但内容為空，單獨看並不致命；但如果整批 URL 都是這個狀態，抓取行為大概率會變慢變少。與其反复纠结連結的寫法，不如先把“頁面到底有没有内容”這件事確認清楚。