搜尋蜘蛛的訪問日誌里，每天都有记錄，但仔细看會發現它反复抓的就是首頁和几個栏目頁，真正想让它發現的目标 URL 很少出現在日誌中。這種情况往往不是“蜘蛛不愿意抓”，而是入口頁在结构上没给出足够的出口，或者出口太深、太散。

一、先分清是“没發現”還是“發現了没抓”

同样是抓取深度浅，原因不同，處理方向也不同。核對日誌时，可以先看两件事：目标 URL 有没有出現過、出現了几次。

• 從没出現過：大概率是發現环节的問题，連結不可抓、入口頁太深，或者連結根本没渲染出来。
• 出現過但只有一两次：說明 URL 已被發現，只是優先級或抓取预算不够，通常和入口頁連結數量、頁面更新频率有關。

日誌里可以重点看几個字段：抓取時間、URL 路径、狀態碼，以及来源 referer。referer 能大致還原蜘蛛是從哪個入口頁走到目前地址的，對判断鏈路很有帮助。

二、入口頁常见的四個结构問题

1. 連結集中在一個位置，且位置很靠後

如果所有出口連結都堆在頁脚，或者需要滚動很遠才出現，蜘蛛在解析时未必會把它們当作主要内容。把關键連結放到正文附近的正常位置，通常比堆在頁脚更容易被跟上。

2. 單個入口頁挂了太多連結

一個頁面挂几百上千條連結，每條分到的權重和抓取机會都會被摊薄，蜘蛛可能只抓前面一部分就离開了。與其铺量，不如拆成多层，每层控制在合理數量。

3. 目标地址需要多次跳轉才能到達

入口頁到中轉頁再到目标 URL，每多一层就多一次抓取消耗。鏈路越長，蜘蛛走到终点前停下的概率越高。

4. 入口頁之間互相連結，缺少明确分层

如果几十個入口頁彼此互鏈，蜘蛛容易在一层里来回打轉，看起来抓取次數不少，實际深度没增加。理想结构是從入口层到目标层有清晰的层級方向。

三、可以按這個顺序排查

1. 在日誌里找出蜘蛛抓取過的最後一层頁面，确定它“止步”在哪里。
2. 检查這一层頁面上指向下一层的連結是否為可抓取的 a 标簽，是否需要 JavaScript 渲染後才出現。
3. 統計该頁連結總數，如果明顯偏多，拆成多层或分頁。
4. 確認下一层頁面本身能正常返回，没有 404、5xx 或過長的跳轉鏈。
5. 保持结构稳定一段時間，再對比日誌中的抓取深度變化。

四、几個容易誤解的地方

• 抓取深度不等于收錄。蜘蛛抓到了不等于會被索引，還需要经過内容质量、重复度等方面的判断。
• 入口頁越多，深度不一定越深。如果新增的入口頁质量低、連結结构重复，反而會分散抓取预算。
• 来訪次數多不等于抓取效率高。大量訪問集中在同一批頁面上，也是一種消耗。

看抓取深度，建议以周為單位對比日誌，而不是看某一天的峰值。單日資料波動很大，容易得出错誤结论。

入口頁的作用是给搜尋蜘蛛提供清晰、可走的路径。路径越短、越稳定、越容易解析，蜘蛛走到目标 URL 的概率就越高。這不能保證一定被收錄，但能减少“抓取深度始终上不去”這類结构性問题。