做蜘蛛池的人经常遇到一個現象：入口頁明明被蜘蛛抓了，但往下两层的頁面几乎没人訪問，目标站拿到的抓取量少得可怜。這里说的抓取深度，指的是蜘蛛從入口頁出發，沿着連結往下走了几层。深度越浅，能被触達的頁面就越少。
蜘蛛的抓取深度是逐层递减的
搜尋蜘蛛的抓取预算有限，對陌生站点通常會先做小范围试探，抓几個頁面看看响應速度、内容质量和連結结构，再决定要不要扩大范围。所以從入口頁到目标頁，每一层被抓到的概率都在下降。第一层可能抓走大部分，第二层只剩一部分，再往下就更少。這不是惩罚，而是资源分配的自然结果。
蜘蛛停在第一层的常见原因
- 連結位置不對：外鏈被放在侧栏、頁脚或者由脚本渲染的模块里，蜘蛛可能忽略或不执行。
- 單頁連結過多：一個頁面塞几百個連結，每個連結分到的權重被摊薄，蜘蛛往往只挑少量抓取。
- 层級過深：入口頁到栏目、栏目到列表、列表到詳情，四层结构下最後一层几乎拿不到抓取。
- 锚文本和 URL 高度雷同：大量連結指向同一批地址，蜘蛛缺乏繼續探索的動机。
- 响應慢或狀態碼不稳定：抓取超时會拉低蜘蛛對整站的抓取频率。
让蜘蛛往下走的几個做法
- 压缩层級：让入口頁直接鏈到目标頁，两跳以内可達為宜，中間层只保留必要的分類。
- 把連結放進正文：正文区的連結比導航和頁脚更容易被跟随，带上下文說明的連結尤其如此。
- 控制單頁連結數量：一頁几十個連結，比一頁几百個連結更容易被逐個抓取。宁可多铺几個入口頁，也不要把連結堆在一處。
- 让連結 URL 有区分度：指向不同路径、不同地址，蜘蛛才有繼續往下走的理由。
- 用 sitemap 补位：sitemap 不能替代頁面連結，但可以作為深层頁面的一條补充發現通道。
怎么確認蜘蛛到底走到了哪一层
別凭感觉判断，看服務器日誌更直接。把日誌按 URL 路径段分组統計，比如 /a/、/a/b/、/a/b/c/ 各自的抓取次數和占比，再對照狀態碼分布。如果第二层的抓取量只有第一层的百分之几，說明深层連結没有發挥作用。观察一到两個完整的抓取周期再下结论，不要拿半天的資料做判断。
常被忽略的两個誤区
一是以為連結寫得越多，蜘蛛走得越深；實际情况常常相反，連結密度過高反而让蜘蛛停在第一层。二是以為 sitemap 提交完就不用管内鏈了，sitemap 影响的是發現速度，能走多深仍然取决于頁面之間的連結關系。
抓取深度不是靠堆連結換来的，而是靠清晰的路径和可用的頁面结构，让蜘蛛愿意多走一步。
對多數站点来说，把入口頁到目标頁的路径压到两跳以内、在正文区保留有效連結、把單頁連結數量收敛下来，比反复調整參數更實在。改完给它几個抓取周期，再用日誌驗證，比频繁改動更容易看出差別。