不少人搭好蜘蛛池後，看到日誌里有蜘蛛訪問入口頁，就預設這件事已经成了。過几天再翻目标頁的抓取记錄，却一片空白。問题往往不在“蜘蛛来不来”，而在“蜘蛛来了之後走不走得下去”。這篇文章聊的就是抓取深度。
抓取深度指什么
抓取深度可以简單理解為：蜘蛛從入口頁出發，沿着連結能往下走几层。第一层是入口頁本身，第二层是入口頁上直接指向的頁面，再往下就是第三层、第四层。层級越深，蜘蛛繼續往下走的可能性越低，因為每多走一层，它都要多花一次請求和一次判断，而它的時間预算始终是有限的。
蜘蛛停在入口頁的常见原因
入口頁上没有可跟随的連結
有些入口頁只放了一段說明文字或者一張图，蜘蛛抓完就没有下一步可走。也有人把連結做成按钮、图片或者纯脚本事件，初始 HTML 里根本没有可识別的連結标簽，蜘蛛自然找不到出口。想让它往下走，入口頁上至少要留几條真實的文字連結。
連結依赖脚本渲染
如果入口頁的連結是靠前端脚本插入的，而蜘蛛拿到的是初始 HTML，它看到的就是一個没有出口的頁面。能服務端直出的連結，尽量別藏在脚本里；實在需要脚本渲染，也要保證存在不依赖脚本的备用路径。
nofollow、robots 與 meta 指令挡住去路
入口頁如果给目标連結加了 nofollow，或者目标頁自身的 robots.txt、meta robots、X-Robots-Tag 不允许抓取，蜘蛛即使跟過去也會止步。這類問题在日誌里的典型表現是：入口頁天天有记錄，目标頁完全没有记錄，而且不是偶尔缺，是持續缺。
跳轉鏈條太長或跳轉類型不合适
從入口頁到目标頁，如果中間绕了三四個跳轉，每多一跳都會损失一部分抓取意愿。尤其当中間夹着脚本跳轉和 meta refresh 时，蜘蛛的處理方式與 301 並不相同，环节越多，越容易在某一跳断掉，後面的頁面就再也没机會被看到。
目标頁自身抓不動
响應慢、频繁返回 5xx、頁面体积過大、需要登入才能看到内容、URL 上挂着一長串參數，這些都會让蜘蛛走到第二层时選擇放弃。入口頁再健康，也带不動一個抓不動的目标頁。
入口頁内容太薄，蜘蛛不再回訪
入口頁如果長期空着，或者每次抓到的都是同一份没有意义的内容，蜘蛛的回訪频率會逐渐下降。抓取深度是建立在“值得再看一次”這個前提上的，连入口頁都不想再来，自然不會往下走。
從日誌里看深度
訪問日誌能提供不少线索。看 referer 字段，可以判断某個目标頁是被哪個入口頁带過去的；把入口頁和目标頁的抓取時間對齐，能看出蜘蛛是“一次连抓”還是“分几次慢慢推”。如果入口頁几乎天天被訪問，但带 referer 的後續請求少得可怜，那基本可以判断深度断在了第一层，需要回头检查連結寫法和中間鏈路。
調整建议
- 入口頁上至少保留几條可见的文字連結，指向相關性强的頁面，不要全靠脚本或者跳轉带路。
- 把入口頁到目标頁的跳數控制在两三跳以内，中間鏈路尽量用真實連結而不是重定向串联。
- 逐條检查 nofollow、robots.txt、meta robots 和 X-Robots-Tag，確認没有把想被抓的那一层挡在外面。
- 目标頁要能稳定打開，控制响應時間和頁面体积，减少重复參數和高度雷同的模板内容。
- 入口頁定期更新一点有價值的内容，给蜘蛛一個回訪的理由，而不是長期放着一份空壳。
- 把 sitemap 当作补充發現通道，但不要指望它替代正常的連結层級。
抓取深度不是一個可以手動設定的參數，而是入口頁结构、連結寫法、目标頁质量和蜘蛛自身判断共同作用的结果。能做的，是把路上的障碍一個一個清掉，然後观察日誌確認效果。
最後提醒一句：蜘蛛抓得深，並不等于頁面會被收錄。收錄還要看内容质量、站点整体情况和搜尋引擎自己的判断。解决深度問题，只是让頁面重新回到“有机會被评估”的队列里，後續该怎么走，還得靠内容和运营慢慢磨。