不少人會問，蜘蛛到底能抓到多深的頁面。這個問题没有统一答案，因為它不是蜘蛛给自己设了一個层數上限，而是你的站点结构、連結分布和服務器表現共同作用出来的结果。
抓取深度不是一個固定數字
搜尋蜘蛛通常從几個入口開始：首頁、被外鏈指向的頁面、Sitemap 里列出的 URL，以及提交入口给出的地址。從這些入口出發，它能沿着連結往外走多遠，取决于每一步路上有没有可跟随的連結，以及走這條路要花多少時間。所以同样是五层頁面，在没有内外鏈支撑的站点里可能一直進不去，在结构清晰的站点里却可能很快被翻到。
点击距离：從入口到目标頁要几步
更實用的衡量方式是点击距离，也就是從入口頁点几次連結能到達目标頁。一般越靠近入口的頁面，被反复抓到的机會越大；越深的頁面，抓取频次往往越低。這不是惩罚，而是路径變長之後，蜘蛛要分给每條路的资源自然變少。如果某個重要頁面被埋在一堆中間頁後面，它就會被排在相對靠後的位置。
影响深度的几個現實因素
- 入口頁的集中度：如果全站連結都挤在首頁，入口單一，深頁的路径就更長；如果栏目頁、聚合頁也能作為入口，情况會好很多。
- 連結所在位置：正文里的連結比頁脚、侧栏的通用連結更容易被当成有意义的路径。
- 分頁方式：列表頁只做無限滚動、不给出可点击的分頁連結，蜘蛛就难以繼續往後翻，後面的内容自然進不去。
- 服務器响應：响應慢或超时，蜘蛛可能中途停止這一轮抓取，深度也就停在半路。
- URL 本身可抓性：带大量參數的地址、需要交互才出現的地址，都會让路径中断。
想让深层頁面更容易被翻到
- 把重要頁面放進主導航、面包屑或栏目頁，缩短点击距离。
- 列表頁做正常分頁，给出可点击的頁碼或下一頁連結，別只靠滚動加载。
- 用 Sitemap 补充列出深层 URL，作為入口之外的补充线索，而不是唯一指望。
- 在正文里做有限的相關推荐和横向连接，让頁面之間互相可達，但別硬塞一堆無關連結。
- 保持服務器稳定，別让蜘蛛在爬到一半时遇到超时。
用日誌確認實际深度
與其猜蜘蛛翻到了第几层，不如看日誌。可以在日誌里筛出蜘蛛的請求，按路径观察哪些栏目被抓得频繁、哪些子目錄几乎没有记錄；也可以挑几個深层頁面，看它們在一定周期内是否出現過抓取记錄，以及来的路径大概是什么。如果某類頁面長期没有抓取痕迹，再回头看它的入口、分頁和連結位置，通常能定位到症结。
抓取深度是结果，不是可以單獨調的目标。把入口铺好、路径理顺、服務器稳住，深层頁面被發現的机會自然會上来。