站内連結的深度，决定了搜尋蜘蛛要经過多少次跳轉才能到達一個頁面。层級越深，抓取路径越長，能分到的抓取次數通常越少，頁面更新後被重新訪問的間隔也容易被拉長。這不是某個開關的問题，而是抓取资源在站内分配的结果。
深度為什么會造成入口衰减
從入口頁面出發，蜘蛛需要沿着一层层連結走下去。每加深一层，可分配的抓取资源就被上一层分摊一次。同时，站内連結也是頁面之間互相推荐的通道，深层頁面如果只被一两個頁面連結，收到的推荐就非常有限。
- 跳轉次數多，單次抓取周期内难以覆盖到全部深层頁面；
- 連結来源單一，頁面一旦被删鏈就容易變成孤岛；
- 深层頁面多為列表翻頁的产物，内容和上一层高度相似；
- 目錄命名混乱时，容易出現同内容多路径的重复入口。
先把内鏈深度量出来
整理之前先要有一個基线。比較實用的做法是，把首頁当作第 0 层，沿着站内連結做一次广度優先遍歷，记錄每個 URL 到首頁的最短跳轉次數，並按层級匯總。
- 導出全站 URL 列表，去重後作為對照表；
- 從首頁開始抓站内連結，记錄每個 URL 的首次發現层級；
- 按 1 层、2 层、3 层、4 层及以上分组，統計各组 URL 的數量與占比；
- 再取一份搜尋蜘蛛的抓取日誌，統計實际被抓頁面的层級分布。
把两份資料放在一起看，如果某個层級的 URL 占比很高，但日誌里几乎没有對應记錄，就說明這些頁面處于抓取路径的末端，值得優先調整。
常见的几種衰减形態
目錄层級堆叠
例如把栏目、品類、子品類、篩選條件全部寫進路径，一個普通内容頁要经過四五层目錄。可以尝试缩短最终頁面的路径，或者用更扁平的栏目结构来承载。
只靠頁脚或侧栏批量連結
頁脚的全站連結看起来覆盖面广，但位置固定、數量庞大，實际能传递的推荐有限。更稳的方式是在相關内容頁里做上下文連結，让連結出現在正文附近。
翻頁鏈中断
列表分頁只提供“下一頁”，不提供頁碼或其他跳轉入口，舊的分頁頁面很快就没人再鏈過去。给列表补上頁碼，或让分頁鏈保持可回退。
入口依赖交互
需要点击、加载、登入後才出現的連結，對蜘蛛来说约等于不存在。能直接輸出的連結尽量直接輸出。
整理内鏈结构的顺序
- 先修断鏈和重定向鏈，避免把抓取浪費在中間跳轉上；
- 把重要頁面提到两到三次跳轉以内，能放進主導航或栏目首屏的不要藏在深處；
- 给深层頁面补充上下文入口，優先選擇内容相關、且本身被抓取較频繁的頁面；
- 收敛重复路径，统一一種規范寫法，减少同一内容的多入口；
- 最後處理分頁與篩選連結，控制可抓取范围。
Sitemap 與内鏈的配合
Sitemap 可以补充内鏈覆盖不到的入口，但它不能替代内鏈。比較合理的分工是：内鏈负责主要抓取路径和頁面之間的關系，Sitemap 用来补齐新頁面、深层頁面和更新較少的頁面。两者指向的 URL 應当保持一致，避免同一頁面出現两種寫法。
观察調整後的變化
調整完成後，不需要每天盯着數字。可以按周統計各层級的抓取次數和下载字节，观察深层頁面的抓取是否增加、狀態碼是否稳定。變化通常需要一段時間才會体現，期間保持结构稳定比繼續改動更有價值。
内鏈深度只是影响抓取的一個因素，服務器响應、内容质量和更新频率同样起作用。本文提到的做法是排查方向，不构成對收錄结果或抓取量的保證。