很多站点都有這样一個現象：首頁和栏目頁被抓取得很频繁，深藏在三級、四級目錄下的頁面却長期停在「已發現未抓取」。排除内容质量和外鏈因素之後，常见的原因就是頁面的点击深度太深——從首頁出發要经過很多次跳轉才能到達，抓取程序自然很难把它排進队列前排。
点击深度是什么，為什么值得單獨看
点击深度指的是：從站点任何一個高频入口（通常是首頁）出發，到達某個頁面最少需要点击多少次連結。它和 URL 层級並不完全等同。一個 /a/b/c/d/ 形式的地址，如果被首頁導航直接連結，深度就是 1；而一個根目錄下的頁面，如果只能靠站点地图找到，實际的入口深度反而接近「没有」。
在分配抓取资源时，能顺着已有頁面連結找到的地址通常會被優先照顾。深度越浅，被反复訪問和重新抓取的概率越高；深度過深的頁面，即便内容不错，也容易長期排在队列末尾。
几個容易被忽略的深度陷阱
- 只有站点地图，没有站内連結：頁面能被「發現」，但缺少持續的入口。
- 導航里的連結靠脚本拼出来：抓取與渲染不同步时，入口等于不存在。
- 列表頁只放出最近若干頁，老内容被挤出可達范围。
- 面包屑指向分類首頁，但分類首頁不連結回子頁，形成單向路径。
- 換域名或調整目錄後舊連結断掉，新路径没有补上對應的内鏈。
導航、面包屑與列表頁的分工
這三者的作用並不相同。全局導航负责把主要栏目控制在浅层，让重要内容始终有稳定的入口；面包屑负责让每個詳情頁都有回到更高层級的路径，同时帮助理解层級归属；列表頁和相關推荐則负责给内容頁提供多條入口，避免一個頁面只靠一條路径到達。
比較稳妥的做法是：重要栏目在三层以内就能從首頁到達；詳情頁至少有两個以上不同的内鏈入口；列表頁做分頁时保證舊内容仍有出口，比如按時間归档或按标簽聚合。
自查顺序可以這样排
- 先挑一批長期停在「已發現」狀態的 URL，列出它們目前的實际入口。
- 從首頁出發手動点一遍，记錄真實点击次數，和预期深度做對比。
- 检查導航與面包屑的連結是否是可抓取的普通連結，而不是依赖点击事件。
- 看列表頁和归档頁是否覆盖到較老的内容，還是只保留了最近一批。
- 確認改版後的新路径有内鏈承接，舊路径有合适的跳轉處理。
- 把高频更新的頁面固定在較浅位置，低频頁面允许沉得深一些。
深度不是唯一變量
点击深度影响的是「被找到的效率」，而不是「會不會被收錄」。内容重复、頁面质量偏低、站点整体抓取額度紧張，都可能让浅层頁面同样進不了索引。解决深度問题，只是排除了一類干扰項。
用一張简單的台帳跟進
可以按頁面類型记錄几項信息：典型点击深度、主要入口来源、上次被抓取的時間、目前索引狀態。每隔一段時間抽样對比，如果某一類頁面的深度在變大，比如列表頁翻頁被截断、導航改版後少了入口，往往就是收錄變慢的前兆。
與其反复提交地址，不如先把從首頁到目标頁面的路径理顺。路径通畅的站点，抓取和收錄這两件事通常都會省心一些。