做站点运营时，经常听到一句话：重要頁面不要埋在太深的目錄里。這句话通常没错，但如果只盯着 URL 里斜杠的數量，很容易忽略一個更直接的因素——蜘蛛從入口走到這個頁面，中間要点開几個連結。目錄层級是给人看的结构，点击距离才是蜘蛛實际走的路。

目錄层級和点击距离是两個概念

一個頁面的 URL 可以是 /a/b/c/d/page.html，但只要首頁固定位置有直達連結，它在抓取路径上就只有一跳。反過来，一個 /page.html 這样的一級地址，如果只能通過某個临时活動頁，再经過多层列表和分頁才能到達，点击距离反而更長。蜘蛛不會因為 URL 短就優先抓取，它更多依赖已经抓到的頁面上的連結向外扩展。

怎么估算一個頁面的点击距离

不需要精确建模，按下面的顺序大致排一下就有结论：

• 從首頁出發，找到通往目标頁面的最短連結路径，數一數中間隔了几层頁面。
• 路径上是否必须经過分頁、篩選頁、參數頁這類低價值頁面。
• 中間頁的連結是不是在初始 HTML 里就存在，還是靠 JavaScript 渲染後才出現。
• 站内搜尋頁、标簽聚合頁、相關推荐這類自動生成模块，是否也能到達目标頁面。

把這几條列出来，往往會發現一批“看起来不深、實际绕很遠”的頁面。

容易被漏算的几個抓取入口

• 站内搜尋结果頁、标簽頁、作者頁——它們经常自動生成大量連結，是重要的补充入口，但頁面本身的重复度要控制。
• 相關内容、热榜、最新更新這類模块，位置靠後、數量多，容易在模板改動时被顺手删掉。
• Sitemap 里單獨列出的 URL，可以在没有内鏈的情况下被看到，属于發現入口，而不是抓取路径。

内鏈上可以落地的几個動作

• 频道頁固定位置露出：把重点栏目和重要詳情頁放在導航、频道首屏這類稳定位置，而不是只在活動期間出現。
• 列表頁連結寫進初始 HTML：纯前端渲染的列表，第一遍抓取可能只看到一個空壳。
• 面包屑保持可用：它既是给用戶的返回路径，也是蜘蛛向上回溯、连通层級的手段。
• 控制單頁連結數量：一頁堆几百個連結，抓取注意力會被摊薄；但也不必為了“集中”把長尾頁面的入口全部删掉，那样這些頁面會逐渐失去被發現的路径。

分頁與列表頁的顺序問题

詳情頁大多是通過列表頁和分頁連結被發現的。如果分頁只在滚動後才加载，或者第二頁之後的連結是脚本拼接的，蜘蛛可能走不到後面。让前几頁分頁連結稳定出現在 HTML 里，通常比調整 URL 结构更有效。

Sitemap 和内鏈的分工

Sitemap 解决的是“有哪些 URL”，内鏈解决的是“蜘蛛怎么走到這里”。两者不能互相替代：只靠 Sitemap，頁面可能長期停在已發現未抓取的狀態；只靠内鏈，新頁面在结构成型之前很难被及时看到。比較稳妥的做法是让内鏈承担主要路径，Sitemap 负责兜底和补充清單。

看資料驗證，而不是凭感觉

訪問日誌里能還原蜘蛛的實际走向：某個批次的詳情頁第一次被訪問时，前一條訪問或来源是哪類頁面；首頁和频道頁新增連結後，對應頁面的首次抓取是否變快。後台的抓取統計、覆盖率报告也可以交叉印證。

另外，服務器响應慢、频繁返回 5xx，會让蜘蛛降低對整站的抓取节奏，之前做好的内鏈調整效果也會被推迟。结构、連結、稳定性這三件事是一起起作用的。

把点击距离当成一個能测量、能調整的指标，比反复纠结目錄层級要實际得多。

最後提醒一句：以上調整只能改善蜘蛛發現和到達頁面的條件，不保證收錄，也不直接影响排名，最终仍要结合日誌與後台資料持續观察。