為什么導航和頁脚值得單獨查一遍
抓取工具進入一個站点後，頁面上最稳定的入口往往不是正文里的連結，而是顶部導航和頁脚。它們几乎出現在每一個頁面上，所以它們指向哪里、指向多少個地址，會直接影响蜘蛛在站内的行進路线。如果一個站有几千個頁面，而頁脚固定輸出上百個連結，那么每個頁面都會重复一次同样的出口清單，蜘蛛分给新内容的注意力就會被摊薄。
三個常见現象
1. 頁脚變成全站連結堆
有些站為了“让蜘蛛多抓一些”，把栏目、标簽、城市、年份、全部文章都铺在頁脚。结果是每頁多出几十到上百個連結，且绝大多數和目前頁面無關。蜘蛛會顺着這些連結反复訪問同样的枢纽頁，形成大量重复路径。
2. 導航與栏目结构對不上
導航里放的是运营想推的入口，栏目结构里是内容實际归档的位置，两者错位时，蜘蛛從導航進入的頁面和從目錄路径推断的层級不一致，容易把同一批内容看成两套体系。自查时可以把導航的一級項和目錄一級項列出来對照。
3. 導航靠脚本渲染，HTML 里没有連結
如果導航由前端在客戶端生成，HTML 源碼里只有空容器，蜘蛛拿到的頁面里就没有可跟随的路径。可以查看頁面源代碼，確認導航連結是否以 a 标簽形式直接出現在 HTML 中；如果没有，需要评估是否补一份服務端渲染的連結。
自查清單
- 統計首頁和一篇普通内容頁的連結總數，区分導航、頁脚、正文、相關推荐各占多少。
- 把頁脚連結按用途分组，看有多少是站内栏目入口，有多少只是重复或低價值出口。
- 確認導航一級、二級項與目錄层級是否基本對應。
- 检查導航和頁脚連結是否出現在 HTML 源碼中，而不是只在渲染後可见。
- 抽查几個頁面，看頁脚連結是否一致，有没有某類頁面多出一大块連結。
- 观察服務器日誌里，蜘蛛訪問頁脚連結的频次是否明顯高于正文里的連結。
調整时的几個做法
- 把頁脚压缩到必要入口：常见栏目、關于、联系方式等，控制在合理數量内。
- 把“全站連結”類内容改成單獨的站点地图頁面，並只在頁脚留一個入口。
- 導航項與栏目结构對齐，减少同一批内容出現多套路径的情况。
- 相關推荐、热门标簽這類模块，尽量限定在與目前頁面主题相近的范围。
- 改完之後留出观察期，用日誌對比調整前後蜘蛛訪問的頁面分布。
導航和頁脚不是入口越多越好。它們的作用是把蜘蛛送到该去的地方，而不是把每頁都變成同一個十字路口。
改完要留记錄
調整導航和頁脚属于全站性改動，影响面大。建议记錄改動時間、改了哪些位置、增减了哪些入口，並在一段時間後回看日誌里抓取分布的變化。如果發現某些栏目訪問量下降，可以再补一两個上下文里的内鏈作為替代路径，而不是把頁脚重新塞满。
另外，這類改動不必一次到位。先把明顯重复的全站連結清掉，再逐步調整導航层級，观察一两周再决定下一步，比一次性大改更容易看出問题出在哪里。