蜘蛛判断連結價值的依據
蜘蛛從入口頁面開始解析 HTML，遇到 a 标簽就放進待抓队列。但队列不是先進先出：連結在頁面中的位置、周围的文字、以及這條連結是否在全站重复出現，都會影响它被跟進的先後顺序。同一個目标 URL，放在主導航和放在頁脚最底部，蜘蛛的處理態度並不相同。
理解這一点，比單纯追求“多放几個内鏈”更有用。因為抓取量是有限的，連結位置决定了這些量最後落到哪些頁面上。
導航連結：覆盖广，但容易被稀释
主導航通常在每個頁面都出現，是蜘蛛進入各频道最稳定的通道。它的好處是确定性强，新栏目上线後不用等太久就能被抓到。問题在于全站重复：如果導航里塞了上百條連結，再叠加下拉菜單和二級栏目，每條連結能分到的抓取机會就被摊薄了。
- 導航保持层級清晰，一級栏目控制在個位數，二級入口放到该栏目的落地頁里。
- 需要全站暴露的入口尽量合並，不要一個功能拆成好几條重复連結。
- 導航用真實連結，避免只靠 JS 事件跳轉，否則蜘蛛可能拿不到地址。
正文連結：上下文最强的一種
正文中的内鏈，通常被蜘蛛视為相關性最强的信号之一：連結前後的文字說明了目标頁面讲什么，目标頁面和目前頁面主题接近。做 URL 發現时，正文連結往往比導航連結更值得投入。
實践上，寫文章时顺手鏈到站内相關的舊文章、詳情頁、分類頁，比在頁脚堆一堆入口更有效。锚文本尽量描述目标内容，不要通篇都是“点击這里”“查看更多”這類没有信息量的寫法。
頁脚與侧栏：全站連結的隐藏成本
頁脚和侧栏是連結最容易失控的地方。标簽云、最新文章滚動、友情連結、归档月份、热门推荐，每一項單獨看都合理，叠在一起可能變成几百上千條全站連結。
全站連結的數量，直接决定了蜘蛛把多少抓取量花在重复路径上。
常见的處理方式：
- 頁脚只保留必要的固定入口，如關于、联系方式、隐私政策。
- 标簽云限制展示數量，或者只在标簽聚合頁内展開，不做全站輸出。
- 归档、日歷類入口放在單獨頁面，不放進每頁的侧栏。
- 确實需要全站展示的板块，用 HTML 連結輸出，不要靠接口异步加载。
把連結位置和抓取日誌對起来看
判断連結布局是否合理，光看頁面不够，要拿抓取日誌驗證：
- 統計蜘蛛訪問集中在哪些頁面。如果大量請求落在無内容的列表頁、标簽頁，說明全站連結把抓取量带偏了。
- 检查新發布的詳情頁多久第一次被訪問。如果長期只有 Sitemap 推動、没有内鏈带来的訪問，說明正文内鏈偏少。
- 观察同一批頁面的抓取間隔是否稳定。波動很大时，同时排查服務器响應時間和全站連結數量。
Sitemap 能保證 URL 被看见，内鏈决定 URL 被多快、多频繁地走到。两者並不冲突：Sitemap 兜底覆盖，内鏈负责導流和排序。至于服務器稳定性，它是前提條件——响應经常超时的话，蜘蛛的整体抓取节奏會被調慢，連結放得再好也發挥不出来。
一個简單的自查顺序
- 數一數每個頁面輸出多少條連結，其中多少是全站重复的。
- 確認内容頁有没有至少一到两條来自正文的内鏈。
- 看導航里是否存在多余的重复入口。
- 用日誌對比“内鏈带去的抓取”和“Sitemap 带去的抓取”各占多少。
調整之後不必期待立刻见效。蜘蛛的抓取节奏有自己的周期，通常需要几周時間才能在日誌里看出趋势。與其反复改動，不如先把連結位置固定下来，再持續观察。