很多站点的抓取問题，既不出在服務器，也不出在内容量，而是出在連結结构上。重要頁面只有一個入口，還藏得很深，蜘蛛要走好几层列表才可能碰到一次；與此同时，一些無關紧要的頁面却被導航和首頁反复推送。内部連結自查，就是把這些分配不均的地方翻出来，重新排一遍。
内部連結到底在影响什么
内部連結同时服務两類對象：一是蜘蛛，它靠連結發現新地址、判断頁面之間的關系；二是訪客，他靠連結在站内找到下一個想看的頁面。這两件事经常被分開讨论，但實际是一体的——一條没人点的連結，蜘蛛也很少會持續走。
具体来说，内部連結主要影响三件事：頁面的入口數量和深度、抓取时精力往哪些地址倾斜、以及用戶能否顺畅地從一篇文章走到另一個相關頁面。它不能保證任何頁面被收錄，但入口過少、层級過深的頁面，通常需要更長時間才可能被發現。
自查可以從四個切入点開始
導航與栏目入口
先看主導航覆盖了哪些栏目，是否和目前的内容重点一致。如果某個栏目已经三個月没更新，却仍占據一級導航，那就是在持續引導蜘蛛往一個空轉的方向走。反過来，如果某個栏目是站点重点，却只能從二級、三級頁面進入，那它的入口就偏少了。
正文里的上下文連結
這是最容易被忽略、也最有價值的一层。文章里提到某個概念、某個相關頁面时，顺手加一條連結，比在頁脚堆一堆無關連結有用得多。自查时可以挑几篇重点文章，看看正文里有没有指向站内相關内容的連結；如果整篇都在指向站外，那站内的连接就断了。
列表、相關推荐與聚合模块
列表頁和相關推荐是批量产生入口的地方，但要注意數量和质量。一個推荐模块塞進二十條連結，其中一半是陈年舊頁，實际效果會打折。建议控制條數，優先放近期更新、和目前頁面主题接近的内容。
頁脚與侧栏
頁脚連結的優势是全站可见，缺点是重复度高、上下文弱。适合放關于我們、联系方式、主要栏目這類必要入口；不适合把几十個标簽頁、城市頁全塞進去，那會让每個頁面都带着一大串低價值連結。
锚文本怎么寫更合适
- 用能說明目标頁面内容的词，比如“内容更新节奏”，而不要一律寫“点击這里”“查看更多”。
- 同一目标頁面不必只用一種寫法，但也不要在同一個頁面里反复用完全相同的锚文本堆指向同一地址。
- 锚文本和落地頁主题要對得上，标题说 A、点進去是 B，訪客和蜘蛛都會困惑。
- 避免大面积使用“關鍵詞精确匹配”的锚文本，讀起来不像人话，也容易顯得刻意。
一份可执行的自查清單
- 導出導航和頁脚的全部連結，逐條確認是否還有存在價值，删掉指向下线頁面的入口。
- 挑出站内最重要的十到二十個頁面，记錄它們分別能從哪些位置進入，以及從首頁出發需要几次点击。
- 检查重点文章正文，补充三到五條指向站内相關内容的上下文連結。
- 抽查相關推荐模块，看是否混入了已下线、已合並或主题無關的地址。
- 查看是否有頁面長期只靠一條連結支撑，考虑在合适的文章或列表里补一個入口。
- 用爬虫工具跑一遍站内連結，重点看断鏈、跳轉鏈和指向重定向地址的連結。
内部連結不是越多越好。一個頁面被两百條連結指向，不代表它表現就更好；入口數量合理、位置自然、主题相關，比單纯的堆量重要得多。
内部連結自查不需要一次做完。建议每隔一两個月，挑一個切入点過一遍：這個月看導航和頁脚，下個月看正文上下文連結。改動之後不用急着看结果，给站内連結结构一点時間沉淀，再回头看抓取和入口分布的變化，判断會更靠谱。