蜘蛛池里入口頁的數量可以持續增加,但蜘蛛的抓取配額是有限的。如果站内連結没搭好,爬虫很容易在首頁和少數几個入口頁之間来回打轉,剩下的頁面長期没有抓取记錄。内鏈的作用不是堆連結,而是给爬虫一條清晰、稳定、可预期的通路。
内鏈同时服務爬虫和用戶
只考虑爬虫的内鏈通常會長成两種样子:頁脚堆几百個連結,或者正文里塞一堆和主题無關的跳轉。這類做法短期效果不稳定,頁面积累的權重也被摊薄。更稳妥的思路是让内鏈先對用戶有意义——用戶會顺着点的連結,往往也是爬虫愿意跟的連結。
連結层級:三层以内最容易维護
首頁 → 栏目頁 → 詳情頁是最常见的结构。层級越深,蜘蛛到達该頁面需要的跳數越多,抓取频率通常也越低。入口頁本身應当尽量靠近首頁,深层頁面再從入口頁分發出去。
- 第一层:首頁,放少量指向核心入口頁的連結。
- 第二层:入口頁或列表頁,承担主要的分發任務。
- 第三层:具体内容頁,向上回鏈到第二层,形成閉环。
- 超過五层才被点到的頁面,通常要單獨做入口或放進 sitemap。
單個頁面放多少連結
没有硬性上限,但連結越多,每個連結分到的注意力越少。经驗上,正文内的相關連結控制在 5 到 20 個比較自然,導航加頁脚合計再留出几十個的位置。如果某個頁面需要連結上百個地址,更合适的方式是做成分頁或分類頁,而不是把所有連結塞在一屏里。
锚文本:不要全站同一個词
全站指向同一個頁面的锚文本完全一致,是很容易被识別的模式。更自然的做法是让锚文本围绕頁面主题做几種表達:核心词、長尾词、描述性短语各占一部分。同时避免大量使用「点击這里」「更多」這類没有信息量的文字,它對用戶和爬虫都没有帮助。
導航、面包屑與頁脚的分工
這三者的定位並不一样:
- 主導航:指向站点最重要的几個板块,數量少、位置固定。
- 面包屑:告诉爬虫目前頁面在层級中的位置,同时提供一條回到上級的路径。
- 頁脚:适合放全站通用的連結,比如關于、帮助、sitemap,不适合当成第二個導航使用。
孤立頁面與爬行死胡同
孤立頁面指的是没有任何站内連結指向、只能靠外部連結或 sitemap 被發現的頁面。蜘蛛池規模一大,這種頁面很容易在改版或批量生成时冒出来。另一種情况是爬行死胡同:頁面只有出鏈、没有回鏈,蜘蛛顺着走進去後没有繼續爬的路径。定期用站内連結分析工具跑一遍,能比較快地發現這两類問题。
一份可照做的检查清單
- 抽查十個入口頁,確認它們都能從首頁三次点击内到達。
- 检查是否存在只有 sitemap 引用、站内没有連結的頁面。
- 統計同一個目标頁面的锚文本種類,判断是否過于單一。
- 查看頁脚連結數量,超過合理范围就做减法。
- 確認導航和面包屑在所有頁面上都能正常渲染,而不是依赖 JS 才出現。
- 结合抓取日誌,看深层頁面的抓取频次是否明顯低于入口頁。
内鏈調整属于结构性改動,效果需要一段時間才能在抓取日誌里体現。改動後先观察两到四周,再决定是否繼續調整,不建议频繁大改。