有些頁面内容做得不错,但在站内几乎找不到入口,只能靠 sitemap 或外鏈被蜘蛛發現。這類頁面就是常说的“孤岛頁面”。蜘蛛在站内爬行时,主要靠頁面上的可点击連結繼續發現新 URL。如果内鏈结构没做好,蜘蛛池或主動推送能帮上一点忙,但没法替代站内入口。
孤岛頁面為什么會出現
常见原因有几個:新内容發布後没有挂到栏目頁或相關推荐;舊内容改版时連結被删;标簽、归档只展示部分文章;分頁或篩選地址吃掉了入口;開發环境或測試路径留下了可訪問頁面。對蜘蛛来说,没有站内連結指向,這個 URL 的發現路径就断了。
先找出没有站内入鏈的頁面
可以用一份站内 URL 清單做基础,比如 Sitemap、資料库、日誌中已抓取的地址,然後逐個检查是否有站内頁面連結到它。手動检查适合小站,大站可以借助爬虫工具,把“只有出鏈没有入鏈”的頁面筛出来。也可以模拟蜘蛛從首頁出發,看哪些重要頁面点不到。
- 重点看栏目頁、专题頁、产品頁和近期更新的文章。
- 区分“真孤岛”和“入口很深”:完全無入鏈比点击次數多更嚴重。
- 注意連結是否可被蜘蛛抓取:有些入口是按钮或脚本跳轉,蜘蛛可能不执行。
内鏈要放在有意义的位置
内鏈不是越多越好。正文中顺着语义插入的連結,通常比頁脚、侧栏的全站連結更有參考價值。锚文本尽量自然描述目标頁主题,比如“站点日誌排查方法”比“点击這里”“更多”更清楚。同一篇内容里不要反复用完全相同的锚文本指向不同頁面,也不要把關鍵詞硬塞成連結。
導航、面包屑和聚合頁的分工
主導航负责把重要栏目暴露出来;面包屑告诉蜘蛛目前頁面在什么层級;标簽頁、归档頁、相關推荐可以给舊内容补充入口。但聚合頁本身如果只靠參數拼接,或者内容太杂,反而會分散抓取。建议让聚合頁有獨立價值,比如按主题整理、有摘要和篩選規則,而不是把所有 URL 都堆上去。
控制連結深度,给新内容留入口
重要頁面尽量在三次点击内可達。首頁、栏目頁、专题頁、相關文章模块都是常见入口。新内容發布後,可以從同主题舊文章、栏目列表、站内推荐位给一两個連結,不需要全站铺。每次更新顺手补内鏈,比一次性大規模調整更容易坚持。
一份可执行的自查清單
- Sitemap 中的每個重要 URL,是否至少有一個可点击的站内入鏈?
- 是否存在只有外鏈或 sitemap 才能到達的孤岛頁面?
- 内鏈是否使用可抓取的 a 标簽,而不是 JavaScript 跳轉或表單按钮?
- 锚文本是否自然、有区分度,没有過度堆砌?
- 站内是否有失效連結或错誤重定向,導致入口断掉?
- 站内搜尋頁、篩選頁、分頁是否产生大量低價值連結?
- 新内容發布後,是否能在栏目頁或相關推荐中出現?
別把内鏈做成低质蜘蛛池
有人為了增加抓取,用蜘蛛池或大量互鏈制造入口。短期可能看到蜘蛛訪問變多,但如果連結頁面质量差、内容無關,對站点结构没有帮助,還容易让蜘蛛把抓取预算花在低價值地址上。内鏈首先服務用戶浏览,其次才是帮助蜘蛛發現 URL。两者方向一致时,结构才稳定。
定期复查孤岛頁面,發布新内容时顺手补一两個上下文内鏈。蜘蛛池、推送和 Sitemap 都是辅助,站内入口清楚,URL 發現才會更顺。