一個連結能不能被蜘蛛顺着走下去,href 只是入场券。真正影响它判断的,是連結本身携带的信息:锚文本寫了什么、周围一段文字在讲什么、這個連結出現在頁面的哪個位置。這些信号叠加起来,蜘蛛才能大致判断目标頁面值不值得抓、抓走之後该归到什么主题里。
锚文本是連結最直接的說明
锚文本相当于给目标頁面寫的一句简介。蜘蛛會把它和目标頁的标题、正文做比對,一方面理解目标頁在讲什么,另一方面判断這個連結是不是一個正经入口。
- 描述性锚文本:寫清楚目标頁的主题,比「点击這里」「更多」更有信息量。
- 泛词锚文本:全站導航里用「詳情」「查看」可以接受,正文里的連結最好具体一点。
- 完全匹配堆砌:同一個關鍵詞在大量内鏈里反复出現,看起来像刻意優化,反而模糊了頁面之間的真實關系。
- 锚文本與目标頁不符:連結寫着 A 主题,落地頁却是 B 主题,蜘蛛和用戶都會绕一下。
同一個目标頁在不同頁面被鏈到时,锚文本不必完全统一,但最好围绕同一主题。如果 A 頁面叫它「日誌分析」,B 頁面叫它「資料看板」,C 頁面叫它「监控面板」,蜘蛛需要花更多力气才能確認這些说的是同一個東西,連結的信号也就被分散了。
連結周围的文字與位置
上下文的作用
蜘蛛解析一篇文章时,會把連結前後的句子一起讀。如果一段话在讲「如何配置服務器缓存」,紧跟着一個指向缓存配置文档的連結,這個連結的意图就很清楚;同样的連結放在頁脚随机推荐里,信号就弱很多。
位置带来的差异
同一批連結出現在不同区域,被走到的概率並不相同:
- 正文内部的連結,语境最完整,通常最先被走到。
- 導航和栏目頁連結,覆盖面广但语境弱,主要承担通道作用。
- 侧栏、頁脚、相關推荐里的連結數量多,單個連結容易被稀释。
- 彈窗、悬浮层、需要点击才展開的模块,蜘蛛未必會触發。
几種容易被忽略的連結形態
- 图片連結:没有文字锚文本时,alt 和图片周围的文字就成了替代說明,別留空。
- 按钮式連結:用 span 加点击事件實現的「按钮」,對蜘蛛来说只是文字,不是一個入口。
- JS 渲染出来的連結:需要执行脚本才會出現的内鏈,能否被走到取决于渲染是否成功,重要路径最好保留在初始 HTML 里。
- 聚合類連結:标簽頁、专题頁動辄列出几十上百條連結,可以保留,但不要让它成為通往核心内容的唯一通道。
寫内鏈时比較稳妥的做法
- 核心頁面至少從一到两個正文段落里被鏈到,而不是只出現在頁脚。
- 锚文本尽量和目标頁标题、主题保持一致,避免同一個目标頁出現十几個互不相關的说法。
- 不要為了增加連結數量,把正文寫成關鍵詞列表。
- 新增内容上线後,從已有相關頁面补一條自然的内鏈,比等着蜘蛛自己發現更快。
- 定期检查重要頁面是否出現過「入口全在導航、正文里一條連結都没有」的情况。
锚文本和上下文能帮蜘蛛理解連結,但並不能保證它一定抓取。它更像是在告诉蜘蛛「這里通向什么」,剩下的仍然取决于目标頁能否正常訪問、站点整体抓取节奏等因素。
一個简單的自查方式
挑几個你希望被频繁抓取的頁面,去看看到底有哪些内鏈指向它們:锚文本是什么、出現在哪個区域、周围在讲什么。如果答案只是「頁脚里有一個相關阅讀」,那這條路径對蜘蛛来说确實太單薄了。把它补進正文语境里,路径會更清晰,用戶点進来的概率也更高。