蜘蛛發現新 URL，主要靠站内已有的連結。連結本身是路径，而連結上的文字和它周围的内容，則是蜘蛛理解這個 URL 的线索。很多站点把注意力放在提交 Sitemap 上，却忽略了内鏈里這两條最直接的信号。
锚文本：蜘蛛讀到的第一层线索
锚文本就是連結上可点击的那几個字。蜘蛛抓取頁面时，會把锚文本和目标 URL 關联起来。它不是排名開關，但能帮助蜘蛛判断目标頁大致讲什么，以及這個連結是否值得跟進。
- 具体描述：如“抓取日誌排查步骤”，比“点击這里”更能說明目标頁内容。
- 泛词：大量“更多”“詳情”“查看”會让蜘蛛难以区分不同 URL 的主题。
- 裸 URL：可讀性差，但至少能传递地址信息，适合临时或工具類連結。
- 图片連結：蜘蛛主要依赖 alt 文本，alt 為空时线索會變弱。
不需要為了關鍵詞刻意堆砌锚文本。自然、准确、和上下文一致，比重复某個词更有用。
周邊文字：連結所在段落的上下文
蜘蛛不只看锚文本，還會把連結前後的句子纳入理解。一段介绍“服務器返回 503 时如何检查”的文字里放一個連結，比孤零零一行連結更容易让蜘蛛判断目标頁的主题。
如果一段文字里放了多個連結，蜘蛛仍會分別處理，但上下文越模糊，連結目标之間的区分度就越低。把相關連結放在同一主题段落里，通常比全站随机散落更清晰。
連結位置也會影响抓取顺序
同一批 URL，放在正文里的連結往往比頁脚、侧栏的連結更容易被優先處理。頁脚全站連結數量大、重复度高，蜘蛛虽然會走，但不會把每個頁脚連結都当成新發現。重要頁面尽量從正文或栏目頁给出入口。
内鏈结构：给蜘蛛一條能走通的路
内鏈不是越多越好，而是路径要通。蜘蛛從首頁出發，沿着連結一层层走，如果某個重要頁面只有孤零零一個入口，或者入口藏在深层頁里，發現速度就會慢下来。
- 首頁或核心栏目頁保留重要頁面的入口，避免只靠 Sitemap 兜底。
- 新頁面發布後，從内容相關的老頁面加一條正文連結，比只在頁脚加連結更有效。
- 列表頁和詳情頁之間保持稳定連結，不要全部依赖 JS 点击後才生成。
- 定期检查孤岛 URL，看看是否有頁面没有任何内鏈指向。
連結可抓取性：別让线索断在中間
锚文本和上下文寫得再好，如果連結本身抓不到，蜘蛛也走不過去。常见断点包括：連結由 JS 事件生成、a 标簽缺少 href、被 robots.txt 屏蔽、nofollow 属性誤用、以及多次重定向後落地地址不可達。
- 用 a 标簽加 href，是最稳妥的寫法。
- nofollow 只用在确實不想传递抓取信号的連結上，不要全站滥用。
- 重定向鏈路尽量短，避免循环或跳到已刪除頁面。
- 連結指向的 URL 返回 200，且内容與锚文本描述一致。
用日誌驗證内鏈是否被走到
内鏈改完後，可以看服務器日誌里蜘蛛的訪問路径：新 URL 是否在發布後几天内出現，来源頁面是哪一個，返回狀態碼是什么。如果長時間没有出現，先检查入口頁是否被抓取、連結是否可解析、以及是否被規則挡住。
内鏈優化的目标不是让蜘蛛立刻抓完所有頁面，而是让它在有限的抓取次數里，更容易走到真正重要的 URL 上。锚文本、上下文和連結位置三者一致时，蜘蛛的判断成本最低。