蜘蛛發現 URL，靠的是顺着連結一步步走。但一條連結摆在面前，它不一定就跟。除了 nofollow、robots.txt 這類硬性規則，還有一批软性线索在起作用：锚文本寫了什么、連結放在頁面的哪個位置、周围的段落说了什么。這些线索不构成規則，却會影响蜘蛛對“這個目标值不值得抓”的判断。
锚文本是目标頁的第一份简介
锚文本是最容易被忽略的抓取信号之一。它出現在来源頁，描述的却是目标頁。当蜘蛛從一個頁面讀到一個連結，锚文本基本等同于對目标頁的一句话概括。
锚文本與目标頁主题要對得上
如果锚文本寫“價格表”，点進去却是产品介绍，蜘蛛拿到的描述和目标頁實际内容不一致，這類連結在後續安排抓取时容易被降級。反過来，連結文字與目标頁标题、H1 语义接近，蜘蛛更容易判断這是正文相關的引用，而不是導航或广告位。
別让全站锚文本長得一样
同一目标頁在很多頁面被連結，是好事；但如果每個位置都用完全一样的锚文本，来源頁之間就没有提供額外信息。可以在不同语境下使用语义相近的表述，比如“抓取日誌怎么看”“分析服務器日誌”，都指向同一篇内容，這對蜘蛛理解頁面覆盖面是有帮助的。
連結出現的位置，權重不一样
頁面里不同区域的連結，被對待的方式不同。這是長期观察中反复驗證的经驗，不是官方公開的規則，但對抓取顺序的安排有實际影响。
- 正文段落内：通常被認為與内容主题關系最紧密，蜘蛛跟進的意愿最高。
- 面包屑與主導航：數量有限、结构固定，主要用来確認站点层級，不是深度發現的主要通道。
- 侧栏與頁脚：全站重复出現，蜘蛛很快就能判断這是模板区域，新連結從這里被發現的概率較低。
- 文末的相關推荐：位置靠下，但如果推荐内容和正文相關，仍常被跟進。
所以，一個真正重要的新頁面，最好放在正文里被提到，而不是只挂在頁脚或侧栏的列表里等蜘蛛路過。
上下文段落替連結做解释
連結前後的一段话，會被一起讀取。它帮助蜘蛛判断這個連結是什么性质：是推荐阅讀、是資料来源，還是广告合作。
一條連結周围的文字，有时候比連結本身更能說明它值不值得被抓。
举例来说，一段话在讲“我們統計了最近三個月的抓取日誌，發現……”，後面挂一條日誌分析的連結，前後语义连贯，属于自然引用。如果一段不相干的文字里硬塞一個連結，蜘蛛虽然還是會看到，但能获得的上下文信号就弱得多。
内鏈數量與深度要有节制
有人會在一篇文章里放几十條内鏈，希望能带出更多 URL。數量本身不是問题，問题是這些連結是否都在正文里有存在的理由。過度堆叠會让頁面主题變得模糊，蜘蛛难以判断這個頁面本身在讲什么，来源頁的價值下降之後，它带出的連結價值也會跟着下降。
另一種做法是把連結集中指向首頁和几個重点頁，其他深层頁面拿不到入口。更稳的做法是按主题分层：文章鏈向栏目頁，栏目頁鏈向詳情頁，让蜘蛛每一步都能前進到新的层級。
可以照着做的几件事
- 检查重点新頁面，看它是否至少被一篇正文内容自然地連結到，而不是只出現在導航或頁脚。
- 翻一遍目标頁的外鏈锚文本，把“点击這里”“了解更多”這類無指向性文字換成能說明内容的表述。
- 让同一目标頁在不同来源頁获得略有差异的锚文本，覆盖它可能被搜尋的不同说法。
- 控制單頁内鏈總量，删掉那些為了放連結而存在的句子。
- 梳理一次從首頁到最深层頁面的点击路径，看看中間有没有断開或者绕遠的地方。
這些线索不會立刻生效
锚文本、連結位置、上下文段落都属于软性信号，它們不會像 robots.txt 那样一刀切地决定抓或不抓，而是慢慢影响蜘蛛對連結價值的判断。所以調整之後，需要在抓取日誌里持續观察一段時間，看新連結是否真的開始被跟進、抓取频率有没有變化，再决定下一步怎么調。把内鏈当作長期结构来维護，比一次性批量加連結更接近蜘蛛的行為方式。