蜘蛛發現 URL 的主要途径是連結。同一批連結里，先抓到谁、後抓到谁，除了受抓取预算影响，也和連結本身的呈現方式有關：锚文本寫了什么、連結放在頁面哪個位置、周围文字是否與目标頁主题一致，都會成為判断這個 URL 值不值得優先訪問的參考。
锚文本與上下文提供的是判断依據
搜尋蜘蛛看到的不是一個裸 URL。它會记錄連結的锚文本、連結所在区块的标题、同段落的其他文字，以及連結在 DOM 中的位置。這些信息匯總起来，用于判断目标頁的主题、與目前頁的關系，以及是否需要尽快抓取。描述越清楚，判断成本越低；描述越模糊，蜘蛛只能依赖其他入口或 Sitemap 来补足。
常见的三類锚文本問题
- 空锚文本或纯图标連結：導航按钮只用图标、图片連結没有 alt 與 title，蜘蛛能發現 URL，但难以判断主题。
- 通用词锚文本：“点击這里”“了解更多”“詳情”大量重复，無法区分不同目标頁，同類頁面容易在抓取队列中互相竞争。
- 锚文本與目标頁主题不符：锚文本寫着“教程”，落地頁却是产品頁，或反過来。目标頁首屏内容與連結语义偏差過大时，這個入口的可信度會下降。
連結位置影响發現顺序
同一頁面上，不同位置的連結被處理的先後通常不同。经驗顺序大致是：主導航與面包屑、正文首屏内鏈、正文中後段内鏈、侧栏與頁脚。這不是绝對規則，但如果重要栏目只出現在頁脚，等于把它放在了發現鏈路的末端。
按位置做入口分层
- 核心栏目：放進主導航或面包屑，保證每個頁面都能稳定触達。
- 重要内容：在正文首屏自然出現一次，並配具体锚文本。
- 批量頁面：通過列表頁、标簽頁、聚合頁串联，不要在頁脚堆几百條連結。
- 頁脚連結：留给合規、帮助類頁面，不承担主要發現职责。
逐條核對清單
- 抓取日誌里，重要目錄的首次抓取時間是否明顯晚于導航目錄。
- 核心頁面除 Sitemap 外，是否存在至少一條来自正文或導航的入鏈。
- 同一目标頁的锚文本是否過于分散，或全部是通用词。
- 图片連結是否有可被解析的文字描述，而不是只有 src 属性。
- JS 渲染出来的連結，在原始 HTML 中是否完全缺失。
- 内鏈指向的 URL 是否與 canonical、Sitemap 中的寫法一致。
用日誌驗證，別靠感觉調整
改完锚文本與内鏈位置後，不宜只看一两天。以周為單位观察服務器日誌中目标目錄的抓取次數、首次抓取時間、狀態碼分布，再與調整前對比。如果抓取次數没有變化，說明入口鏈路本身不是瓶颈，問题可能在响應速度、頁面体积或 robots 規則上。
锚文本與内鏈位置解决的是“蜘蛛能不能看懂、能不能先看到”的問题，它不承诺收錄，也不承诺排名，只是把被發現和被正确理解的概率抬高一点。