搜尋蜘蛛發現一個新 URL，通常来自几個入口：站内連結、Sitemap、提交渠道，以及站外連結。站外入口常被忽略：当蜘蛛抓取一個已经收錄或经常訪問的外部頁面时，如果该頁面上有指向你站点的标准連結，就會顺着連結把目标 URL 加入待抓取队列。這個入口不保證抓取和收錄，但會影响發現速度與發現范围。

站外連結在發現鏈路里的位置

蜘蛛的抓取是沿着連結走的。一個外部頁面如果本身抓取频率較高，它上面的連結被看到的机會也更大。反過来，一個很少被訪問、長期不更新的頁面，即使放了連結，蜘蛛也可能很久才路過一次。因此，外鏈入口的價值不只取决于連結數量，還取决于承载連結的頁面是否處在活跃的抓取路径上。

需要区分“發現”和“抓取”：蜘蛛從外鏈看到 URL，只完成發現，後面還要排队、解析响應、處理内容。外鏈不能替代站内结构和 Sitemap，它更像是額外的一條路。

哪些外鏈形式容易被跟随

• 标准 a href 文本連結：最直接，蜘蛛能解析並進入队列。
• 图片連結：图片本身是連結时，蜘蛛仍可能跟随，但周邊文本和 alt 有助于理解目标頁面。
• 带 nofollow、sponsored、ugc 属性的連結：通常不传递抓取指令，但仍可能被發現，取决于搜尋引擎實現。
• JavaScript 動態生成的連結：如果連結不在初始 HTML 中，蜘蛛不一定执行脚本後跟随。
• 经過跳轉的連結：中間多一次重定向，會消耗抓取资源，也可能在跳轉過程中丢失入口。
• iframe 或表單按钮：跟随概率低，不适合作為主要發現路径。

外鏈頁面本身要满足的條件

不是把連結放出去就有效。外鏈頁面需要能被蜘蛛正常訪問：robots.txt 不屏蔽、頁面不返回错誤狀態、没有强制登入或驗證碼、主要連結不在脚本渲染之後。如果外鏈頁面本身設定了 noindex 或長期不更新，蜘蛛到訪频率也會下降。

把外鏈当成發現入口时，先检查“蜘蛛能不能走到這個頁面”，再检查“頁面上的連結能不能被解析”。這两步比連結數量更基础。

從服務器日誌核對站外入口

日誌里能看到蜘蛛抓取目标 URL 的记錄，但来源頁面不一定完整。可以通過以下顺序核對：

1. 在日誌中找出目标 URL 的首次抓取時間，對照近期新增的外鏈位置。
2. 检查外鏈頁面是否可訪問，返回碼是否為 200，是否被 robots 屏蔽。
3. 检查目标 URL 的返回碼：200、301、404、410 分別意味着入口有效、入口跳轉、入口失效、入口已移除。
4. 检查目标 URL 的 canonical 是否指向自身，避免蜘蛛發現的是變体地址。
5. 检查站内是否有對應内鏈或 Sitemap 條目，確認外鏈入口不是唯一路径。

如果外鏈很多但目标 URL 迟迟没有抓取记錄，問题可能不在外鏈數量，而在外鏈頁面质量、連結可解析性，或者目标 URL 本身被 robots、登入墙、服務器错誤拦住。

外鏈入口的维護與局限

外鏈會失效：頁面改版、連結被删、站点關閉、跳轉目标變化，都會让這條發現路径断開。已经發現過的 URL 不會因此立刻消失，但如果它没有内鏈和 Sitemap 承接，後續回訪可能减少。因此，外鏈更适合作為补充入口，而不是唯一入口。

日常维護时，可以定期抽查主要外鏈来源頁面的可訪問性和連結形式，把失效或不可跟随的入口记錄下来。站内連結结构、Sitemap 和提交渠道仍然是 URL 發現的基础，外鏈入口解决的是“多一條路”的問题，而不是替代基础建设。