搜尋引擎處理一個 URL，通常要经過發現、抓取、索引三個阶段。抓取和索引的問题容易被讨论，發現這一步反而常被忽略：如果一個頁面在整站里没有任何一條可抓取的連結指向它，它就只能靠 sitemap 或外鏈被知道，而這種被知道的强度，和從站内正常連結進入的頁面並不在一個量級。
孤岛頁面一般是怎么形成的
孤岛往往不是刻意做出来的，多數是运营過程中自然产生的。
- 活動专题頁上线时挂在首頁，活動結束後入口被撤，URL 還留在服務器上；
- 文章只在列表頁第一頁出現過，後来被新内容挤到很深的分頁後面，甚至改版後不再展示；
- 頁面只寫進了 sitemap 文件，站内没有任何連結指向；
- 連結是 JS 執行时插入的，服務端返回的 HTML 里看不到；
- 只有外部站点鏈進来，站内從不引用；
- 内容需要登入、提交表單或点击某個按钮之後才會生成。
sitemap 能不能顶替内部連結
不能完全顶替。sitemap 的主要作用是告诉搜尋引擎這些 URL 存在，它解决的是發現問题，不解决這個頁面對站点来说重不重要。一個只能從 sitemap 被發現的頁面，通常抓取频率更低，内容更新後被發現的時間也更長。真實的内鏈除了提供路径，還带着上下文信息：它位于哪個栏目、周围是什么内容、用什么文字描述，這些都會影响搜尋引擎對這個頁面主题的判断。
sitemap 是补充入口，不是主入口。把唯一入口放在 sitemap 上的頁面，等于把發現權交给了文件更新時間。
补鏈的几種實际做法
- 在相關内容的正文里加自然連結。連結出現在正文中，上下文清晰，也最容易被跟随；
- 让栏目頁、标簽頁或聚合頁收錄入口，使頁面至少有一個稳定的上級路径，而不是只在时效性列表里出現；
- 检查導航和面包屑。层級不一定要浅，但路径要固定，不要因為改版就断掉；
- 相關阅讀、推荐模块可以用，但別让所有頁面都指向同一批 URL，那會變成新的集中化問题；
- 如果站内實在没有合适的引用位置，外部連結也能提供一條發現路径。
怎么確認站内确實有孤岛
几種方式可以互相印證：
- 用站内爬虫工具跑一遍全站，看有多少 URL 只能通過 sitemap 到達，或者根本没有入鏈；
- 查看服務器抓取日誌，某些 URL 是否從未出現過蜘蛛請求；
- 對比 sitemap 里的 URL 數量和實际被爬取過的 URL 數量，差額明顯就值得排查；
- 抽查重要頁面：從首頁入口開始点，看能否在三次点击内到達。
补鏈之後看什么
补鏈不會立刻带来收錄。合理的观察顺序是：日誌里先出現對该 URL 的抓取請求，再看索引狀態是否從已發現轉為已抓取，最後才是是否進入索引。這個過程可能几天，也可能几周，取决于站点整体抓取频率和頁面本身的质量。如果补鏈後很久日誌里仍然没有請求，優先检查是不是被 robots.txt 挡住、連結本身是渲染後才出現的，或者這個 URL 在站点里仍處于不被信任的狀態。
最後一点：孤岛頁面往往不只是發現問题。一個長期没有任何内部引用的頁面，通常也缺少维護，内容陈舊、信息過时。补鏈之前先判断這個頁面值不值得留，不值得的直接下线或合並，比硬给它找入口更省事。