收錄的第一步不是“被收錄”，而是“被發現”。蜘蛛要先把 URL 放進待抓队列，才有後面抓取、解析、索引這些事。而绝大多數 URL 的發現来源，是站内連結。内鏈结构没铺好，頁面就很容易變成孤岛：内容没問题、狀態碼也正常，但迟迟排不進抓取队列。
什么样的頁面算孤岛
孤岛不是指頁面完全没有任何連結，而是指站点没有给它一條稳定、可重复走到的路径。常见的有几類：
- 只有 sitemap 知道它存在，站内任何可点击路径都到不了；
- 只在一篇很久以前的内容里出現過一次，後来那條連結被替換掉了；
- 只出現在分頁很深的位置，比如列表第 20 頁之後；
- 只能通過搜尋框或表單跳轉，地址不寫在 HTML 里；
- 只從外鏈或有參數的推廣連結進入，站内始终没有指向。
這類頁面對搜尋引擎来说並非不存在，而是“優先級很低”。当抓取配額有限时，它們通常排在後面。
連結深度：從首頁点几次能到
可以用一個很土但有效的办法自检：從首頁出發手動点連結，记錄到達目标頁需要几次点击。多數站点把重要内容控制在三到四次以内比較稳。超過五层，尤其是還要穿過若干篩選頁、分頁頁才能抵達，抓取優先級會明顯下降。
深度本身不是硬指标，關键在于有没有一條短路径。深度大但能從栏目頁直達的頁面，通常比“深度浅但入口是浮動推荐位”的頁面更稳定。轮播、随机模块、個性化推荐這類入口，今天有明天没，不算可靠路径。
内鏈要补的三件事
- 给每個頁面至少一個固定入口。栏目頁、专题頁、相關阅讀、上一篇下一篇，挑一個稳定的位置挂上去，而不是依赖算法推荐位。
- 让入口真的可点击。用 a 标簽，href 寫真實地址；不要只用 onclick 或脚本跳轉，也不要把關键連結塞進图片和按钮里。
- 控制規模，別把整站倒進頁脚。頁脚挂几千條連結，每個頁面分到的關注度都被稀释，等于没有重点。
怎么排查孤岛
比較省事的做法是三方對照：一份是自己整理的 sitemap 或 URL 總表，一份是爬取工具跑出来的站内連結图，一份是蜘蛛日誌里的實际来訪记錄。
- sitemap 里有、爬虫爬不到：基本可以確認是内鏈問题；
- 爬虫能爬到、日誌里從未出現：入口可能太深，或被 robots、nofollow 挡住；
- 日誌里有、但出現時間很晚：属于優先級靠後，可以先补一條短路径再观察。
几個容易踩的誤区
誤区一：sitemap 能替代内鏈。sitemap 解决的是“告诉你有這個 URL”，但蜘蛛仍會依據站内連結判断頁面在站点里的位置和重要性，两者作用不同，不能互相顶替。
誤区二：同一頁面挂的連結越多越好。連結质量比數量重要。几十條来自同一模板、同一区块的重复連結，實际效果约等于一條。
誤区三：加了 nofollow 就当没事。nofollow 會让蜘蛛减少跟進，被 nofollow 包住的頁面，通常很难靠這條路径被發現。
内鏈不是為了让每個頁面都被收錄，而是让该被發現的頁面有一條稳定、可重复走到的路。先做完這一步，再谈抓取效率、内容质量和索引取舍才有意义。