很多站点的問题不是蜘蛛来得少，而是頁面压根没被蜘蛛走到。一個頁面在服務器上能正常打開、返回 200，却几個月都没出現在索引里，常见原因是没有任何一條站内連結指向它，也就是所谓的孤岛頁面。搜尋引擎發現 URL 的顺序，通常是先有已知入口，再顺着連結一路爬過去。
頁面被發現的几條路
搜尋引擎知道一個 URL 存在，大致有這几種途径：
- 站内連結：導航、列表頁、正文、相關推荐，這是最主要的發現路径，也决定了頁面多久被訪問一次。
- XML sitemap：告诉搜尋引擎哪些 URL 存在，但它更像一份候選名單，不等于會被抓取。
- 外部連結：別的站点鏈過来，蜘蛛顺着進来。
- 站長主動提交：部分搜尋引擎提供接口，能缩短等待時間，但依然要先過抓取和质量這一關。
sitemap 和主動提交解决的是“知不知道”，内鏈解决的是“走不走得到、多久走一次”。两者缺一，都會拖慢收錄节奏。
孤岛頁面常见的几種样子
- 新栏目、专题頁只挂在 sitemap 里，站内没有入口，導航和列表里都翻不到。
- 正文里提到的舊文章没有加連結，用戶只能靠外部搜尋才能進去。
- 列表頁只保留上一頁和下一頁，早期内容被一頁頁推遠，最终無人指向。
- 改版後舊連結變成 404 或跳轉鏈断掉，原本的内鏈入口直接消失。
- 入口都在，但全部挂上了 nofollow 属性，等于没接。
怎么把自家站里的孤岛找出来
- 拿頁面里一段獨特的句子或标题，用站内搜尋加關鍵詞的方式，看能不能被翻出来。
- 查服務器日誌，看這個 URL 最近有没有被蜘蛛訪問過，上一次是多久之前。
- 用站点爬虫工具跑一遍全站，看哪些 URL 只能靠 sitemap 找到，站内没有任何連結指向。
- 看站内搜尋词和点击資料，長期零入口又有人找的頁面，優先處理。
把入口接上：几個實际做法
内鏈的目的不是多塞几個連結，而是让重要頁面有稳定、站得住的入口。
- 给栏目頁和专题頁在主導航或二級導航放固定入口，不要只在首頁出現一次就完事。
- 正文里提到相關内容时顺手加連結，锚文本寫清楚對方讲什么，別一律用“点击這里”。
- 相關推荐控制在几條以内，選真正相關的，不要做成全站随机抓取。
- 列表頁保留通往舊内容的路径，比如按時間归档或分類入口，別让翻頁把内容埋掉。
- 改版时把舊内鏈一並處理，能跳轉就跳轉，尽量不要留下大量 404。
几個容易踩的坑
頁脚堆几十上百條連結、每篇文章底部挂满全站最新，看起来入口很多，實际每個連結分到的關注很薄，也容易被判定為模板連結。另外，導航层級设計得過深，會让真正的内容頁面离首頁越来越遠，蜘蛛每次都得绕很久才到得了。
内鏈是同时给蜘蛛和用戶看的路线图。路线清楚，收錄是自然结果；路线混乱，再勤快地提交也补不上。
最後提醒一点：内鏈解决的是發現和抓取，不负责让頁面必然進索引。頁面本身内容重复、没有實际價值，即使被爬到，也可能停在已抓取，目前未收錄的狀態。把入口接好，同时把内容做扎實，两件事一起做才有意义。