頁面進不了索引，很多人第一反應是蜘蛛没来。但蜘蛛得先知道這個 URL 存在，還得有一條路能走到它。如果站内没有任何連結指向某個頁面，它就只能靠外部連結或站点地图被偶然發現，收錄時間往往被拉得很長。
蜘蛛發現 URL 的几條常见路径
首頁通常是抓取的起点，之後沿着導航、栏目頁、列表頁、正文里的内鏈一层层展開。除此之外，外部連結、站点地图，以及別人的轉载引用，也會带来新的 URL。這几條路里，站内連結是唯一你完全可控、而且能持續生效的一條。
孤立頁面通常長什么样
所谓孤立頁面，指的是站内没有可点击連結指向它的頁面。常见的情况包括：
- 頁面只存在于後台或草稿狀態，前端没有入口
- 只提交進了 XML 站点地图，站内没有任何連結
- 連結由 JS 動態渲染，但渲染失敗或需要交互才出現
- 頁面只出現在站内搜尋结果里，不搜尋就找不到
- 活動頁、专题頁下线後没做跳轉，舊連結全部断掉
站点地图不能替代内鏈
站点地图的作用是告诉搜尋引擎這些 URL 存在，但它不传递站内權重，也說明不了頁面的重要程度。只靠站点地图被發現的頁面，抓取優先級通常排在有内鏈的頁面之後。
深层路径：点几下能到
除了有没有連結，還要看路径有多深。如果一條 URL 從首頁出發需要点击五次以上才能到達，它被反复抓取的机會明顯更少。常见的深层頁面包括：多級篩選後的列表頁、逐級展開的分類頁，以及只在某個角落出現一次的詳情頁。
一次可以落地的自查
- 挑出最近没被收錄的十個頁面，逐個检查站内有多少條連結指向它。
- 看這些連結所在的頁面本身是否被收錄、是否被抓取。
- 用抓取工具或日誌確認，蜘蛛在最近一次訪問中是否走到了這些連結。
- 检查從首頁到该頁面的点击距离，超過四次的先想办法缩短。
- 確認關键内鏈是标准的 a 标簽，而不是依赖 JS 或点击事件。
内鏈解决的是能不能被找到，不负责會不會被收錄。頁面质量、重复程度、規范 URL 上的問题，連結补得再多也绕不過去。
内鏈该怎么补
- 在相關文章、上下篇、同分類推荐里给出真實入口
- 用面包屑把詳情頁和栏目頁连起来
- 為聚合頁、标簽頁設定合理入口，但別让它們抢走詳情頁的權重
- 锚文本用與頁面主题相關的词，不要全站统一寫“点击這里”
- 避免在頁脚堆大量無關連結，這類連結權重低且容易被忽略
什么时候该往内鏈方向排查
如果一批頁面長時間停在“已發現，尚未抓取”，或者新上线的詳情頁始终不收錄、而首頁栏目頁正常，可以先查内鏈和路径深度。反過来，如果頁面已经被抓取多次却依然不進索引，重点就不在連結，而在内容與規范設定上。