蜘蛛發現新 URL 的主要途径還是連結。站点地图和主動推送能提供一份清單，但决定蜘蛛會不會持續来、愿意走多深的，通常是頁面之間的連結關系。所以当一批頁面迟迟不進索引时，先把内鏈结构過一遍，往往比反复提交更有效。
蜘蛛靠連結走路
從首頁出發，沿着可抓取的 a 标簽往下走，能到達的頁面构成了站点的“可發現集合”。如果一個頁面只出現在 XML 站点地图里，没有任何站内連結指向它，它就成了孤岛頁面。孤岛頁面不是不能被抓到，而是抓到一次之後，蜘蛛缺少再次訪問的路径，後續更新也很难被及时發現。
還有一種情况同样常见：連結寫在了頁面上，但位置很深，或者被折叠在需要交互才展開的模块里，抓取端拿到的 HTML 中並没有這條連結，效果上等同于不存在。
孤岛頁面的几種常见成因
- 列表頁只保留最新几頁，舊内容翻不到，也没有归档或時間维度的入口；
- 内鏈由前端脚本渲染，抓取端拿到的 HTML 里没有對應的 a 标簽；
- 相關推荐、猜你喜欢這類模块，只在部分用戶路径下才出現；
- 专题頁、活動頁下线後没有做跳轉，連結断在中間；
- 導航和面包屑只有分類层級，缺少回到上一級或索引頁的入口。
点击深度：一個可以自查的指标
從首頁算起，点到某個頁面需要几次跳轉，就是它的点击深度。這里没有硬性标准，但经驗上，重要内容控制在三到四次点击以内比較稳妥；越深的頁面，被反复抓取的机會通常越少。
- 挑二十個左右迟迟未收錄的頁面，列出它們的 URL；
- 從首頁開始，只点頁面上肉眼可见的連結，看能不能走到目标頁；
- 记錄走不到的頁面，以及需要五次以上点击才能到達的頁面；
- 检查這些頁面上游的列表頁、分類頁本身是否已被收錄；
- 如果上游頁面自己都没進索引，先解决上游，再谈下游。
内鏈不是越多越好
堆量式的全站互鏈，效果通常有限。更有用的是相關性：同一主题下的頁面互相連結，锚文本能把目标頁讲什么说清楚，讀者顺着点也说得通。同一批連結不加区分地出現在每個頁面底部，容易被当成模板，抓取價值和传递作用都會被摊薄。
可以顺手做的几件事
- 在正文里给關键概念加上指向對應詳情頁的連結，而不是只在文末堆一排；
- 分類頁、标簽頁保留“查看全部”之類的入口，別让分頁把内容埋掉；
- 面包屑保持层級完整，並且每一級都能点回上一級；
- 定期清理 404 和失效連結，別让蜘蛛顺着一堆断鏈空跑一趟。
調整之後怎么驗證
改完内鏈不用急着下结论，可以观察几個信号：服務器日誌里，目标目錄的抓取次數有没有變化；站点地图中的“已發現、尚未抓取”數量是否下降；新頁面從發布到首次被抓的間隔是否缩短。這些趋势比單個頁面的收錄狀態更能說明结构有没有改善。
内鏈解决的是“蜘蛛能不能找到、愿不愿意再来”的問题，它並不保證頁面一定被索引。内容本身是否值得收錄、重复程度高不高，仍然是前提。
把内鏈当成一條路来修，而不是一個開關来按。路修通了，蜘蛛来不来、来几次，是後面的事。