先分清两個阶段：發現和抓取
收錄鏈條大致是這样的：發現 URL、排入抓取队列、完成抓取、再判断是否编入索引。很多“一直不收錄”的頁面，其實卡在最前面一步。如果抓取日誌里查不到這個 URL 的任何請求记錄，說明它没有被發現，而不是被抓取之後被淘汰。這两種情况的處理方式完全不同：前者要补入口，後者要看抓取预算和頁面本身的质量。
所以核對的第一步不是改内容，而是先確認這個 URL 到底有没有被抓過。
内鏈是最稳定的發現路径，sitemap 只是补充
搜尋引擎發現 URL 的方式有很多，但最稳定、最持續的仍然是站内連結。sitemap 能帮忙發現，但它更像一份提交清單，不决定抓取優先級。一個從首頁点三下就能到達的頁面，通常比只出現在 sitemap 里的頁面更容易排進抓取队列。這也解释了一個常见現象：同一批新建的詳情頁，有内鏈的那部分先被收錄，剩下的迟迟没有動静。
核對顺序
- 確認抓取记錄。在服務器日誌里按 URL 路径搜尋，看有没有来自搜尋蜘蛛的請求。一條都没有，就是發現环节的問题；有记錄但只有一两次，可能是抓取後判断不值得保留。
- 找出所有指向它的入口。除了導航和列表頁，還要看相關推荐、上一篇/下一篇、标簽頁、专题頁這些位置。注意区分真正的 a 标簽連結和只寫了文本的 URL，後者通常不构成入口。
- 數一下点击层級。從首頁出發到目标頁最少需要几次点击。如果只有通過搜尋框、站内搜尋或者表單才能到達，那基本可以当作没有入口。
- 检查列表頁和分頁。不少内容其實躺在栏目的第二頁、第三頁之後，而分頁連結本身又是用按钮或者無限滚動實現的，没有可抓取的連結。這種情况下，深层内容會整体“消失”。
- 看連結是不是渲染後才出現。如果入口由 JavaScript 在客戶端注入，先確認原始 HTML 里是否包含連結。渲染後的連結有机會被發現，但稳定性和效率都不如直接輸出。
- 最後再看 sitemap。確認目标 URL 是否在 sitemap 中、格式是否規范、有没有被 robots.txt 挡住。這一步是补漏，不是主力手段。
补内鏈时容易踩的坑
- 把大量連結堆在頁脚，頁脚連結的權重和可信度都有限，短期看不出效果。
- 锚文本统一寫成“点击這里”“了解更多”，對判断頁面主题几乎没有帮助。
- 给入口連結加了 nofollow，等于主動放弃了這條發現路径。
- 一批孤立頁面互相連結，形成一個小圈子，仍然没有连回主站结构。
- 為了补内鏈，在正文里硬塞不相關的連結，最终影响的是阅讀体驗和頁面质量。
有些頁面不值得补内鏈
补入口之前，先問一句：這個頁面單獨存在有没有價值。如果它只是篩選结果的组合、與另一個頁面内容高度重合、或者信息量极低，那更合理的做法是合並、下线或者做規范化處理，而不是硬把它推给搜尋引擎。硬推上去的頁面，即便被抓取，也可能因為质量原因停留在索引之外，反而增加维護成本。
小结
頁面不被收錄，先別急着改标题和正文。按“日誌有没有抓取记錄、有没有真實内鏈入口、点击层級是几跳、列表頁是否輸出連結、連結是否依赖渲染、sitemap 是否完整”這個顺序走一遍，多數孤儿頁面的断点都能定位到具体位置。
發現是收錄的前提。一個找不到入口的 URL，内容再好也不會自動進入抓取队列。把入口补齐，往往比反复修改頁面本身更有效。