蜘蛛發現一個新地址，绝大多數时候不是靠你提交，而是靠顺着頁面里的連結爬過去。這意味着一個很現實的問题：如果一篇文章在全站范围内没有任何連結指向它，它就只能孤零零地躺在站点地图里等人来捞。我們把這類頁面叫做孤儿頁面。
什么样的頁面算孤儿頁面
判断标准其實很简單：從首頁出發，靠点击連結能不能走到它。走不到，基本就是孤儿。常见的几種形態包括：
- 正文只存在于資料库和站点地图里，没有任何列表頁、相關推荐或導航引用它；
- 曾经有入口，但栏目改版、专题下线後入口被删，頁面本身還在；
- 只在站内搜尋结果里能出現，而搜尋结果頁本身並不适合被大量抓取；
- 标簽頁、聚合頁被清理後，挂在下面的内容頁失去了唯一的入口。
孤儿頁面通常是怎么产生的
大部分孤儿頁面不是故意造成的，而是运营動作的副产品：
- 栏目合並或拆分：舊栏目的列表入口被替換，但没有把舊文章重新挂到新栏目下；
- 批量導入内容：資料直接寫進資料库，没有同步生成入口和分類归属；
- 草稿誤發布：編輯把预览連結放出去，頁面可訪問但没有進入任何列表；
- 改 URL 忘改連結：地址換了，指向它的内鏈却没有跟着更新；
- 過度依赖站点地图：以為提交了 sitemap 就等于有了入口，于是不再關心頁面之間的连接。
為什么值得定期查一次
孤儿頁面带来的损失是双向的。對搜尋引擎来说，這些頁面很难被稳定發現，即使被抓到一次，後續也缺少回訪的理由，更新了内容也不會被及时看到；對用戶来说，它們同样很难通過站内浏览找到，内容做出来却没人讀。更麻烦的是，這類頁面往往數量會随時間累积，等你想清理时已经很难判断哪些该留、哪些该删。
站点地图是清單，内鏈才是路。清單能告诉蜘蛛“這里有個地址”，但不能替它把路铺好。
怎么把孤儿頁面找出来
- 對比站点地图與抓取日誌：把 sitemap 里的 URL 和日誌里出現過的 URL 做差集，長期零抓取的地址優先看。
- 用站内爬虫跑一遍：從首頁開始爬，记錄所有被連結到的地址，再和 CMS 里已發布的文章列表對比，差集就是候選孤儿。
- 检查後台發布狀態：筛出“已發布但分類為空、标簽為空、無任何關联内容”的條目，這類很容易成為孤儿。
- 抽查典型頁面：随机打開几篇老文章，用面包屑和栏目頁往回找，看路径是否還通。
修的时候，優先补真實入口
找到之後不要一股脑塞進站点地图就完事，應该按内容價值分級處理：
- 仍然有阅讀價值的，补進對應栏目的列表頁，或加入同主题文章的相關推荐；
- 有長期價值的，考虑在導航、专题頁或聚合頁里给一個稳定位置；
- 已经過时、没有保留必要的，干脆下线並做好跳轉說明，不要留着一個没有入口的空壳；
- 确實只需要被索引、不适合放在列表里的頁面，再考虑只通過站点地图暴露，但要清楚這類頁面不會获得太多回訪。
把入口检查寫進發布流程
與其每隔半年做一次大掃除，不如把成本摊到每次發布：新内容上线时確認它至少属于一個栏目或标簽；栏目調整时列出受影响的文章清單，逐條確認新入口；刪除聚合頁前先看它引用過哪些内容。這几步不复杂，但能挡住大部分孤儿頁面的产生。
最後提醒一点，孤儿頁面自查的目不是把所有頁面都硬塞進導航，而是让每一篇還打算長期维護的内容，都有一條從首頁出發走得通的路。走不通的内容，要么补路，要么承認它已经不需要了。