有些頁面内容不算差，却長期没有自然流量，翻日誌會發現蜘蛛几乎没来過。原因往往不是被規則拦住，也不是服務器不稳定，而是這個頁面在站内没有任何入口，只能靠 sitemap 或外鏈被偶然發現。這類頁面通常被称為孤儿頁面。它不會立刻引發故障，但會慢慢脱离站点的内容網絡：用戶在站内点不到，蜘蛛也很难判断它的價值。
哪些頁面最容易變成孤儿
- 新建後只提交了 sitemap，却忘记挂進栏目列表或相關内容模块；
- 栏目調整时列表被刪除，稿件本身還留在原目錄下；
- 专题頁、活動頁只在首頁横幅上线期間被連結，横幅撤下後入口归零；
- 分頁翻到很後面的列表頁，只被上一頁的“下一頁”指向，爬到中途鏈條就断了；
- 标簽頁、聚合頁只由站内搜尋或篩選结果带出，没有固定入口；
- 改版删掉舊導航，却没有為舊路径补上新的入口或跳轉。
自查可以按三個方向做
1. 從抓取日誌里找“只有自己”的頁面
把日誌中的 URL 按“被哪個站内頁面連結”這個维度反查，也可以用爬虫工具抓一遍全站，看哪些 URL 從未作為連結出現。如果一個頁面在一段時間里只有蜘蛛直接訪問，站内没有其他頁面指向它，基本可以判定入口缺失。
2. 用鼠标走一遍站内路径
從首頁出發，只靠点击、不靠搜尋，看能不能到達目标頁。需要三次以上跳轉，或者必须依赖站内搜尋才能找到的内容，實际获取难度已经很高，蜘蛛的抓取频次通常也會越来越低。
3. 統計入口數量與入口质量
- 有多少個頁面連結到它；
- 這些頁面本身是否被抓取、是否處在容易被訪問的位置；
- 連結用的是描述性锚文本，還是“点击這里”“更多”之類。
確認是孤儿頁面之後怎么處理
- 补入口：放回對應栏目列表，或在同級内容、相關内容模块里加連結，锚文本寫清楚主题；
- 合並：與已有頁面高度重复时，合並到主頁面並做 301；
- 下线：確認没有保留價值，返回 410，或 301 到相近内容，同时從 sitemap 中移除；
- 观察：修改後不要只看一次日誌，隔两三周再看抓取频次和入口是否稳定。
sitemap 是“我有哪些頁面”的提交清單，不是導航。它能让蜘蛛知道地址，但替代不了站内連結带来的上下文和信任。
把入口检查放進日常流程
- 發布流程里加一步“登记入口”，标明這條内容挂在哪個栏目、哪几個模块；
- 栏目調整前列出受影响稿件，逐條决定补入口、做跳轉還是下线；
- 每季度抽查一次深层目錄和专题頁，看入口是否還在；
- 把入口来源记進内容台帳，方便以後改版时追溯。
孤儿頁面不是一天形成的，多數是几次改版、几轮栏目調整慢慢积累出来的。定期做一次入口自查，比事後追流量更省事，也能让蜘蛛每次進站都有清晰的路径可走。