很多站点的 URL 發現問题，不是出在“没有被發現”，而是出在“曾经被發現過，後来入口消失了”。列表頁翻頁、专题下架、相關推荐換算法、導航改版，都會顺手带走一批連結。URL 本身還在、還能訪問，只是站内已经没有任何一條連結稳定指向它。搜尋蜘蛛下次想再来，就得靠歷史记錄或 Sitemap 兜底。
入口是動態的，不是建站时定好的
新建頁面时，我們通常會把它塞進列表頁、導航或推荐位，于是它有了入口。但列表頁是滚動更新的：新内容進来，老内容掉到第二頁、第三頁，最後進入归档。如果归档頁没有把它接住，這個 URL 的入口就在某一天彻底断了。
同理，专题頁下线、活動頁合並、栏目改版，都會让原本的連結路径失效。入口消失的過程往往没有报错，监控也看不出来，只有抓取频次慢慢下降。
哪些常见動作最容易切断入口
- 列表頁只保留最新 N 條：超出的内容没有归档或分頁承接。
- 相關推荐改成個性化：同一篇文章的推荐位每次都不同，連結數不稳定。
- 導航精简：為了移動端体驗砍掉二級入口，深层頁面少了一條固定通道。
- 标簽頁、专题頁合並：原本的聚合入口 301 到別處，新入口覆盖不到全部舊 URL。
- 内容下线但 URL 保留：頁面還在，只是不再被任何列表引用。
巡检：找出入口變薄的那批 URL
不需要全站排查，先圈定范围更有效：
- 從抓取日誌里按目錄或栏目分组，看每個目錄最近一段時間的被抓次數變化趋势。
- 對掉得明顯的目錄，抽几十個 URL，用站内搜尋或爬取工具統計“站内指向它的連結有多少條”。
- 把入口數量為 0 或只有 1 條的 URL 标出来，這類頁面最脆弱。
- 再核對它們的入口来自哪里：導航、列表、面包屑還是推荐位，判断這條入口會不會随内容更新而消失。
- 對比 Sitemap 里是否包含這些 URL，確認至少有兜底路径。
补鏈的几種做法
- 归档頁接住下沉内容：按月、按栏目生成稳定的归档列表，保留可抓取的連結。
- 詳情頁加固定的上／下篇或同栏目相邻連結，不依赖推荐算法。
- 面包屑补到栏目层級，让任何詳情頁至少有一條回到列表的通路。
- 标簽頁控制在合理數量，避免每個标簽只挂一两條内容。
- 内容正式下线的 URL 做 301 或 410 决策，不要让它長期處于“存在但没人引用”的狀態。
补鏈的目的是恢复通路，不是增加連結數量。為了补入口而在頁脚、侧栏堆一批無關連結，短期看似連結變多，實际會稀释整站的連結權重，也让抓取路径變得难以判断。
Sitemap 是兜底，不是替代
Sitemap 能保證 URL 出現在清單里，但它不提供抓取路径。搜尋蜘蛛顺着 Sitemap 抓到頁面後，頁面里如果没有通向其他頁面的有效連結，這次抓取就很难延伸下去。所以内鏈负责“走得通”，Sitemap 负责“不漏掉”，两者分工不同。
一個可执行的节奏
把入口巡检放進内容运营的固定動作里：每次栏目改版、专题下线、列表規則調整後，顺手记錄受影响的 URL 范围；每個季度抽一两個目錄做連結分布核對。入口维護不是一次性工程，它跟着内容更新的节奏走，做在改版当下，成本最低。