入口盘点要解决什么問题
頁面内容做得再好，前提也是先被搜尋蜘蛛走到。URL 發現本质上是“站内站外有哪些路可以通向這個地址”，而入口盘点就是把這條路一條條列出来，確認它們没有断開、没有重复、也没有指向不该被發現的頁面。
上线新站、批量新增栏目、或者做完一次改版之後，做一轮入口盘点比反复提交 URL 更有價值，因為提交只能解决個別頁面，入口决定的是整批頁面。
常见入口清單
站内入口
- 導航與栏目标頁：通常是最稳定的發現入口，改動前要先確認层級没有加深。
- 正文内鏈：數量最大，也最容易被忽略，常见問题是連結寫成了不可爬取的按钮或 JS 事件。
- 列表頁與分頁：新增内容大多先出現在列表里，分頁断路會让舊内容長期無法被發現。
- Sitemap：适合覆盖面广、内鏈較弱的站点，但要保證里面都是可返回 200 的規范地址。
- 标簽頁、归档頁、相關推荐：属于聚合型入口，能补充冷门頁面，但也容易把低價值頁面一起带進来。
站外與补充型入口
- 外部連結：包括友鏈、合作方連結、社交平台分享地址，注意對方是否加了不该加的属性。
- RSS 或媒体站点地图：适合更新频繁、以内容流為主的站点。
- HTTP 响應头里的 Link 字段、跳轉規則、短鏈服務：属于偏技術型的入口，改版时容易被漏掉。
盘点顺序建议
- 先固定主机名與协议，確認所有入口都指向同一個規范地址，避免同一頁面被寫成多個地址。
- 再從首頁出發，按点击深度梳理一遍主要路径，标出深度明顯偏大的頁面。
- 對照 Sitemap，检查里面是否存在已下线、已重定向或參數重复的地址。
- 最後检查补充入口，包括 RSS、跳轉規則和歷史遗留的短鏈。
顺序很重要。入口本身互相指向，如果主机名和地址寫法没统一，後面的检查结果都會混杂噪声。
用日誌驗證入口是否真的被走過
清單是主观的，日誌是客观的。抓取日誌里能看到搜尋蜘蛛實际請求了哪些地址、從哪個来源進来。把日誌按目錄或栏目聚合，就能看出哪些入口是活的、哪些寫了却没人走。
如果某個栏目頁在日誌里長期没有出現，問题通常不在服務器，而在于没有任何一條入口真正指向它。
驗證时關注三類信号：重要栏目是否被稳定訪問、新增内容從發布到首次被抓取的間隔是否合理、是否出現大量不该被抓取的參數地址。發現異常先回到入口本身，而不是急着調抓取速率。
几個高频問题
入口重复
同一頁面通過導航、列表、标簽、Sitemap 各出現一次，属于正常叠加；但如果這些入口寫的是不同地址（带參數、带大小寫差异、带尾斜杠差异），就會變成重复發現，稀释真正的入口價值。
入口断路
分頁連結只保留了“下一頁”、篩選條件生成大量無内容頁、跳轉层級過深，都會让蜘蛛提前停止。改版後尤其要复查一遍分頁和跳轉規則。
服務器不稳定
响應不稳时，抓取节奏會放缓甚至暫停，入口再多也無法被完整走完。入口盘点的最後一步，通常是回到服務器可用性上做確認。
小结
入口盘点不是一次性工作，而是随着栏目增删、改版、迁移反复進行的例行检查。先把入口铺清楚，再谈抓取效率，顺序反了，後面的優化多半會白做。