多數站点的 URL 發現依赖两條主线：Sitemap 和内鏈。但這两條线都有自己的延迟——Sitemap 要等蜘蛛下次来讀，内鏈要等新頁面被挂到已有頁面上。對于更新频繁或需要較快曝光的頁面，补几條旁路通道會更稳妥。
為什么不能只靠 Sitemap
Sitemap 是批量清單，優点是覆盖全、成本低，缺点是时机不可控。蜘蛛讀取站点地图的間隔，受站点權重、更新频率和歷史抓取表現共同影响，新 URL 寫進去不等于马上被抓。内鏈則受限于頁面结构：如果新内容只出現在第四、第五层，或者列表頁要靠翻頁才能到達，發現時間會進一步拉長。
几條可選的补充通道
RSS / Atom 订阅源
對资讯、博客、商品上新這類按時間流更新的站点，RSS 是很自然的發現入口。它只放最近若干條，天然带有新鲜度信号，体积也小。
- 只保留最近 20–50 條，不要把所有歷史内容都塞進去；
- feed 里的連結要用最终可訪問地址，避免多层跳轉；
- 在頁面 head 里用 link 标簽声明 feed 地址，方便被识別。
提交接口：IndexNow 與站長平台
IndexNow 一類的协议允许你把新增或更新的 URL 主動推给搜尋引擎，省去等待被發現的時間。它不保證收錄，只是缩短“被發現”這一步。
- 只提交真正新增或内容有實质變化的 URL，不要把站内全部連結反复刷一遍；
- 批量提交前先確認這些 URL 返回 200，且不是規范化後的副本地址；
- 提交记錄要和服務器日誌對照着看，才能判断有没有實际抓取。
外部入口頁
蜘蛛池或站群里的入口頁，本质上是给新 URL 提供一條外部發現路径，價值在于“被找到”，而不是權重。入口頁只要满足三点即可：能正常訪問、連結是普通 a 标簽、跳轉鏈不要太長。入口頁堆得再多，如果頁面本身没有内容、連結指向的都是同一批地址，蜘蛛走两遍後同样會降低訪問频率。
组合使用时的顺序
- 新頁面發布後，先确保它已進入站内某個可抓取的列表頁或聚合頁，這是最稳的路径；
- 同时更新 Sitemap 的 lastmod，让清單反映真實改動；
- 高频更新的内容走 RSS，需要更快曝光的走提交接口；
- 外部入口頁只作為补充，不承担主要發現职责。
提交之後要看什么
任何一條通道都只是“通知”，最终抓不抓由蜘蛛决定。發布後的一两天，翻一遍服務器日誌，重点看三件事：
- 有没有来：日誌里是否出現蜘蛛 UA 請求這些新 URL；
- 從哪條路来：referer 字段能看出是走内鏈、Sitemap 還是外部入口進来的；
- 结果如何：狀態碼是不是 200，响應時間是否正常，有没有被 robots 規則或 5xx 挡掉。
如果日誌里始终没有出現，先查 robots.txt、規范化标簽和服務器可達性，再考虑換通道，而不是繼續加大提交量。
补充通道解决的是“让蜘蛛知道有這些地址”，不解决“蜘蛛愿意抓、愿意收錄”。頁面质量、服務器稳定性和連結结构仍然是前提。