多数站点的 URL 发现依赖两条主线：Sitemap 和内链。但这两条线都有自己的延迟——Sitemap 要等蜘蛛下次来读，内链要等新页面被挂到已有页面上。对于更新频繁或需要较快曝光的页面，补几条旁路通道会更稳妥。
为什么不能只靠 Sitemap
Sitemap 是批量清单，优点是覆盖全、成本低，缺点是时机不可控。蜘蛛读取站点地图的间隔，受站点权重、更新频率和历史抓取表现共同影响，新 URL 写进去不等于马上被抓。内链则受限于页面结构：如果新内容只出现在第四、第五层，或者列表页要靠翻页才能到达，发现时间会进一步拉长。
几条可选的补充通道
RSS / Atom 订阅源
对资讯、博客、商品上新这类按时间流更新的站点，RSS 是很自然的发现入口。它只放最近若干条，天然带有新鲜度信号，体积也小。
- 只保留最近 20–50 条，不要把所有历史内容都塞进去；
- feed 里的链接要用最终可访问地址，避免多层跳转；
- 在页面 head 里用 link 标签声明 feed 地址，方便被识别。
提交接口：IndexNow 与站长平台
IndexNow 一类的协议允许你把新增或更新的 URL 主动推给搜索引擎，省去等待被发现的时间。它不保证收录，只是缩短“被发现”这一步。
- 只提交真正新增或内容有实质变化的 URL，不要把站内全部链接反复刷一遍；
- 批量提交前先确认这些 URL 返回 200，且不是规范化后的副本地址；
- 提交记录要和服务器日志对照着看，才能判断有没有实际抓取。
外部入口页
蜘蛛池或站群里的入口页，本质上是给新 URL 提供一条外部发现路径，价值在于“被找到”，而不是权重。入口页只要满足三点即可：能正常访问、链接是普通 a 标签、跳转链不要太长。入口页堆得再多，如果页面本身没有内容、链接指向的都是同一批地址，蜘蛛走两遍后同样会降低访问频率。
组合使用时的顺序
- 新页面发布后，先确保它已进入站内某个可抓取的列表页或聚合页，这是最稳的路径；
- 同时更新 Sitemap 的 lastmod，让清单反映真实改动；
- 高频更新的内容走 RSS，需要更快曝光的走提交接口；
- 外部入口页只作为补充，不承担主要发现职责。
提交之后要看什么
任何一条通道都只是“通知”，最终抓不抓由蜘蛛决定。发布后的一两天，翻一遍服务器日志，重点看三件事：
- 有没有来：日志里是否出现蜘蛛 UA 请求这些新 URL；
- 从哪条路来：referer 字段能看出是走内链、Sitemap 还是外部入口进来的；
- 结果如何：状态码是不是 200，响应时间是否正常，有没有被 robots 规则或 5xx 挡掉。
如果日志里始终没有出现，先查 robots.txt、规范化标签和服务器可达性，再考虑换通道，而不是继续加大提交量。
补充通道解决的是“让蜘蛛知道有这些地址”，不解决“蜘蛛愿意抓、愿意收录”。页面质量、服务器稳定性和链接结构仍然是前提。