为什么整理清单要放在上线之前
URL 发现的问题，常常不是上线后才出现的。页面还没发布，地址结构、目录层级、参数规则就已经定下来了。等到搜索蜘蛛来抓，才发现有些地址藏得太深，有些地址重复，有些地址根本不该出现，返工成本反而更高。上线前把地址清单理一遍，相当于给后面几周的抓取和运营留出余地。
清单里至少写清四件事
- 完整地址：包含协议、域名、路径和必要参数，去掉临时追踪参数。
- 地址类型：内容页、栏目页、列表页、标签页、搜索页，不同类型对应不同的发现策略。
- 重要程度：是否必须被搜索蜘蛛发现，还是可以晚一点。
- 入口来源：这个地址会从哪个页面、哪份 Sitemap 或哪个提交接口进入抓取队列。
三类地址，处理方式不同
必须被发现的地址
通常是核心内容页、主要栏目页和转化路径上的页面。它们应该出现在主导航、面包屑或正文内链里，同时进入 Sitemap。如果同一批地址已经有稳定的内链入口，Sitemap 更多起补充和核对作用。
可以晚一点发现的地址
历史归档、低频更新的专题、分页靠后的列表，不必挤在同一个时间点投递。可以用 Sitemap 分批放出，或者等内链逐步补上后自然被发现。这样能让抓取资源更集中在新内容和重要更新上。
不该进入抓取队列的地址
后台路径、测试地址、带会话 ID 的链接、无内容的筛选组合，最好在上线前就处理掉。能不放内链就不放，能加 noindex 就加，能拦截就拦截。这些地址一旦被大量发现，会稀释真正需要抓取的部分。
从清单到实际投递
清单整理完，还要落到具体通道上。常见做法是三类通道配合：
- 内链：把重要地址放在稳定的导航和正文链接里，这是最自然的发现路径。
- Sitemap：按类型或更新频率拆分，保持地址可读、状态码正常。
- 提交接口：新页面或更新较急的内容，可以通过站长平台或 IndexNow 这类接口补一次通知，但不代替内链和 Sitemap。
需要留意的是，任何提交都只是通知，不保证一定被抓取或收录。它的价值在于缩短被发现的等待时间，而不是替代站点本身的结构。
上线后的核对
页面发布后，隔几天做一次简单核对：从服务器日志里筛一下搜索蜘蛛的访问记录，看看清单里的地址有没有出现；再到覆盖率报告里对照，哪些已发现、哪些已抓取、哪些被排除。发现缺口时，优先检查入口链路，而不是反复提交同一个地址。
把 URL 清单当成一份上线检查表，而不是一次性的提交列表。地址结构稳定了，后续的发现和抓取才有可预期的节奏。