提到 URL 发现，多数人先想到内链和 Sitemap。这两条确实是主通道，但蜘蛛接触到的入口其实更杂：别人的页面、主动提交的记录、历史上存在过的地址、站内的各种列表，都可能把 URL 送进抓取队列。不同渠道的时效和覆盖面差别很大，分开看它们，比只盯着 Sitemap 更有判断力。

外部链接：最难控制的一类入口

蜘蛛沿着别的站点上的链接爬过来，是最传统的发现方式。对新建的栏目或页面来说，第一批访问往往来自外部链接，而不是自己的 Sitemap。

• 普通正文链接：容易被跟随，也相对稳定。
• 带参数的链接：同一个页面被不同来源以不同参数指向时，会变成多个入口，发现容易、收敛慢。
• 跳转型链接：不少平台会把外链包装成中间页，蜘蛛需要多走一步才能到达真实地址，发现会延迟，也更容易在中间层被截断。

外部链接的价值在于把蜘蛛引到你的域名下。至于进来之后往哪走，仍然取决于站内结构是否连贯。

主动提交：把 URL 送进队列，而不是送进索引

Sitemap 提交、接口推送、后台的抓取请求，都属于主动告知。它们的作用是缩短“被发现”这一步的等待时间，并不决定后续是否抓取、抓取后如何处理。

• 整站 Sitemap 适合做覆盖面，增量提交适合做时效。
• 提交频率不必跟着内容更新频率线性上涨，堆积的未处理 URL 反而会稀释每条记录的分量。
• 提交的地址要和页面上实际可访问的规范地址一致，带会话标识或排序参数的变体会白占名额。

把提交当成“通知”而不是“申请”，心态会平稳得多：它解决的是发现速度，不解决内容质量与页面可达性。

站内那些容易被忽略的清单

除了导航和正文内链，站内还有几类页面天然带着大量 URL：

• 标签页、聚合页、归档页：数量容易膨胀，质量参差不齐，适合作为补充入口而不是主路径。
• 站内搜索的固定入口：能帮蜘蛛找到冷门内容，但参数组合过多时，不如另外维护一份精选清单。
• RSS 与 feed：结构规整、更新明确，适合新内容的快速发现，不过通常只覆盖近期条目。

历史地址与外部存档

老站改版、栏目下线之后，旧 URL 并不会立刻从蜘蛛的记忆里消失，它们可能还会被间隔性地重访，也可能被转载页面长期引用。

• 已下线的地址尽量给出明确指向：返回 410，或指向内容相关的新址，别让它落在返回 200 的空壳页上。
• 被外部长期引用的旧地址，重定向目标要与原内容相关，避免批量指到首页。
• 迁移后保留一份新旧地址对照清单，方便后续比对日志。

几条渠道怎么配合

实际运营中比较省力的组合是：站内链接负责深度，Sitemap 负责覆盖，提交接口负责时效，外部链接负责从零到一。任何一条渠道都不必做到极致，重要的是别让它们互相打架——比如 Sitemap 里还列着一批已被内链淘汰的地址，或者提交的地址与页面上展示的地址不一致。

验证方式也很朴素：看访问日志里蜘蛛落地的第一个 URL 是什么，再看它从那个页面往下走到了第几层。如果某个栏目长期只有首页被访问，多半不是 Sitemap 的问题，而是这一层入口太少，或者入口本身不可达。