蜘蛛发现一个 URL，通常不是靠单一入口，而是三条路径同时在起作用：站内链接、Sitemap 文件、以及站外链接和各类提交接口。三条路各有擅长的场景，也各有盲区。理解它们的差别，比单纯想着多提交几次更有用。
三条入口分别适合什么
- 站内链接：首页、栏目页、相关推荐、正文内链。蜘蛛顺着链接走，天然能拿到页面的层级关系和上下文，也能通过链接的变化感知内容更新。
- Sitemap：适合层级深、链接少、或者靠点击不容易到达的页面，比如老文章归档、PDF 文件、独立落地页。它是一份清单，不传递权重，但能补齐链接覆盖不到的部分。
- 站外入口与提交接口：外链、社交分享、站长平台的 URL 提交。作用是让蜘蛛第一次知道这个地址存在，之后的抓取节奏还是要看站内信号。
每条路的短板在哪里
Sitemap：只说明存在，不说明重要
把全站 URL 塞进 Sitemap 是最常见的做法，但 Sitemap 本身不区分主次。一堆参数页、已下线的旧地址、返回 301 或 404 的链接混在里面，反而让真正需要抓取的页面淹没其中。Sitemap 的价值在于准确，不在于多。
内链：结构决定深度
蜘蛛沿着链接一层层往下走，链接层级越深，被访问到的机会越小。如果重要内容只挂在很深的列表页里，或者需要翻很多页才能到达，靠内链很难被稳定抓到。反过来，如果站内到处是同一个地址的不同写法，也会让抓取分散。
站外入口：只解决第一次
外链能让新页面第一次被发现，但蜘蛛是否常来、来得多深，取决于站内是否有持续的链接和内容更新。只靠外链引来的页面，往往抓一次之后就被搁置很久。
让三条路互相补位
- 把重要页面放进清晰的导航或栏目页，保证从首页出发几跳之内可以到达。
- 把难以链接到的页面写进 Sitemap，并且只放状态正常、允许抓取的 URL。
- 内容更新时同步调整 lastmod，让 Sitemap 里的时间信息与实际改动对得上。
- 用站外链接和提交接口解决新 URL 的冷启动，之后靠内链维持抓取频率。
- 定期拿抓取日志和 Sitemap 做对照，看看哪些已提交的 URL 长期没有访问记录。
三条入口不是互相替代的关系。Sitemap 保证覆盖面，内链决定抓取深度和频率，站外入口负责打破零访问。缺哪一块，都会在某个环节漏掉一批 URL。
用日志判断哪条路在起作用
日志里可以看到蜘蛛访问某个 URL 时留下的跳转来源，以及该 URL 首次出现的路径。一个简单做法是按目录统计访问量，看哪些目录的抓取主要来自 Sitemap，哪些来自站内链接。如果某个目录只有 Sitemap 的提交记录，却几乎没有站内跳转的痕迹，说明它在站内接近孤立，抓取的稳定性通常会更差一些。
还可以留意首次发现时间与首次抓取时间之间的间隔。同一批 URL 中，能被内链快速引到的，间隔往往较短；只靠 Sitemap 的，间隔会长一些，也更依赖站点整体的抓取安排。
几个常见的坑
- Sitemap 里混入了 noindex 页面或重定向地址，白白消耗抓取机会。
- 站内链接靠 JS 跳转实现，HTML 里没有真实链接，蜘蛛看不到通道。
- 分页列表给链接加了 nofollow，相当于把深一层的内容通道直接关掉。
- 改版后站内链接换了地址，Sitemap 却还在提交老地址，两边对不上。
- 只提交首页，不理会栏目页和详情页，以为提交之后就会自动扩散。
做这些检查并不需要多复杂的工具，日志、Sitemap 加上一次手动点击走查，就能覆盖大部分问题。把三条入口对齐之后，URL 发现和抓取覆盖通常会稳定一些，但实际效果仍取决于站点规模、更新频率和服务器响应情况，没有一劳永逸的设置。