做站点运营时，很多人把 Sitemap 当成万能清单，提交完就等蜘蛛来。实际上，蜘蛛发现 URL 主要靠两条路：一条是 Sitemap，另一条是站内链接。两者不是二选一，而是分工不同。理解这一点，能少走很多弯路。

Sitemap 解决“有哪些”，内链解决“怎么走”

Sitemap 的价值在于把 URL 集中列出来，尤其是那些靠内链不容易被发现的页面。它像一份清单，告诉蜘蛛“这些地址存在”。但清单本身不决定抓取顺序，也不传递页面之间的权重关系。

内链则不同。蜘蛛顺着链接从一个页面走到另一个页面，链接的位置、锚文本、所在页面本身的重要性，都会影响它对目标 URL 的判断。换句话说，Sitemap 管发现，内链管路径和优先级。

哪些 URL 适合放进 Sitemap

不是所有 URL 都值得写进 Sitemap。放得太多太杂，反而会稀释清单的参考价值。比较适合的包括：

• 重要的栏目页、详情页和专题页；
• 新发布、需要尽快被发现的页面；
• 内链较少但内容有价值的深层页面；
• 更新频率较高、需要定期回爬的页面。

不太适合放进来的，包括带大量参数的商品筛选页、重复内容页、已经 404 或 410 的地址、被 noindex 的页面，以及需要登录才能访问的 URL。把这些地址留在 Sitemap 里，蜘蛛每次来都要处理一遍，对双方都没有好处。

内链结构的几个实用原则

内链不需要做得复杂，但要做到“路能走通”。常见做法是：

1. 首页和频道页保持清晰的导航入口，让蜘蛛能逐层向下；
2. 列表页、聚合页控制数量，避免一个页面堆出几百条链接；
3. 详情页之间用相关推荐、上一篇/下一篇建立横向连接；
4. 面包屑导航帮助蜘蛛理解层级，也方便用户返回；
5. 锚文本尽量自然，不要全站统一用同一个词指向同一批页面。

如果某些页面只能从 Sitemap 发现，站内却没有任何链接指向它们，蜘蛛抓到之后也很难判断这些页面的位置。长期来看，这类页面容易变成孤岛，更新后也不容易被重新回爬。

两条路怎么配合

比较稳妥的做法是：Sitemap 保底发现，内链决定抓取优先级。新页面发布后，先通过 Sitemap 让蜘蛛知道地址，同时在相关栏目或内容里加上内链，给它一条可以反复走到的路。这样即使 Sitemap 暂时没被读取，页面也有机会被顺藤摸瓜发现。

对于已经收录的页面，更新后可以在 Sitemap 里调整 lastmod，并从首页或频道页给出临时入口。但不要为了“催抓”而频繁改动时间戳，蜘蛛会参考多个信号，不会只看一个字段。

服务器稳定性是共同前提

不管走哪条路，抓取都要落到服务器上。如果抓取过程中频繁出现超时、5xx 或连接中断，蜘蛛会降低访问频率，甚至暂时减少对站点的抓取。稳定的响应比任何技巧都更重要。维护窗口尽量避开抓取高峰，不要用长时间 503 来“挡”蜘蛛。

日常检查可以看什么

可以从三件事入手：

• 看抓取日志，确认 Sitemap 里的 URL 是否真的被访问过，哪些一直没出现；
• 用站内爬虫工具检查孤岛页面，看看有多少 URL 没有内链入口；
• 定期清理 Sitemap，删除失效地址，补充新的重要页面。

这些工作不能保证收录或排名，但能让蜘蛛发现和抓取的过程更顺畅。把清单和路径都理顺，剩下的交给内容和时间。

把 Sitemap 当作发现入口，把内链当作抓取路径，两者配合好，比单独依赖任何一个都更稳妥。