蜘蛛发现 URL，通常离不开两条路：一条是 Sitemap，告诉蜘蛛“这里有哪些页面”；另一条是站内链接，带着蜘蛛“从当前页面走到下一个页面”。两条路不是替代关系，单独依赖其中一条，都容易出现抓取慢、深页不进队列、新页面迟迟不被发现的情况。
Sitemap 给的是清单，不是抓取路径
Sitemap 的价值在于集中列出 URL，尤其是那些不容易通过内链到达的页面。它不能决定蜘蛛先抓谁，也不能替代页面之间的链接关系。蜘蛛读到 Sitemap 后，仍然会结合抓取队列、服务器响应、页面重要性和已有抓取记录来安排。
比较适合放进 Sitemap 的，通常是新发布页面、改版后换过 URL 的页面、层级较深的页面、孤立页面，以及分页列表中的后续页。提交之后，lastmod 要尽量真实，不要每次生成都改时间，否则这个信号会变成噪音。
内链决定蜘蛛能不能走到、走多深
内链是蜘蛛实际爬行的路。首页、栏目页、列表页、正文里的相关链接、面包屑，都会影响蜘蛛到达一个 URL 的难易程度。一个页面如果从首页出发要点击很多次才能到，被抓取的概率通常会低一些。
- 重要页面尽量从首页出发，经过两三次点击就能到达。
- 分页列表保留“下一页”链接，不要只靠 JavaScript 加载。
- 面包屑和相关推荐不要只装饰，要输出可抓取的链接。
- 避免把大量内链塞在同一个区块，链接密度过高会稀释注意力。
两条路怎么配合
- 新页面发布：先在相关栏目或正文里加上内链，再更新 Sitemap。这样蜘蛛既能看到入口，也能在清单里确认这个 URL。
- 深层页或孤立页：用 Sitemap 提交，同时从主题相近的页面给出至少一个入口。只提交不链接，蜘蛛可能仍会忽略。
- 改版或迁移：旧 URL 做 301 到新 URL，内链替换到新地址，Sitemap 同步更新。不要让 Sitemap 里同时存在旧地址和新地址。
- 服务器稳定：Sitemap 文件和内链指向的页面都要能稳定响应。如果服务器频繁超时，蜘蛛可能降低抓取频率，清单再全也难发挥作用。
常见误区
- Sitemap 全量提交，但内链长期不更新，新页面只能靠清单被发现。
- Sitemap 里包含 404、重定向或 noindex 页面，浪费抓取请求。
- 内链只堆关键词，不考虑用户是否真的需要点过去。
- 服务器响应慢，却只盯着 Sitemap 格式检查，忽略抓取环境。
可以把 Sitemap 当成给蜘蛛的备查清单，把内链当成日常通行的路。清单可以补路，但不能代替路。
观察与调整
看抓取日志时，可以分开观察 Sitemap 的抓取和页面 URL 的抓取。如果 Sitemap 经常被抓，但里面的页面很少被访问，优先检查内链入口、robots 规则、服务器状态和页面是否返回正常状态码。反过来，如果页面通过内链被抓得不错，Sitemap 可以更精简，只保留真正需要补充的 URL。
两条路配合好，核心不是提交更多 URL，而是让蜘蛛用更少的绕路，找到那些值得抓的页面。