做蜘蛛池时，很多人会把目标 URL 同时写进入口页的 sitemap，也放在页面里做成可点击链接。两套出口偶尔对不上：sitemap 里有、页面上没有，或者页面上有、sitemap 里没更新。遇到这种情况，搜索蜘蛛并不会“二选一”，但两类入口在发现和抓取上的权重确实不同。

sitemap 更像一份候选清单

sitemap 的主要作用是告诉搜索蜘蛛“这里还有这些 URL 可以看看”。它不保证抓取，也不保证收录。搜索蜘蛛会把它当作发现 URL 的补充来源，至于先抓哪些、抓多深、隔多久再抓，仍要看目标 URL 本身的可访问性、内容质量和站内链接结构。

如果 sitemap 里的 URL 长期返回 404、301 或需要登录，搜索蜘蛛会逐步降低对这份文件的信任，后续从 sitemap 触发的抓取也会变少。

页面里的可点击链接，通常更直接

入口页正文、导航或页脚里的可点击链接，是搜索蜘蛛发现 URL 的常规路径。它能带上锚文本、上下文和链接位置，帮助搜索蜘蛛判断这个 URL 大致讲什么、值不值得抓。相比只写在 sitemap 里，页面链接多了一层“推荐”意味。

• sitemap 有、页面没有：目标 URL 可能仍被发现，但缺少内链支持，抓取频率通常更低。
• 页面有、sitemap 没有：不影响正常发现，sitemap 只是少交了一份清单，问题不大。
• sitemap 写过时 URL：搜索蜘蛛可能反复试探旧地址，直到多次失败后才减少访问。
• 两边都有但指向不同参数：容易让同一内容出现多个 URL，分散抓取量。

不一致时，先看抓取日志而不是猜

判断搜索蜘蛛更信哪一边，最直接的办法是对比日志。把 sitemap 里的 URL 列表和入口页可点击链接列表分别导出，再和访问日志中的抓取记录交叉比对。

1. 看 sitemap 中独有 URL 是否被抓、返回什么状态码。
2. 看页面链接独有 URL 的抓取量，是否明显高于 sitemap 独有部分。
3. 检查 sitemap 的更新时间和 lastmod 是否与实际修改一致。
4. 确认 sitemap 里没有已经失效、重定向或需要登录的 URL。

如果 sitemap 独有 URL 长期零抓取，而页面链接独有 URL 有稳定抓取，说明当前入口页的链接结构更被信任。此时应优先整理页面链接，而不是继续往 sitemap 里加 URL。

让两边尽量一致

最省事的做法是让 sitemap 和页面可点击链接指向同一批目标 URL，参数、协议和域名写法保持一致。sitemap 保持精简，只放需要被抓取的地址；页面链接放在正文或导航中，避免全部塞进页脚或隐藏区域。

sitemap 不能替代站内链接结构。如果入口页本身没有可点击路径，只靠 sitemap 提交，URL 发现会慢，抓取也不稳定。

两边不一致不一定会立刻出问题，但长期看会增加无效抓取和排查成本。定期用日志核对一次，比反复调整 sitemap 更有效。