搜索蜘蛛发现一个 URL，通常靠两条通道：一条是站点地图（Sitemap）这种主动提交的清单，另一条是页面之间的内链。两者不是二选一的关系，更像是目录和路标：目录告诉你有哪些地址，路标决定蜘蛛能不能顺着走到那里。
Sitemap 与内链各自解决什么问题
Sitemap 的优势是覆盖面。新发布的文章、层级较深的商品页、内链一时还没补上的页面，都可以先写进 Sitemap，让搜索蜘蛛知道这个地址存在。它不保证被抓取，但至少解决了“有没有被发现”这一步。
内链的优势是路径。蜘蛛沿着链接逐跳前进，能顺带看到链接所在的上下文、周边内容和页面结构。一个只出现在 Sitemap 里、站内没有任何入口的 URL，往往抓取频次偏低，回访也不稳定。
只靠 Sitemap 的常见问题
- Sitemap 里的 URL 数量很大，但站内没有对应入口，抓取优先级天然靠后。
- 文件长期不更新，里面混着已下线、已改地址的老链接，白白消耗抓取次数。
- 只提交了列表页，没有提交详情页，蜘蛛进得来却走不深。
只靠内链的常见问题
- 孤岛页面永远等不到蜘蛛，除非有站外链接或手动提交。
- 内链层级太深，从首页要点很多次才能到，抓取路径被拉长。
- 动态生成的页面如果没有稳定入口，可能长期处在待发现状态。
两条通道怎么配合
比较省事的做法是让两者互相补位，而不是重复劳动。
- 新内容上线后，先放进内链体系：首页、栏目页、相关文章里给它一个真实入口。
- 同时把新 URL 写进 Sitemap，让发现不依赖蜘蛛恰好走到那条链接。
- Sitemap 只放希望被抓取的规范地址，重复参数、筛选结果、已下线页面不要混进去。
- 定期用 Sitemap 和站内入口做交叉核对，找出“提交了但站内没入口”的页面，优先补链接。
服务器稳定是前提
两条通道最终都要落在服务器上。如果响应时快时慢，或者频繁返回 5xx，蜘蛛抓了几次拿不到内容，回访间隔就可能被拉长，URL 发现的速度也跟着变慢。反过来，稳定的响应至少让已发现的 URL 有机会被正常取回。
一个简单的核对顺序
- 打开 Sitemap，确认里面的地址都是 200 状态、内容有效的页面。
- 抽几个 Sitemap 里的深层 URL，看站内是否有点得到的入口。
- 检查入口链接是否可被抓取，没有被脚本、登录或其他方式挡住。
- 查看服务器日志里这些 URL 的响应码和抓取频次，判断路径是否通畅。
把 Sitemap 当唯一手段，容易让页面停留在“被发现但没被走通”的状态；只靠内链，则可能漏掉那些结构上暂时接不上的新地址。
总结一句：Sitemap 负责把地址摆到台面上，内链负责把路修通，服务器负责让蜘蛛走得下去。三者都正常时，URL 发现的效率才会比较稳定。