搜索蜘蛛发现新 URL，最稳定的方式仍然是顺着页面上的链接走。Sitemap、主动提交可以补充入口，但它们解决的是“告诉蜘蛛这里有一个地址”，而内链结构解决的是“蜘蛛能不能顺着路径走到这里”。如果链接路径断了，URL 即使被提交，也可能长期停留在发现阶段。
三类常见入口各管什么
导航链接：覆盖面广，但容易模板化
主导航通常出现在全站每个页面，能让搜索蜘蛛快速触达主要栏目。问题在于，导航链接位置固定、数量有限，深层文章和长尾页面很难仅靠导航获得入口。如果导航里只放几个热门分类，蜘蛛的抓取路径会集中在少数页面，新 URL 的发现速度就会变慢。
面包屑：补充层级路径
面包屑链接把详情页和分类页、首页串联起来，给搜索蜘蛛一条清晰的层级路径。对于内容量较大的站点，面包屑能帮助蜘蛛从任意详情页返回上层，再进入同层其他页面。核对时要确认面包屑不是纯文本，而是可抓取的链接，并且层级不要过深。
正文内链：给重要 URL 更多入口
正文里的上下文链接往往比导航链接更有指向性。一篇新文章如果被多篇老文章引用，搜索蜘蛛在回访老文章时就有机会发现它。建议把重要页面、更新频繁的页面放在相关文章、推荐阅读或专题模块中，但不要为了数量堆砌无关链接，那样会稀释链接的参考价值。
抓取路径上的常见断点
- 链接由脚本生成，首屏 HTML 里没有可抓取的 href，搜索蜘蛛需要额外渲染才能发现。
- 列表页只保留第一页链接，后续分页没有稳定入口，深层内容难以被继续发现。
- 重要页面只出现在搜索框、筛选条件或用户点击后才会加载的模块里，形成孤岛页面。
- 站内链接被大量 nofollow 或 robots 规则拦截，路径存在但蜘蛛不愿继续走。
- URL 参数、大小写、尾斜杠不统一，同一个页面被拆成多个地址，抓取分散。
- 服务器响应不稳定，蜘蛛走到一半超时，后续链接可能被暂时放弃。
核对顺序建议
- 从首页出发，用站点爬虫或日志模拟一次抓取，记录重要 URL 距离首页的链接层级。
- 在服务器日志里查看新 URL 的发现来源，是来自导航、正文、Sitemap 还是外部链接。
- 检查 Sitemap 是否覆盖重要页面，同时确认这些页面在内链中也有入口。
- 观察响应时间和错误率，排除因服务器波动导致的抓取中断。
- 每次栏目调整、列表改版后，重新巡检内链入口是否失效。
Sitemap 与内链的分工
Sitemap 适合承担“登记”角色，尤其是新页面、深层页面和更新频繁的页面。内链则承担“维持路径”的角色。只提交 Sitemap 而不给内链入口，搜索蜘蛛可能知道地址存在，却缺少持续回访的理由。反过来，只靠内链而没有 Sitemap，站点规模变大后也容易遗漏。两者配合，才更接近稳定的 URL 发现结构。
URL 发现不是一次提交动作，而是链接路径、服务器状态和站点结构长期配合的结果。观察日志、调整内链，比追求某个单点技巧更可靠。
如果发现新 URL 迟迟没有抓取痕迹，可以先从内链入口查起：它离首页几跳，有没有稳定的上级页面，是否被脚本或规则挡住。把这几件事核对清楚，再考虑提交和反馈渠道，通常更有效率。