谈抓取路径时，很多人先看主导航和 Sitemap。这两者重要，但蜘蛛在站内移动时，还会经过面包屑、标签页、聚合列表、相关推荐等辅助入口。这些入口如果布置得当，能给深层 URL 多一条发现通道；如果只是站内装饰，对抓取帮助有限。
面包屑不只是用户体验
面包屑通常从首页到栏目再到详情，层级清晰。蜘蛛沿面包屑向上可以回到栏目页，向下则可能发现同栏目的其他条目。核对时关注两点：
- 面包屑是否使用可抓取的 a 标签，而不是 JavaScript 点击事件或纯文本。
- 每一级是否指向真实存在的栏目页，避免中间层返回 404 或重定向到首页。
如果详情页的面包屑只写到二级栏目，而实际内容属于三级分类，蜘蛛可能只发现二级入口，三级分类的 URL 需要靠其他路径补充。
标签页与聚合页的入口价值
标签页、专题聚合、排行列表常把分散的 URL 聚在一起。它们对抓取的作用是缩短发现路径：原本需要点击多次才能到达的页面，可能从聚合页一次点击就能进入。但要注意聚合页本身是否被允许抓取。
- 聚合页是否在 robots.txt 中被误拦，或者被 noindex 标记。
- 聚合页里的链接是否直接输出可抓取的 href。
- 聚合页数量是否过多，导致大量相似列表稀释抓取预算。
如果标签页只展示标题摘要而没有链接，或者链接通过脚本异步注入且未被渲染，蜘蛛可能只看到列表文字，看不到目标 URL。
辅助入口的核对顺序
可以按下面步骤排查，每次只改一个变量，观察日志变化。
- 从首页出发，手动模拟蜘蛛点击路径，记录到达目标页需要几层跳转。
- 检查面包屑、标签页、相关推荐中的链接是否出现在 HTML 源码里，而不是仅存在于渲染后的 DOM。
- 用抓取日志筛选目标 URL，看首次被抓取时的 referer 或上一跳来自哪个入口。
- 对比 Sitemap 提交的 URL 与辅助入口发现的 URL，找出只出现在其中一套的页面。
- 对重复出现的入口，检查是否指向同一 URL 的不同变体，避免因参数或尾斜杠造成重复抓取。
辅助入口的意义是增加发现概率，不是保证收录。入口再多，页面内容质量、服务器响应和站内结构仍然决定蜘蛛是否愿意继续抓取。
常见误区
一种误区是把所有希望寄托在 Sitemap，认为提交了就等蜘蛛来。实际上，Sitemap 提供的是 URL 清单，蜘蛛仍会结合内链判断页面重要性。另一种误区是堆砌大量聚合页，让每个页面都有多个入口。入口过多且指向混乱时，蜘蛛可能反复抓取列表页，反而减少对详情页的访问。
较稳妥的做法是：保留清晰的面包屑，让标签页和聚合页服务真实的内容聚合需求，并确保这些入口的链接可抓取、指向唯一、层级不过深。定期核对入口的实际抓取记录，比单纯增加入口数量更有意义。