站点规模变大后，深层页面能否被发现，往往不取决于内容质量，而取决于从首页出发有多少条稳定可达的路径。XML Sitemap 负责告知地址，导航层和 HTML 站点地图负责让路径真正可走，两者缺一，深层 URL 就容易长期停在待发现状态。
深层入口常见的断点
- 列表页只展示最新若干条，旧内容被翻页推到很深的位置，且分页链接本身不可抓取。
- 详情页之间没有互链，只能返回上级列表再进入，路径长度成倍增加。
- 栏目改版后旧入口被删除，新入口尚未补齐，中间出现空档。
- 筛选、排序参数生成大量近似 URL，把真实内容的入口稀释掉。
HTML 站点地图页的定位
HTML 站点地图是一个普通页面，作用是把分散在各栏目里的入口集中到一个一跳可达的位置。它不追求列全所有 URL，而是保证每个栏目都有一条通往深层的起点。
与 XML Sitemap 的分工
XML Sitemap 侧重覆盖面与更新信号，但它是声明，不是路径；HTML 站点地图提供的是人类可点、蜘蛛可爬的真实链接，能直接影响抓取路径的长度。两者可以共用同一份栏目结构，但更新节奏不必完全同步。
- 把站点地图页放在主导航或页脚，保证站内任意页面都能一跳到达。
- 按栏目分组，每组列出最近更新的若干条，旧内容用分页承接，而不是一次性堆砌。
- 分页入口使用可抓取的 a 标签，避免只用 JS 事件绑定跳转。
- 控制单页链接规模，链接过多时优先保留更新频繁、层级较浅的部分。
导航层与面包屑的收敛作用
主导航决定第一层入口的数量，面包屑决定深层页面能否逐级向上回连。核对时可以随机抽几个深层 URL，从首页出发数一数需要几次点击才能到达，如果超过四到五次，说明中间层缺少承接页面。
另一种常见问题是面包屑只显示当前栏目名，而不链回栏目首页。这样即使页面被收录，蜘蛛也无法顺着面包屑继续发现同栏目的其他页面，入口密度会明显下降。
服务器稳定性对抓取路径的影响
入口页、栏目页、站点地图页是路径的必经节点。如果这些页面响应偏慢，或者间歇返回 5xx，蜘蛛在路径中途放弃的概率会上升，相当于人为缩短了可达深度。核对时把入口类页面的平均响应时间和错误率单独拉出来看，与详情页对比，差距过大时优先从入口页排查，而不是先怀疑内容质量。
执行核对清单
- 从首页出发，抽样五个深层 URL，记录最短点击路径长度。
- 确认站点地图页在导航或页脚中可达，且本身返回 200。
- 检查栏目分组是否存在，每组是否有分页承接旧内容。
- 确认面包屑逐级可点，并且能链回栏目首页。
- 查看入口页与栏目页的响应时间和错误率是否异常。
站点地图、导航、面包屑三者不是重复建设，而是分别承担告知、可达、回连三种功能，任何一环缺失都会让深层 URL 的发现变慢。
做完这些核对后通常不需要频繁调整，只要在栏目改版或内容结构调整时重新检查一次路径是否仍然连续即可。