很多站点把收录问题归结为“提交得不够多”，但实际观察下来，爬虫发现新页面主要靠两条路：一条是 sitemap 之类的主动提交，另一条是顺着页面上的链接爬过去。前者解决“知不知道这个 URL 存在”，后者解决“愿不愿意走过去、多久走一次”。在链接这条路上，决定效率的一个关键指标就是点击深度，也就是从首页出发点几下能到这个页面。
爬虫不是均匀地走完整个站点
抓取配额有限，爬虫通常会优先走层级浅、被链接多、更新频繁的区域。首页和一级栏目拿到的抓取次数，往往比一个藏在筛选结果第五页的详情页高出很多。这不代表深层页面不会被收录，而是说它们被发现的周期更长，中间任何一环断了，比如某次改版删掉了一个入口，页面就可能长期停在“已发现未抓取”的状态。
所以点击深度不是审美问题，它直接影响爬虫走过去的路径长不长、分支多不多。
点击深度怎么算，先画一张简图
不需要专业工具，从首页开始往下画三层：首页指向哪些主栏目，主栏目指向哪些列表或专题，列表再指向哪些内容页。画完把每个内容页的层数标上，通常会出现明显的断层——一部分页面三层以内就能到，另一部分要五六层，甚至只能靠搜索框或站内搜索才能找到。
三种入口在实际抓取里的差别
- 导航与栏目入口：深度最浅，抓取最稳定，缺点是位置有限，能挂的页面不多。
- 正文内链与相关推荐：数量大、可灵活安排，是给深层页面补入口的主要手段，但要注意推荐是静态输出还是接口异步加载。
- 面包屑与标签聚合：能形成额外的横向路径，但如果标签页本身质量低，反而会分散抓取。
孤岛页面通常从哪来
- 活动页、专题页上线时只发了外链或投放，站内没有回链，活动结束后彻底断联。
- 列表分页过深，老内容被新内容挤到几十页之后，爬虫很少翻到那里。
- 改版时栏目结构重做，旧页面的入口被删掉，URL 还在但没人指向它。
- 相关推荐位由 JS 渲染，HTML 源码里看不到链接，爬虫读不到这条路径。
这几类问题不需要一次性全改，先从流量和价值最高的页面开始补入口即可。
内链调整的优先顺序
- 先修孤岛：把完全没有任何站内入口的页面接回某个列表或推荐模块。
- 再压深度：把需要五层以上才能到达的重点页面，通过专题页或聚合页提到三层以内。
- 再补横向：给同一主题下的页面加互相链接，让爬虫在一次抓取里能连带走一批。
- 最后控制数量：单页导出链接不宜过多，避免把抓取分散到大量低价值页面上。
自查时值得看的几个点
- 关掉 JS 或查看网页源码，确认内链是否真实存在于 HTML 里。
- 随机抽十个内容页，看从首页最少要几跳才能到。
- 检查新上线页面是否同时具备 sitemap 和站内入口，两条路最好都有。
- 看日志里深层页面是否有抓取记录，长期没有记录基本可以判定路径不通。
内链的第一作用是让用户和爬虫都能找到路，收录层面的收益更像是顺带的结果。先把结构理顺，再谈提交和配额，顺序会顺很多。
需要提醒的是，点击深度只是影响发现效率的一个变量，页面本身是否有独立价值、内容是否重复、响应是否及时，同样会决定它最终能不能进索引。把内链结构当成一项长期的站点维护工作，而不是一次性的修补，收录表现会更稳定。