收录的第一步不是“被收录”，而是“被发现”。蜘蛛要先把 URL 放进待抓队列，才有后面抓取、解析、索引这些事。而绝大多数 URL 的发现来源，是站内链接。内链结构没铺好，页面就很容易变成孤岛：内容没问题、状态码也正常，但迟迟排不进抓取队列。
什么样的页面算孤岛
孤岛不是指页面完全没有任何链接，而是指站点没有给它一条稳定、可重复走到的路径。常见的有几类：
- 只有 sitemap 知道它存在，站内任何可点击路径都到不了；
- 只在一篇很久以前的内容里出现过一次，后来那条链接被替换掉了；
- 只出现在分页很深的位置，比如列表第 20 页之后；
- 只能通过搜索框或表单跳转，地址不写在 HTML 里；
- 只从外链或有参数的推广链接进入，站内始终没有指向。
这类页面对搜索引擎来说并非不存在，而是“优先级很低”。当抓取配额有限时，它们通常排在后面。
链接深度：从首页点几次能到
可以用一个很土但有效的办法自检：从首页出发手动点链接，记录到达目标页需要几次点击。多数站点把重要内容控制在三到四次以内比较稳。超过五层，尤其是还要穿过若干筛选页、分页页才能抵达，抓取优先级会明显下降。
深度本身不是硬指标，关键在于有没有一条短路径。深度大但能从栏目页直达的页面，通常比“深度浅但入口是浮动推荐位”的页面更稳定。轮播、随机模块、个性化推荐这类入口，今天有明天没，不算可靠路径。
内链要补的三件事
- 给每个页面至少一个固定入口。栏目页、专题页、相关阅读、上一篇下一篇，挑一个稳定的位置挂上去，而不是依赖算法推荐位。
- 让入口真的可点击。用 a 标签，href 写真实地址；不要只用 onclick 或脚本跳转，也不要把关键链接塞进图片和按钮里。
- 控制规模，别把整站倒进页脚。页脚挂几千条链接，每个页面分到的关注度都被稀释，等于没有重点。
怎么排查孤岛
比较省事的做法是三方对照：一份是自己整理的 sitemap 或 URL 总表，一份是爬取工具跑出来的站内链接图，一份是蜘蛛日志里的实际来访记录。
- sitemap 里有、爬虫爬不到：基本可以确认是内链问题；
- 爬虫能爬到、日志里从未出现：入口可能太深，或被 robots、nofollow 挡住；
- 日志里有、但出现时间很晚：属于优先级靠后，可以先补一条短路径再观察。
几个容易踩的误区
误区一：sitemap 能替代内链。sitemap 解决的是“告诉你有这个 URL”，但蜘蛛仍会依据站内链接判断页面在站点里的位置和重要性，两者作用不同，不能互相顶替。
误区二：同一页面挂的链接越多越好。链接质量比数量重要。几十条来自同一模板、同一区块的重复链接，实际效果约等于一条。
误区三：加了 nofollow 就当没事。nofollow 会让蜘蛛减少跟进，被 nofollow 包住的页面，通常很难靠这条路径被发现。
内链不是为了让每个页面都被收录，而是让该被发现的页面有一条稳定、可重复走到的路。先做完这一步，再谈抓取效率、内容质量和索引取舍才有意义。