很多站点的问题不是蜘蛛来得少，而是页面压根没被蜘蛛走到。一个页面在服务器上能正常打开、返回 200，却几个月都没出现在索引里，常见原因是没有任何一条站内链接指向它，也就是所谓的孤岛页面。搜索引擎发现 URL 的顺序，通常是先有已知入口，再顺着链接一路爬过去。
页面被发现的几条路
搜索引擎知道一个 URL 存在，大致有这几种途径：
- 站内链接：导航、列表页、正文、相关推荐，这是最主要的发现路径，也决定了页面多久被访问一次。
- XML sitemap：告诉搜索引擎哪些 URL 存在，但它更像一份候选名单，不等于会被抓取。
- 外部链接：别的站点链过来，蜘蛛顺着进来。
- 站长主动提交：部分搜索引擎提供接口，能缩短等待时间，但依然要先过抓取和质量这一关。
sitemap 和主动提交解决的是“知不知道”，内链解决的是“走不走得到、多久走一次”。两者缺一，都会拖慢收录节奏。
孤岛页面常见的几种样子
- 新栏目、专题页只挂在 sitemap 里，站内没有入口，导航和列表里都翻不到。
- 正文里提到的旧文章没有加链接，用户只能靠外部搜索才能进去。
- 列表页只保留上一页和下一页，早期内容被一页页推远，最终无人指向。
- 改版后旧链接变成 404 或跳转链断掉，原本的内链入口直接消失。
- 入口都在，但全部挂上了 nofollow 属性，等于没接。
怎么把自家站里的孤岛找出来
- 拿页面里一段独特的句子或标题，用站内搜索加关键词的方式，看能不能被翻出来。
- 查服务器日志，看这个 URL 最近有没有被蜘蛛访问过，上一次是多久之前。
- 用站点爬虫工具跑一遍全站，看哪些 URL 只能靠 sitemap 找到，站内没有任何链接指向。
- 看站内搜索词和点击数据，长期零入口又有人找的页面，优先处理。
把入口接上：几个实际做法
内链的目的不是多塞几个链接，而是让重要页面有稳定、站得住的入口。
- 给栏目页和专题页在主导航或二级导航放固定入口，不要只在首页出现一次就完事。
- 正文里提到相关内容时顺手加链接，锚文本写清楚对方讲什么，别一律用“点击这里”。
- 相关推荐控制在几条以内，选真正相关的，不要做成全站随机抓取。
- 列表页保留通往旧内容的路径，比如按时间归档或分类入口，别让翻页把内容埋掉。
- 改版时把旧内链一并处理，能跳转就跳转，尽量不要留下大量 404。
几个容易踩的坑
页脚堆几十上百条链接、每篇文章底部挂满全站最新，看起来入口很多，实际每个链接分到的关注很薄，也容易被判定为模板链接。另外，导航层级设计得过深，会让真正的内容页面离首页越来越远，蜘蛛每次都得绕很久才到得了。
内链是同时给蜘蛛和用户看的路线图。路线清楚，收录是自然结果；路线混乱，再勤快地提交也补不上。
最后提醒一点：内链解决的是发现和抓取，不负责让页面必然进索引。页面本身内容重复、没有实际价值，即使被爬到，也可能停在已抓取，当前未收录的状态。把入口接好，同时把内容做扎实，两件事一起做才有意义。