做收录核对时经常碰到一种情况:页面早就写进了 sitemap,抓取日志里也能看到蜘蛛来过一两次,但之后就没有回访,索引里始终找不到它。排查服务器、状态码、robots 都没问题,最后发现真正的原因是——这个页面在站内几乎没有入口链接,也就是常说的“孤岛页面”。
孤岛页面是怎么形成的
孤岛页面并不是刻意做出来的,多数是运营过程中慢慢攒出来的。常见来源包括:
- 早期专题页下线了入口,但页面本身还在,URL 也没有做处理;
- 活动页、落地页只在投放渠道里出现过,站内没有任何栏目引用;
- 详情页所归属的列表页做了分页或筛选收口,深层页面被甩出了链接链;
- 栏目改版时只保留了新导航,旧栏目下的子页面失去了父级入口。
这些页面的共同点是:地址存在、可以访问、也被提交过,但站内没有任何一条链接指向它们。
内链为什么会影响收录
sitemap 和主动推送解决的是“告诉搜索引擎这里有个 URL”,而内链解决的是“这个 URL 值不值得抓、抓完放在什么位置”。一个没有任何站内引用、也不被任何页面链接的地址,在抓取调度里通常优先级很低:蜘蛛可能因为 sitemap 来一次,但缺少持续回访的理由,也就很难进入索引环节。
另外,内链还承担着一部分权重与上下文传递的作用。页面被谁链接、锚文本是什么,会影响搜索引擎对它的主题判断。孤岛页面缺失的正是这层信息。
先确认哪些页面可能属于孤岛
与其凭感觉判断,不如按下面的顺序过一遍:
- 从 sitemap 里导出全部 URL,作为待核对清单;
- 用站内爬取工具(或日志里蜘蛛访问过的路径)跑一遍全站,记录每个 URL 被内链指向的次数和最短点击深度;
- 把两份数据对照,标出“在 sitemap 里、但全站没有任何内链指向”的 URL;
- 再看点击深度超过四到五层的页面,它们虽然不算完全孤立,但抓取频次往往明显偏低。
这一步做完,通常会得到一份几十到几百条的清单,比笼统感觉“收录慢”要有针对性得多。
补内链的处理顺序
不建议一上来就给所有孤岛页面加一堆链接,那样反而会让链接结构变得杂乱。可以按下面的顺序处理:
- 先判断页面是否还要保留。如果内容已经过期、与当前业务无关,直接下线或做 301,比补内链更省事;
- 给核心页面找最近的父级入口。优先在对应的栏目页、列表页、相关推荐位里加上链接,让它的抓取路径符合站内结构;
- 补上下文相关的内链。从内容相近的详情页互相引用,锚文本用页面主题词,而不是“点击这里”;
- 最后再考虑辅助手段。sitemap 更新、主动推送可以同时做,但它们替代不了站内入口;
- 观察一到两周的回访情况。看日志里这些 URL 的访问频次有没有变化,再决定是否需要继续调整。
几个容易弄反的点
第一,把 sitemap 当成万能入口。sitemap 只能帮助发现,不能替代内链提供的抓取理由和主题信号。第二,只在导航里加链接。导航链接属于全站模板,权重分散,深层页面还是需要栏目页和正文内的引用。第三,一次性大批量加链接。短时间内在大量页面插入相同链接,容易被当成异常链接行为,分批做更稳妥。
内链是给蜘蛛看的路径,也是给用户看的路径。补链接时如果只考虑收录,不考虑用户是否需要点进去,多半会做成一批没人用的页面。
小结
收录慢时,除了查抓取、查状态码、查索引状态,不妨先问一句:这个页面在站内到底有没有入口?把孤岛页面按“是否保留—找父级入口—补上下文内链”的顺序处理一遍,往往比反复提交 URL 更有效。需要提醒的是,补内链改善的是抓取和发现条件,最终是否被收录,仍要由页面本身的质量和重复情况决定。