一个页面没被收录,很多人第一反应是内容不够好、权重不够高。但更常见的原因其实在前一步:搜索引擎压根没发现这个 URL。抓取和收录都有一个前提——页面得先被看到,而站内绝大多数页面的发现路径,靠的是内链。
先分清三种状态,别一上来就改内容
在动手之前,先用抓取日志和站长工具把状态对齐:
- 没被发现:日志里从来没出现过这个 URL,索引报告里也不显示,问题出在链接结构。
- 发现了没抓:日志有请求但被频繁推迟,或者只抓了一次就停了,问题出在抓取额度与优先级。
- 抓了没收录:日志里抓取正常、返回码正常,但索引里没有,这时才轮到内容质量与重复度。
三种状态的解法完全不同。把它们混在一起处理,往往改了内容却没有解决真正的堵点。
孤岛页面:有 URL,但没有任何入口
孤岛页面指的是那些存在于服务器上、也可能写进了 sitemap,但站内没有任何链接指向它的页面。形成原因通常很隐蔽:
- 只在搜索框里出现,靠站内搜索才能到达;
- 只在某个表单提交后的跳转里出现,正常浏览路径碰不到;
- 挂在已经下线的旧导航下,入口被删了但页面还在;
- 由脚本拼接生成,HTML 里没有可点击的链接。
这类页面即使写进 sitemap,也只能算提交了一次发现请求,不等于被纳入正常的抓取节奏。sitemap 是补充,不是替代内链。
内链深度:点几下能到,影响抓取优先级
从首页出发,经过几次点击能到达目标页,大致对应它在抓取队列里的位置。层级过深的页面(比如要经过分类、子分类、列表翻页、详情四层以上)往往被排在后面,抓取频次也低。
一个粗略的自查方法:随机挑几个不常被收录的 URL,从首页开始只用可点击的链接走一遍,看能不能走到、要走几步。走不到,或者超过四五步,基本可以判断是结构问题。
按顺序排查,从最可能的原因开始
- 确认是否被抓:查日志里有没有该 URL 的记录。没有就往下走,有就跳到内容与重复度检查。
- 检查站内链接:用站内搜索或相关推荐模块,看是否有别的页面链向它。
- 检查导航与面包屑:重要栏目页是否出现在主导航、侧栏或面包屑里。这类位置既是发现路径,也是权重传递路径。
- 检查列表页与聚合页:详情页通常靠列表页分发。列表页是否分页过多、是否被屏蔽,直接影响详情页的发现。
- 核对 sitemap 与提交记录:确认 URL 在 sitemap 中且格式规范,作为兜底。
- 看外部链接:有没有其他站点链向这个 URL,外链是内链之外的补充路径。
处理顺序:先补路径,再谈内容
确认是发现路径的问题后,优先做这些:
- 从相关页面加上上下文相关的正文内链,而不是堆在页脚的一长串链接;
- 把重要页面放进导航、栏目页或面包屑,降低点击深度;
- 整理列表页分页逻辑,让新内容能进入前几页;
- 如果页面本身价值不高,考虑合并到同类页面,而不是硬造入口。
补内链的目的是让内容更容易被发现,不是保证一定被收录。入口顺畅之后,最终是否进入索引仍取决于页面本身是否值得保留。
两个容易踩的坑
为了收录而大量堆链
在页脚、侧栏批量塞入成百上千个链接,短期看似增加了发现路径,实际上会稀释每个链接的指向意义,也让页面显得像导航目录。链接要跟内容相关,数量不是越多越好。
把 sitemap 当成万能钥匙
sitemap 能帮助发现,但抓取额度有限,引擎会按自身优先级决定先抓什么。孤岛页面仅靠 sitemap,被发现和被稳定抓取之间往往还有一段距离。
总结一下:页面不被收录时,先别急着改标题和正文,用日志确认它有没有被抓,再用内链走一遍确认它有没有被发现。发现路径修好之后,再回头看内容质量、重复度和页面价值。顺序对了,排查会快很多。