做收录核对时,很多人先去看 robots、canonical、状态码,这些确实该查,但有一类问题更容易被忽略:页面本身没有任何站内入口,全靠 sitemap 或者一条外链撑着。这种页面往往不是“被抓了没收录”,而是蜘蛛压根想不起来它。
什么是孤岛页面
孤岛页面指的是站内没有任何链接指向它,或者曾经有、后来被挤掉的页面。它可能状态码正常、内容也过得去,但缺少一条稳定的抓取路径。
- 新建页面只提交了 sitemap,导航和列表里都没挂。
- 旧活动页从首页下线,URL 还能打开,但站内再无入口。
- 专题页只在首屏挂了几天,之后被新内容顶掉,再没人点。
- 筛选、排序后被挤出列表的详情页,翻页也到不了。
- 只在站内搜索结果里出现过的页面,搜索引擎一般不跟着站内搜索走。
为什么内链比 sitemap 更关键
sitemap 的作用是“告知”,链接的作用是“带路”。蜘蛛日常爬行主要沿着链接走,sitemap 更像是补充清单,尤其在站点规模大、更新频繁时,单靠它很难让每个 URL 都获得稳定回访。
一条内链同时传递三件事:这个页面存在、它大概讲什么、它在站内的重要程度。入链多的页面通常抓取更勤,入链为零的页面则常常停留在“已发现但未编入索引”。
收录不是提交一次就完事的动作,而是入口稳定、内容合格之后的自然结果。
收录核对可以按这个顺序走
- 先整理一份全站 URL 清单,来源可以是日志、sitemap、后端路由,几份对照着看。
- 用爬虫工具或站内链接分析,把每个 URL 的入链数量和入链来源列出来。
- 筛出入链为 0、或者入链只来自 sitemap 的页面,单独列一批。
- 逐个判断:这个页面值不值得进索引?值得,就补站内入口;不值得,就合并、跳转或加 noindex。
- 补完入口后,观察两三周日志里这些 URL 的抓取情况,别当天就下结论。
补内链的几个实际做法
- 相关推荐、上下篇、同栏目最新,是最省事的入口来源。
- 正文里自然提到同一话题的其他页面,比在页脚堆链接更有效。
- 列表页保留“最热/最新”位置,避免老页面永久沉底。
- 面包屑和分类页能把深层页面拉近主路径。
- 注意别一页塞几百条链接,也别把内链放在需要脚本加载才出现的位置,抓取时可能拿不到。
补完之后怎么判断有没有用
看两个地方:日志里这些 URL 的抓取频次有没有变化;索引状态里“已发现但未编入索引”的数量有没有下降。同时也要接受一个事实——补了入口不代表一定收录,内容重复、质量偏薄、站点整体抓取预算紧张,都会影响结果。
所以遇到收录迟迟不动,先别急着堆参数、换域名、刷蜘蛛。把页面在站内的位置检查一遍,很多时候问题就出在“没人指路”这一步。