很多站点在核对收录时都会遇到这样一类 URL:它们确实存在,也能正常打开,sitemap 里也列着,但从首页一路点下去,无论怎么点击都到不了。这类页面通常被称为孤岛页面。它们不一定有问题,但抓取和收录的表现往往和正常页面不一样,处理方式也不该一概而论。
什么是孤岛页面
判断标准很简单:把站内导航、正文内链、列表页、相关推荐、面包屑都算上,如果某个 URL 没有任何一个可点击的入口指向它,只能靠 sitemap、外部链接或者直接输入地址访问,那它基本就是孤岛页面。
要注意区分两种情况:一种是页面本身有价值,只是缺少内链;另一种是页面本来就不适合出现在搜索结果里,比如程序生成的筛选组合、临时活动页、测试页。这两类的处理方向完全相反,先分类再动手。
孤岛页面是怎么产生的
- 程序批量生成的页面:标签组合、地区组合、参数拼接,数量可能上千,但没有对应的导航入口。
- 旧活动页或专题页下线后,入口模块被移除,URL 还留在服务器上。
- 分页、筛选、排序类 URL 被 sitemap 全量输出,但用户只能通过交互到达其中一部分。
- 站点改版时导航结构变了,老栏目页成了没有入链的死角。
- 从其他系统或旧站迁移过来的页面,URL 保留了,链接关系没搬过来。
在抓取和收录上会有什么表现
孤岛页面被发现主要依赖 sitemap,抓取频率通常低于有内链的页面。常见的情况是:页面被抓过,但长期停在“已发现,尚未编入索引”;或者进了索引,却几乎没有展现,因为缺少内链传递的信号。
这里要区分抓取和收录:能被抓取,只说明蜘蛛知道这个地址;能不能进索引,还要看页面质量、和其他页面的关系、以及是否重复。孤岛状态会让后两项更难看清楚。
有价值但没入口的页面:补内链
如果确认页面内容对用户有用,方向就是给它建立入口,而不是靠 sitemap 反复提交。
- 在相关内容的正文里加链接。这是最自然的方式,锚文本用页面主题词,避免“点击这里”之类的写法。
- 在上一级栏目页、列表页里加上入口,让页面进入正常的层级结构。
- 用相关推荐、热门内容、最新更新等模块给出一批入口,注意控制模块里的链接数量,不要把所有孤岛页面堆在同一个模块里。
- 检查面包屑,确保从首页到该页有一条完整的路径。
- 入口加好之后,重新生成一次 sitemap,让蜘蛛能顺着新链接重新走一遍。
没有保留价值的页面:做收敛
筛选组合页、参数页、重复的地区页,数量大、内容薄,留在索引里只会分散抓取资源。处理顺序大致是:
- 先合并。能整合成一个页面的,用重定向指向主页面。
- 确实需要保留给用户用、但不适合进索引的,用 noindex,而不是直接屏蔽抓取,让蜘蛛仍能读到指令。
- 已经彻底废弃的,返回 404 或 410,不要长期挂着 200 的空页面。
- 把这类 URL 从 sitemap 里去掉,避免继续向蜘蛛推荐。
怎么核对处理效果
处理完之后,隔几周看几个信号:服务器日志里这些 URL 的抓取频次是否下降,抓取是否转向了更有价值的页面;sitemap 中的 URL 是否都能在站内找到至少一个内链;索引量是否随低价值页面的收敛而回落,同时重要页面的抓取变多。
如果发现某些页面被索引了,但站内依然没有入口,说明收敛没做干净,需要回到内链和 noindex 上再检查一遍。
几个常见误区
- 把 sitemap 当入口用。sitemap 是辅助发现,不是内链的替代品。
- 给所有孤岛页面批量加 noindex。有搜索需求的页面被屏蔽掉,等于主动放弃这部分流量。
- 只提交 sitemap,不动站内结构,然后反复怀疑蜘蛛不来。
- 把孤岛页面和低质量页面画等号。两者有交集,但不是一回事。
孤岛页面的问题本质上是链接关系的问题,不是提交方式的问题。补上入口或做掉收敛,比反复推送地址更值得做。
最后提醒一点:处理孤岛页面不必一次做完。先挑数量最多、内容最薄的那一批收敛,再给真正有价值的页面补入口,观察一两轮抓取日志的变化,再决定下一步。