做站点运营时,站点地图、robots、抓取日志都是常查项,但有一个问题容易被漏掉:页面已经上线,站点地图里也提交了,站内却没有任何一个链接指向它。用户只能靠搜索或直接输网址才能到达,这类页面通常被叫做孤岛页面。
孤岛页面不会报错,从日志里往往也看不出异常——它可能偶尔被抓一次,也可能长期没有入口流量。麻烦的是,它的价值很难被传递出去,你在它身上做的内容和优化,基本停留在原地。
孤岛是怎么产生的
绝大多数孤岛不是刻意设计,而是流程里少了一步。
- 新栏目先上线,导航和列表页入口留到下一版再做;
- 改版时列表模板被替换,旧文章的链接顺手删掉;
- 专题页、活动页只依赖站外投放或站内搜索;
- 列表被改成“加载更多”后,翻页地址不再出现在 HTML 里;
- 程序批量生成的页面只提交了 sitemap,没有挂到任何列表。
这些页面能正常打开,只是“走不到”。对用户来说是多一次搜索,对站点来说是多一份没有入口的内容。
三步把孤岛找出来
排查的前提是区分“能访问”和“有入口”,这两件事在工具里经常被混在一起看。
第一步:导出站内链接做对比
用爬虫工具把站点抓一遍,导出所有被链接到的内页 URL,再和站点地图、内容后台的已发布清单做比对。差集里就是候选孤岛。注意爬虫要跟随站内链接,而不是只读 sitemap,否则会把所有页面都当成有入口。
第二步:看抓取日志的“来源”
如果日志能记录 referer,观察哪些页面的访问几乎全部来自外部或直接访问,站内来源接近零,这些页面值得优先排查。没有 referer 字段时,也可以用“被抓取过的 URL”和“站内列表页被抓取过的 URL”做交叉比对。
第三步:用站内搜索词反推
站内搜索里搜得到、列表里翻不到的词,对应的往往就是孤岛内容。用户已经在告诉你入口缺在哪里。
给孤岛补入口的几种做法
- 回到列表页:确认它属于哪个栏目,把链接加回列表或归档页;
- 相关阅读模块:在同一主题的文章底部互相引用,比硬塞导航自然;
- 专题聚合页:把零散内容收进一个可维护的专题,专题页自身挂到导航或栏目下;
- 面包屑与层级路径:确认详情页的层级链完整,不依赖单一入口;
- 正文自然提及:在老文章中引用新内容,前提是确实对读者有用,不要为链而链。
补入口时优先选择会被反复访问的位置,比如栏目首页、热门文章的相关推荐、站点导航,而不是只在某个冷门页脚放一条。
上线前顺手检查,别再造新孤岛
- 内容发布前,先想清楚它的上级入口是哪个页面;
- 列表模板、标签页、专题页是否同步更新到位;
- 至少安排一条来自同主题内容的链接;
- sitemap 作为补充提交,而不是唯一入口;
- 上线后一周内,用内链导出再核对一次。
也不必走向另一个极端
并不是每个页面都值得重点内链。帮助页、条款页、历史归档这类页面,一个稳定的入口就够了,不必强行塞进首页推荐。真正需要优先处理的是有内容价值、希望被读到和被检索的页面。判断标准可以很简单:如果它消失,用户会不会找不到替代?会,就给它补一条能走到的路。
孤岛排查不需要多复杂的工具,一次内链导出加一张发布清单,通常就能把大部分问题暴露出来。把它变成上线流程里的固定一步,比事后翻日志省事得多。