做站时间长了,总会攒下一些没人管的页面:它们能正常打开,内容也不算差,但既不在导航里,也没什么文章提到它们。蜘蛛只能靠站点地图偶尔摸过去,用户更是几乎碰不到。这类页面通常被叫作孤岛页面。
什么样的页面算孤岛
判断标准其实很简单:除了站点地图和站外链接,站内几乎没有指向它的链接。用户从首页出发要绕好几步,甚至得靠站内搜索才能碰到;蜘蛛顺着内链爬行时,也基本走不到那里。
孤岛页面不等于死链,也未必是 404,它只是被自己人忘了。影响在于:页面的内容拿不到内链传递过来的信号,长期只能靠零星的抓取;而站点地图也不是每次都被完整处理。时间一长,这些页面在抓取队列里就越来越靠后。
孤岛页面常见的几种来源
- 早年发布、后来改版时被移出栏目范围的老文章;
- 活动结束后没再维护的专题页、报名页;
- 标签页、作者页、归档页里条目寥寥的那几个;
- 只在外部分享或投放中出现、从未进过站内结构的落地页;
- 分页列表深处,要翻很多页才露头的条目;
- 程序自动生成、但入口被藏起来的页面。
怎么把孤岛页面找出来
- 先导出一份站点地图里的 URL 清单,当作理论上应该被抓到的基准。
- 用爬虫工具从首页出发整站爬一遍,记录每个 URL 的站内入链数量。
- 两份清单对照,落在站点地图里、站内入链却为零的,基本就是孤岛。
- 再结合服务器日志,看这些 URL 过去一段时间有没有被真实访问过。如果蜘蛛和用户都没来过,处理的优先级就更高。
- 抽样打开几个页面,确认内容是否还值得保留,避免把早已过期的页面硬拉回来。
修补时的几个原则
补的是路径,不是链接数量
找到孤岛页面后,最容易犯的错是随手在页脚或者首页堆一排链接交差。更稳妥的做法是回到内容本身:这篇和哪几篇讲的是同一件事?能不能在正文里自然引用一次?有没有一个合适的栏目或专题页可以把它收进去?
一个来自相关正文的链接,价值往往高于页脚里凑数的二十个链接。用户愿意点进去、看得下去,蜘蛛顺着走一趟才有意义。
分清哪些值得救
不是所有孤岛都要捞。内容高度重复的、时效已经过了的、纯活动性质的页面,更合理的选择是设置好跳转或者直接下线,而不是硬找一个入口挂着。真正值得修补的,是那些长期仍有需求、或者对用户判断有帮助的页面。
入口要放在用户会看的位置
如果某个页面只能塞进页面底部的小字区域,说明它当前在结构里确实没有位置。这时候值得想一想:是不是栏目划分需要调整,把这些零散内容归到一个稳定的分类下,让入口长期存在,而不是靠一次性的临时链接。
改完之后别就忘了
新内容每天都在发,新的孤岛也在不断产生。比较省事的习惯是:发布时顺手问自己一句「这个页面从哪儿进来」,如果答不上来,就先补一个内链再发出去。每隔一两个月,再用同样的方法扫一遍,看看有没有新出现的漏网页面。
孤岛页面的问题,本质上不是技术问题,而是内容结构与更新习惯的问题。入口补上了,页面才有被读取和被使用的前提。