多数站长把注意力放在站点地图和提交渠道上,忽略了更基础的一件事:搜索蜘蛛在站内移动靠的是链接。如果一个 URL 在整站里没有任何一个可点击、可爬取的 a 标签指向它,它就成了孤岛页面——能不能被发现,基本靠运气。
哪些情况会造出孤岛页面
- 商品或内容已经下架,页面仍然返回 200,只是从所有列表里被移除了;
- 内链改版时删掉了旧入口,但 URL 本身依旧可以访问;
- CMS 自动生成的聚合页、作者页、日历页,只在站点地图里出现;
- 分页被“加载更多”替代后,第二页之后的地址只剩下接口调用;
- 专题页刚上线,还没有任何页面指向它;
- 外部渠道带来的链接(友情链接、社媒、广告落地页)指向站内,站内却没有出口。
先确认它到底有没有内链入口
判断方法并不复杂:从首页出发,只跟随页面里的 a 标签做一次内链爬行,把能走到的 URL 全部记录下来,再和站点地图、服务器日志里出现过的 URL 做差集。差集里的那部分,就是站内找不到入口的页面。
测试时把脚本关掉再跑一遍更接近真实情况,因为不少爬虫不会执行 JS,脚本渲染出来的链接在它们眼里等于不存在。同一个 URL 在内链爬行里走不到,却在日志里频繁出现,那它大概率是靠站点地图或外部链接被发现的。
有多少孤岛页面值得救
不是每个没有入口的 URL 都值得补链接,先分个类:
- 有搜索需求、有转化价值的页面,补入口;
- 内容重复、参数组合、筛选结果的页面,做收敛或 canonical,别让它单独漂流;
- 确实没用的页面,用 410 或 301 指向最近的替代页,不要留着返回 200 的空壳。
把一批低价值页面硬塞进导航或页脚,只会稀释内链权重,也让搜索蜘蛛的来访次数花在没意义的地址上。
补入口的几种实际做法
- 面包屑里补上所属分类,让层级关系重新成立;
- 相关推荐、上一篇下一篇、同系列内容列表;
- 分类页和标签页里保留一个稳定入口,而不是只在活动期露出;
- 站点地图作为兜底:它解决的是“告诉搜索引擎有这个地址”,不是替代内链;
- 旧文更新时顺手补一条指向相关内容的内链,成本最低。
入口必须是标准链接,用 href,不要用 onclick、javascript: 跳转,或者只有表单提交才能到达的按钮。同时注意层级:从首页到目标页如果超过四五跳,实际被走到的机会会明显下降。
维护节奏怎么安排
站点改版、批量下架、更换 CMS 之后,内链结构最容易出现断层,这时候跑一次核对最有效。平时可以按季度做一遍,把站点地图与实际可爬链接集合的差集逐步缩小。如果日志里长期出现一些从没在内链爬行结果里见过的 URL,值得单独看一眼:它们要么靠站点地图,要么靠外部链接被发现,任其发展就会变成没人管的长期孤岛。
站点地图和主动推送解决的是“告诉搜索引擎有这个地址”,内链解决的是“让搜索蜘蛛在站内自然走到它”。前者是补充,后者才是长期稳定的路径。
不要把孤岛页面当成技巧
有人会故意让大量页面只存在于站点地图里,期望它们被单独抓取。这种做法短期可能看到一些抓取记录,但页面没有内链支撑、缺少上下文,更新回访和内容价值都很难维持。更稳妥的思路仍然是:想让一个 URL 被持续发现,就给它一个站内入口。