聊收录时,大家更容易关注提交接口、sitemap 和 robots.txt,却常常忽略一件更基础的事:蜘蛛在站内活动,主要靠链接一跳一跳地走。哪里被链接,哪里就可能被抓;哪里没有链接,哪里就只剩下提交或外链这一条路。
内链不是优化清单里的装饰项,它是蜘蛛发现 URL 的主干道。把这条道梳理清楚,比反复提交更有实际意义。
入口数量:一个页面被多少地方指向
同一个页面,如果只在角落出现过一次,和出现在导航、列表页、相关推荐里,被访问的机会并不相同。入口数量多,意味着蜘蛛在站内游走时更容易反复遇到它,重新抓取的机会也更多。
需要注意的是,入口不是越多越好,也不是无脑堆链接。判断标准可以粗一点:重要页面应当被多个不同层级的页面链接到,并且链接出现在内容区域而不是装饰区域。
入口质量的几个观察点
- 是否来自首页或频道页这类常被抓取的页面
- 是否出现在正文相关位置,而不是全站页脚的一长串链接里
- 是否稳定存在,不随栏目改版频繁消失
层级深度:从首页点几次能到
站内层级越深,蜘蛛越难走到。常见的经验是,重要内容最好能在首页点击三到四次内到达;超过这个深度,页面就要依赖其他入口来补。
深层次的问题往往不是没有链接,而是链接链条太长:首页到栏目,再到子栏目、列表、分页、详情。分页本身还可能被限制抓取,页面就此断在半路。
一个页面被收录得很慢,先别急着加提交,先看看从首页点到它需要几次点击。
可以做的调整
- 把核心页面挂到频道首页或专题页,缩短点击路径
- 在正文里做相关性链接,让深层页面从内容层被引到
- 检查列表页分页是否把尾部内容挡住了
孤岛页面:只在 sitemap 里,站内没人提
有些页面在 sitemap 里有,在后台也有,但站内没有任何链接指向它。这种页面通常依赖 sitemap 或外链被发现,抓取频率很低,更新也不容易被察觉。
孤岛页面不一定是错的——活动页、专题页、临时推广页可能本就希望走提交这条路。但如果它是站点的常规内容,长期没有内链,就值得补一个入口。
怎么找
- 把 sitemap 里的 URL 与站内可抓取链接做一次比对,取差集
- 统计每个 URL 的站内入链数量,标记为 0 的记录
- 抽查这些页面的访问日志,看蜘蛛是否长期缺席
链接本身要能被抓到
链接存在,不代表蜘蛛能顺着走。以下几种情况会让内链形同虚设:
- 用 onclick 或 JS 跳转代替普通链接,脚本不执行时链接不可见
- 链接被 nofollow 包住,虽然仍可能被发现,但传递的信任度下降
- 链接指向跳转地址或中间页,最终 URL 与页面对不上
- 导航由前端异步渲染,蜘蛛首次抓取时拿到的是空容器
站内链接尽量用普通的 a 标签加目标 URL,是最省事的做法。如果必须动态渲染,至少保证关键入口在 HTML 里就存在。
锚文本与相关性
锚文本能帮助理解目标页面的主题,但它不是一个可以靠堆关键词来操控的开关。用页面本身的标题或核心内容做锚文本,比统一用“点击这里”更清楚,也更自然。
一份简单的自查顺序
- 整理站点希望被收录的 URL 清单
- 用抓取工具或日志,统计这些 URL 的站内入链数量与来源层级
- 挑出入链为 0、或只来自全站页脚的页面
- 检查关键路径上是否存在 JS 链接、nofollow 与跳转地址
- 按重要性排序,先补核心内容,再处理长尾页面
- 调整后观察抓取日志中这些 URL 的出现频率是否变化
内链梳理不会立刻让页面进入索引,它改变的是蜘蛛在站内的行走路线。路线通畅了,页面被发现和重新抓取的机会才会随之改变,剩下的仍需看页面本身是否值得保留。