蜘蛛池里入口页的数量可以持续增加,但蜘蛛的抓取配额是有限的。如果站内链接没搭好,爬虫很容易在首页和少数几个入口页之间来回打转,剩下的页面长期没有抓取记录。内链的作用不是堆链接,而是给爬虫一条清晰、稳定、可预期的通路。
内链同时服务爬虫和用户
只考虑爬虫的内链通常会长成两种样子:页脚堆几百个链接,或者正文里塞一堆和主题无关的跳转。这类做法短期效果不稳定,页面积累的权重也被摊薄。更稳妥的思路是让内链先对用户有意义——用户会顺着点的链接,往往也是爬虫愿意跟的链接。
链接层级:三层以内最容易维护
首页 → 栏目页 → 详情页是最常见的结构。层级越深,蜘蛛到达该页面需要的跳数越多,抓取频率通常也越低。入口页本身应当尽量靠近首页,深层页面再从入口页分发出去。
- 第一层:首页,放少量指向核心入口页的链接。
- 第二层:入口页或列表页,承担主要的分发任务。
- 第三层:具体内容页,向上回链到第二层,形成闭环。
- 超过五层才被点到的页面,通常要单独做入口或放进 sitemap。
单个页面放多少链接
没有硬性上限,但链接越多,每个链接分到的注意力越少。经验上,正文内的相关链接控制在 5 到 20 个比较自然,导航加页脚合计再留出几十个的位置。如果某个页面需要链接上百个地址,更合适的方式是做成分页或分类页,而不是把所有链接塞在一屏里。
锚文本:不要全站同一个词
全站指向同一个页面的锚文本完全一致,是很容易被识别的模式。更自然的做法是让锚文本围绕页面主题做几种表达:核心词、长尾词、描述性短语各占一部分。同时避免大量使用「点击这里」「更多」这类没有信息量的文字,它对用户和爬虫都没有帮助。
导航、面包屑与页脚的分工
这三者的定位并不一样:
- 主导航:指向站点最重要的几个板块,数量少、位置固定。
- 面包屑:告诉爬虫当前页面在层级中的位置,同时提供一条回到上级的路径。
- 页脚:适合放全站通用的链接,比如关于、帮助、sitemap,不适合当成第二个导航使用。
孤立页面与爬行死胡同
孤立页面指的是没有任何站内链接指向、只能靠外部链接或 sitemap 被发现的页面。蜘蛛池规模一大,这种页面很容易在改版或批量生成时冒出来。另一种情况是爬行死胡同:页面只有出链、没有回链,蜘蛛顺着走进去后没有继续爬的路径。定期用站内链接分析工具跑一遍,能比较快地发现这两类问题。
一份可照做的检查清单
- 抽查十个入口页,确认它们都能从首页三次点击内到达。
- 检查是否存在只有 sitemap 引用、站内没有链接的页面。
- 统计同一个目标页面的锚文本种类,判断是否过于单一。
- 查看页脚链接数量,超过合理范围就做减法。
- 确认导航和面包屑在所有页面上都能正常渲染,而不是依赖 JS 才出现。
- 结合抓取日志,看深层页面的抓取频次是否明显低于入口页。
内链调整属于结构性改动,效果需要一段时间才能在抓取日志里体现。改动后先观察两到四周,再决定是否继续调整,不建议频繁大改。