如果只靠首页导航,深页往往要走四五跳才被碰到。站内聚合页——标签页、归档页、专题页——的价值就在这里:把分散的内容按主题重新串起来,用较短的路径把一批 URL 集中送到蜘蛛面前。用得好,它是内链结构的补充;用得太随意,它自己就会变成一堆低价值的空壳页面。需要先说明的是,聚合页只解决“被看到”的问题,是否抓取、是否收录,仍然取决于内容本身和服务器响应。
聚合页在 URL 发现链路里的位置
蜘蛛进入站点后,通常沿着两套通道推进:一套是导航和正文里的常规内链,一套是站点地图。聚合页属于第一套,但它的优势在于“近”和“集中”——挂在首页或栏目的第一屏,点一次就能看到几十条内容链接。相比让蜘蛛一层层往下翻列表,聚合页把发现距离压短了。
三类常见聚合页的差别
- 标签页:随内容标签自动生成,数量和更新跟着内容走。覆盖面广,但容易出现只挂一条内容的标签页,这类页面带路价值很低。
- 归档页:按时间或分类归档。路径稳定、更新规律,适合让蜘蛛形成固定的回访路线。
- 专题页:人工挑选编排,条目不多但相关性强,通常也是站内被链接最多的一类聚合页。
入口位置决定带路效果
同样的聚合页,放在首页第一屏和埋在页脚最底部,被走到的概率差别很大。可以按重要性分三层:首页或主导航放三到五个核心聚合入口;栏目页放该领域的次级聚合;其余聚合页靠内链自然串联。层级清楚了,抓取路径也就清楚了。
别让聚合页自己变成负担
常见的失控方式是标签无节制增长:一篇内容打五六个标签,几百篇下来就是上千个地址,其中大部分只有一两条内容。这会稀释内链,也让蜘蛛把时间花在重复的组合页上。可行的做法是给标签设置使用门槛,比如被引用到一定数量才生成可访问页面,达不到的只作为筛选条件存在。
让聚合页真正带路的几个做法
- 列表里的链接用真实可抓取的 a 标签,不要依赖点击后异步加载。
- 控制单页链接数量,必要时用分页承接,分页自身也要能被点到。
- 新内容优先放进已有较强入口的聚合页,而不是新建一个空白标签页。
- 给聚合页写一段说明性文字,避免整页除了链接列表没有别的内容。
- 站点地图里只提交稳定、有内容的聚合页,减少频繁变动的组合参数页。
什么时候该给聚合页降温
如果某个聚合页长期只收录很少条目、描述重复,而且没有站内或站外链接指向它,那它多半只是在消耗抓取。合并、设置 noindex,或者干脆去掉入口,都比留着更合适。反过来,被其他内容频繁引用的聚合页,可以放心放在导航或侧栏的显眼位置。
用数据回头验证
聚合页有没有起作用,看两件事就够:一是服务器日志里这些页面被抓的次数,以及它们带出去的链接是否也被抓;二是新内容发布后,从聚合页被发现的地址和从站点地图被发现的地址,哪条路径更快。把这两个观察放进日常记录,比凭感觉加标签可靠得多。