站点运营

站点运营:分页自查,别让翻页把深层内容挡在抓取路径之外

列表页翻到第三页之后往往就没人看了,包括蜘蛛。但深层内容恰恰藏在那里。本文从链接可抓取性、每页条数、分页标题、翻页方式、sitemap 配合几个角度,整理一份分页自查清单,帮站点运营者把翻页这件事重新过一遍。

站点运营

站点运营:分页自查,别让翻页把深层内容挡在抓取路径之外

列表页翻到第三页之后,往往就很少有人看了——包括蜘蛛。但深层内容恰恰都藏在后面。分页看起来只是页面底部那个「下一页」按钮,实际同时影响着访客的浏览深度和蜘蛛的抓取路径。这篇整理一份分页自查清单,适合栏目多、内容量大的站点定期过一遍。

第一步:确认翻页链接蜘蛛能不能点到

不少站点的分页是用脚本拼出来的:按钮是个 div,没有 href,点击之后才去请求数据。人点得动,蜘蛛看不到。检查时不用看源码看很久,把浏览器里的脚本关掉,或者直接查看渲染前的 HTML,如果第二页之后的链接不在里面,就要留意了。

  • 分页节点是否真的是带 href 的 a 标签,而不是按钮或空链接;
  • 从列表第一页能否一路点到最后一页,中间有没有断点;
  • 分页 URL 是否被 robots.txt、noindex 或参数过滤规则挡住;
  • 翻页是否需要滚动、悬停、点击二次确认才会出现;
  • 进入分页后返回列表,路径是否还指向原来的栏目。

每页条数:别为了「看起来内容多」而塞满

每页 10 条和每页 100 条,是两种不同的工程。条数太少,翻页次数暴涨,深层内容离首页越来越远;条数太多,列表页本身变得很重,加载慢、首屏挤,访客也更难扫读。比较稳妥的做法是让列表页保持轻量:缩略图、标题、摘要、时间,控制在能快速浏览的程度,把重量级内容留在详情页。栏目内容不多时,也不要硬撑一个看起来很长的列表,宁可把每页条数调小一点,也别让一页里塞进大量重复推荐位。

分页页面的标题别直接复制第一页

第 2、3 页的 title 和 description 常常和第一页一模一样,几十个页面共用一个标题。访客在标签页上一眼看不出区别,搜索结果里也是同样的文案反复出现。可以在标题里带上页码或内容区间,描述里换成该页实际包含的内容方向。更要注意的是,分页页本身通常是聚合页,别让它抢了详情页该有的位置;如果分页只承担导航功能、没有独立价值,可以考虑用合适的方式降低它的权重,而不是让它变成一堆薄内容。

三种翻页方式的取舍

传统分页链接

结构最清楚,每一页都有独立 URL,便于被逐个发现。缺点是翻到很后面时访客体验一般,适合内容量中等、需要被逐页收录的栏目。

加载更多按钮

对访客友好,但只加了按钮、不加可访问链接的话,后面的内容可能永远进不了抓取范围。至少要让列表第一页里存在通往后续内容的链接。

无限滚动

体验流畅,但对抓取和分享都不友好:没有独立的可复制地址,蜘蛛也很难滚到底。如果确实要用,建议配合一个可以完整翻页的备用路径。

分页与 sitemap、内链的配合

站点地图一般只提交列表第一页,深层内容还是靠详情页自己进地图。所以别指望分页链接承担全部发现任务:重要详情页该进 sitemap 就进,该从栏目页直连就直连。内链方面,列表页顶部的固定入口尽量不要长期被促销位占满,让核心栏目在首屏就能点到,比把链接全堆在页脚更有效。

一份可执行的自查清单

  1. 关掉脚本,看分页链接是否仍在 HTML 中;
  2. 从第一页连续点到最后,确认没有断链和回环;
  3. 检查分页 URL 是否被规则误挡,状态码是否正常;
  4. 抽查第 2、3 页的标题与描述,是否与第一页完全重复;
  5. 确认每页条数和列表页加载体积处在可接受范围;
  6. 核对重要详情页是否已进入 sitemap 和内链体系;
  7. 记录一次翻页路径,作为下次改动后的对照。
分页不是排版细节,它决定了内容能不能被走到。定期走一遍翻页路径,比事后猜测为什么新内容迟迟没动静要实在得多。