很多站点结构不是一开始就很深,而是一年年加出来的。新栏目、新分类、新专题、新标签,每一次拆分都有理由,但叠起来之后,从首页到一篇正文可能要点击五六次。层级一深,抓取容易卡在中间层,用户也更容易在翻页和跳转之间走丢。
层级深度到底看什么
常说的“点击深度”,指的是从首页出发,沿着可点击链接到达某个页面的最少跳转次数。目录层级和点击深度不是一回事:一个路径很长、分了四五段目录的地址,可能因为首页就有直达入口而只需要两次点击;反过来,路径很短的页面也可能因为入口藏得深,要翻很久才找得到。
实际排查时,可以同时看三个数:目录路径段数、从首页出发的最短点击次数、以及这个页面在站内还有没有其他入口。三个数差距越大,越说明结构设计和实际入口对不上。
为什么越做越深
- 栏目按分类、地区、年份、月份层层拆分,每一层都做成可点目录。
- 列表页每页条数太少,内容一多就要翻十几页才能到底。
- 标签页、聚合页自动生成,数量膨胀但缺少人工梳理。
- 改版时把旧栏目挂到新结构下面,中间多出一层过渡页。
- 专题页只在活动期间给入口,活动结束后入口撤掉,内容沉到深处。
动手整理的大致顺序
- 先列出一批真正重要的页面:核心栏目首页、重点内容、持续更新的栏目详情。
- 记录每个页面从首页出发的最短点击路径,标出超过三次点击的部分。
- 把过细的层级合并,能放在同一层的分类不要硬拆成父子两级。
- 给深处的内容补回入口,例如相关阅读、同栏目推荐、专题汇总页,而不是只能靠列表一路翻。
- 调整之后观察一段时间的抓取记录和页面访问,确认新入口确实被走到。
列表和分页也要一起看
很多深度其实是分页造成的。把每页条数适当调大、让“下一页”和页码保持为可抓取的链接、给较早的内容做一个按时间或按分类的汇总入口,往往比改动 URL 结构更省事,也更不容易牵连已有地址。
别为了扁平把首页塞满
扁平化不等于把所有内容都堆到首页。首页链接过多、每次更新都在大幅变动入口,反而会让真正重要的入口分量被稀释,用户和爬虫都难以判断哪些位置更值得优先走。合理的做法是让核心内容在三跳之内可达,其余内容有稳定的归类路径,再配合搜索、标签等辅助入口。
结构的目标不是层数最少,而是每个重要页面都有一条稳定、说得清楚的进入路径。
一份可以定期过一遍的清单
- 首页到重点内容,点击次数是否大致控制在三次以内。
- 深层页面是否有至少两个不同来源的站内入口。
- 是否存在只能靠分页才能到达的栏目尾部内容。
- URL 路径段数与实际层级是否大体对应。
- 改版、下线、合并栏目之后,旧入口是否还有替代路径。
层级问题很少能一次改完,更适合跟着栏目规划定期回看。每次新增栏目或调整结构时,顺手检查一下新旧内容的进入路径,比等到大量页面沉底之后再回头挖要轻松得多。