新内容有首页和栏目页导流，旧内容却往往只靠一条内链撑着。当一篇文章从列表页翻下去之后，它和首页之间的路径可能只剩下面包屑，蜘蛛再访时的抓取路径就变得又长又细。归档页、标签页、专题页这类中间层，解决的就是这件事：它们不是内容本身，却是蜘蛛从入口走到旧内容的落脚点。
旧内容为什么容易被落下
列表页通常按时间倒序分页，新文章不断挤压旧文章的曝光位，两个月前的文章可能已经跌到第十页之后。蜘蛛并不总是愿意为了一个已经抓过的 URL 深入翻页，抓取额度会优先分给新链接和被内链反复提及的地址。旧内容如果只存在于分页深处，慢慢就会变成“知道它在，但不常去”的状态。
三种中间层各自解决什么
归档页
按月份、年份做聚合。它的价值在于路径稳定：URL 不随列表排序变化，蜘蛛可以把 /archive/2024-05/ 当作固定入口，一次抓取就能摸到当月所有文章。
标签页
按主题聚合，能把分散在不同栏目、不同时间发布的同主题文章串在一起，适合内容线较长的站点。
专题页
人工挑选，可读性和链接集中度都高于自动聚合，适合把真正重要的旧内容重新推回抓取路径。
设计要点
- 归档页和标签页要能被直接抓到，不要做成必须点击才展开的折叠结构。
- 每个标签页至少覆盖五到十篇内容，过于稀疏的标签页价值低，还容易摊开大量低质 URL。
- 分页要给出真实可抓取的链接地址，不能只留一个“加载更多”按钮。
- 中间层指向文章的链接尽量使用文章标题，避免清一色的“阅读更多”这类无信息锚文本。
- 中间层页面不需要承载太多权重，但必须保证能被抓取、能继续往下走。
常见的几个坑
标签泛滥
自动生成的标签经常出现只对应一两篇文章的长尾组合，URL 数量膨胀，蜘蛛进来一趟几乎全是空转。可以定期清理低量标签，或对它们做 noindex，但不要切断页面上的链接，否则爬虫也就走不下去了。
专题页做完就不更新
专题页如果长期挂着同一批链接，蜘蛛会降低访问频率。每次有新的相关文章时补进去，让它保持“有变化”的状态，抓取才会持续。
怎么确认中间层起了作用
- 看日志里是否出现对归档页、标签页、专题页的定期抓取，频率是否稳定。
- 抽查几篇旧文章的访问记录，看最近一次被抓是不是经由中间层进入。
- 观察抓取路径是否变短：从入口到旧文章经过的层级有没有下降。
中间层不负责给排名加分，它只做一件事：让蜘蛛在离开首页之后，还有一条愿意走的路通往旧内容。路径通畅和内容本身有没有需求是两回事，不要指望靠标签页救回没人看的文章。
站点越大、旧内容越多，越需要这类稳定的中间层。与其反复手动提交 URL，不如先把站内那条通往旧内容的路径修出来，剩下的交给蜘蛛按自己的节奏走。