新内容有首頁和栏目頁導流，舊内容却往往只靠一條内鏈撑着。当一篇文章從列表頁翻下去之後，它和首頁之間的路径可能只剩下面包屑，蜘蛛再訪时的抓取路径就變得又長又细。归档頁、标簽頁、专题頁這類中間层，解决的就是這件事：它們不是内容本身，却是蜘蛛從入口走到舊内容的落脚点。
舊内容為什么容易被落下
列表頁通常按時間倒序分頁，新文章不断挤压舊文章的曝光位，两個月前的文章可能已经跌到第十頁之後。蜘蛛並不總是愿意為了一個已经抓過的 URL 深入翻頁，抓取額度會優先分给新連結和被内鏈反复提及的地址。舊内容如果只存在于分頁深處，慢慢就會變成“知道它在，但不常去”的狀態。
三種中間层各自解决什么
归档頁
按月份、年份做聚合。它的價值在于路径稳定：URL 不随列表排序變化，蜘蛛可以把 /archive/2024-05/ 当作固定入口，一次抓取就能摸到当月所有文章。
标簽頁
按主题聚合，能把分散在不同栏目、不同時間發布的同主题文章串在一起，适合内容线較長的站点。
专题頁
人工挑選，可讀性和連結集中度都高于自動聚合，适合把真正重要的舊内容重新推回抓取路径。
设計要点
- 归档頁和标簽頁要能被直接抓到，不要做成必须点击才展開的折叠结构。
- 每個标簽頁至少覆盖五到十篇内容，過于稀疏的标簽頁價值低，還容易摊開大量低质 URL。
- 分頁要给出真實可抓取的連結地址，不能只留一個“加载更多”按钮。
- 中間层指向文章的連結尽量使用文章标题，避免清一色的“阅讀更多”這類無信息锚文本。
- 中間层頁面不需要承载太多權重，但必须保證能被抓取、能繼續往下走。
常见的几個坑
标簽泛滥
自動生成的标簽经常出現只對應一两篇文章的長尾组合，URL 數量膨胀，蜘蛛進来一趟几乎全是空轉。可以定期清理低量标簽，或對它們做 noindex，但不要切断頁面上的連結，否則爬虫也就走不下去了。
专题頁做完就不更新
专题頁如果長期挂着同一批連結，蜘蛛會降低訪問频率。每次有新的相關文章时补進去，让它保持“有變化”的狀態，抓取才會持續。
怎么確認中間层起了作用
- 看日誌里是否出現對归档頁、标簽頁、专题頁的定期抓取，频率是否稳定。
- 抽查几篇舊文章的訪問记錄，看最近一次被抓是不是经由中間层進入。
- 观察抓取路径是否變短：從入口到舊文章经過的层級有没有下降。
中間层不负责给排名加分，它只做一件事：让蜘蛛在离開首頁之後，還有一條愿意走的路通往舊内容。路径通畅和内容本身有没有需求是两回事，不要指望靠标簽頁救回没人看的文章。
站点越大、舊内容越多，越需要這類稳定的中間层。與其反复手動提交 URL，不如先把站内那條通往舊内容的路径修出来，剩下的交给蜘蛛按自己的节奏走。