蜘蛛在站内移動，靠的是一层层的連結。首頁往下走，往往先遇到分類頁、标簽頁、归档頁這類中間层頁面，再通過它們到達具体内容。很多站点把注意力都放在内容頁和 Sitemap 上，中間层却長期没人管，抓取路径的問题多半出在這里。
中間层頁面在抓取路径中的位置
從抓取角度看，一個 URL 大概分两件事：能不能被發現，被發現後值不值得抓。首頁和 Sitemap 决定發現的大方向，中間层决定的是具体走法——蜘蛛有没有路通到深层頁面，走多少步能到，路上會碰到多少重复或低质地址。
中間层頁面本身通常不是目标頁面，它的主要作用是传递入口。但蜘蛛不會区分意图，它只按連結抓，所以這些頁面也會被真正抓取、渲染，占用請求次數。
三種常见的中間层形態
分類頁
分類頁一般是结构最清晰的中間层，层級固定、連結集中，是蜘蛛快速铺開抓取的主要通道。分類頁出問题，常见于两種情况：一是分類拆得過细導致頁數膨胀，二是分類下内容太少，頁面只剩几行标题加一句描述。
标簽頁
标簽頁由内容自動生成，數量随时變化。它的好處是能把同一個话题下的内容横向串起来，坏處是容易長出大量只挂一两篇文章的标簽頁。這類頁面對 URL 發現帮助有限，却要占抓取次數。
归档頁
按月份、年份生成的归档頁结构重复，内容與分類頁高度重叠。如果站点同时存在分類頁、标簽頁、归档頁和分頁頁，同一個 URL 往往有好几條路径可以到達，蜘蛛容易重复訪問。
中間层對抓取的两個相反作用
- 指路：把深层内容從“只有 Sitemap 知道”變成“從首頁点几下就能到”，顯著改善 URL 發現。
- 分流：連結位置和數量决定蜘蛛更愿意往哪走，導航和面包屑通常比頁脚、邊栏更受重视。
- 消耗：頁面越多、内容越薄，抓取次數被摊得越散，真正需要更新的内容反而排在後面。
- 负载：静態生成的中間层如果數量巨大，蜘蛛集中抓取时對服務器压力的影响並不小。
失控时的几個信号
不需要复杂工具，從日誌和内部連結分布就能看出苗头：
- 日誌里出現大量由參數拼接、排序、篩選产生的地址，而且都返回 200。
- 一批中間层頁面收錄正常，点進去只有一两條内容，且長期不更新。
- 同一個内容 URL 有多條進入路径，抓取频率被分散。
- 蜘蛛對中間层的抓取次數明顯多于内容頁，抓取高峰时服務器响應變慢。
整理顺序：先收敛，再补入口
處理中間层，建议按下面的顺序走，避免一邊删一邊新長出来：
- 先看數量。統計分類、标簽、归档各有多少頁面，其中多少頁面下内容少于三條。
- 再定保留标准。只保留有稳定内容量、真有人會点進去的中間层，其余用 noindex 處理或干脆不生成。
- 合並同類。归档頁與分類頁功能重叠时，優先保留结构更清晰的那一類。
- 补入口。確認重要内容在導航、面包屑或正文里至少有一條稳定連結，而不是只靠 Sitemap。
- 观察日誌。調整後看蜘蛛對内容頁的抓取比例是否上升，中間层請求是否下降。
中間层不是越多越好，也不是越少越好。判断标准很简單：這個頁面能不能帮蜘蛛走到它原本走不到的地方，或者帮用戶找到他本来找不到的内容。两個都答不上来，就值得重新考虑。
和 Sitemap、服務器一起看
中間层只是路径的一段。Sitemap 负责把 URL 清單讲清楚，内鏈负责把路径铺開，服務器稳定性决定這條路能不能顺利走完。三者配合得好，蜘蛛能在有限次數里覆盖到重点内容；任何一环出問题，表現往往都是抓取變少、更新變慢，而不是立刻报错。
整理中間层不必一次做完，先把數量最大、内容最少的那一類收敛掉，再观察一两周日誌，通常就能看到抓取分布的變化。