翻抓取日誌时经常能看到一個現象：蜘蛛訪問最多的往往不是文章頁，也不是首頁，而是夹在中間的列表頁、分類頁和归档頁。它們不承担正文，却决定了蜘蛛能不能顺着路走到詳情頁。把這些“中轉頁”安排明白，抓取路径通常就顺了。
中轉頁在抓取路径里的三個作用
中轉頁本身的内容價值有限，但它的功能很难被替代。
- 缩短点击深度：詳情頁如果只能從首頁逐层点進去，深度會越来越深，蜘蛛走到後面的概率就越低。
- 提供稳定入口：栏目和归档的 URL 一般比較固定，蜘蛛每次来訪都能從同一個位置重新铺開路径。
- 反映内容變化：新詳情頁出現时，通常先出現在列表頁里，這是蜘蛛發現新 URL 的主要来源之一。
哪些中轉頁值得保留
分類頁與栏目頁
结构清晰、内容長期稳定、有明确检索意图的分類頁，通常值得保留，並且應该放在導航或首頁可见的位置。它們的 URL 要固定，不要因為改版或參數變化而频繁換地址，否則蜘蛛需要重新建立路径。
列表頁與分頁
分頁是抓取路径里最容易膨胀的部分。第一頁到第三、第五頁通常還有價值，再往後翻，蜘蛛抓到的内容和前面高度重复，却要消耗同等的抓取成本。可以考虑只放出有限頁數的分頁連結，更深的翻頁改成点击加载，或者干脆不再提供可抓取的連結。同时要避免同一份列表用多套參數生成多個 URL。
标簽頁與归档頁
标簽頁和日期归档能帮蜘蛛走到老内容，但數量容易失控。几百個只有一两條内容的标簽頁，會往抓取路径里塞進大量低價值中轉。建议只保留有條目數量的标簽，归档頁保留到月维度即可，没必要细到日。
中轉頁常见的几個坑
- 空分類、空列表：没有條目时返回的不是 404 就是一個空壳頁面，蜘蛛抓完没有出口。
- 列表内容全由 JS 渲染：蜘蛛第一次拿到的 HTML 里没有連結，路径到這里就断了。
- 分頁用按钮跳轉：把 a 标簽換成 button 或事件調用 JS，連結不再可跟。
- 中轉頁之間互相循环：A 指向 B，B 又指回 A，路径在原地打轉。
- 内容重复：同一批詳情頁被多個中轉頁重复列出，蜘蛛反复抓同样的目标。
怎么排更省抓取
- 明确主路径：選一套分類体系作為主要抓取路径，其余辅助入口不要和它争抢連結位置。
- 控制每頁連結量：一個列表頁放几十條連結是合理的，几百條會把可用的抓取分摊得太薄。
- 重要内容靠前：新文章、主推栏目放在列表頁前部，蜘蛛按顺序抓取时更容易先碰到。
- 分頁给稳定 URL：保留分頁就用固定地址，不要附加随机排序參數。
- 给中轉頁留出口：返回上一級、相關分類、推荐内容，让蜘蛛抓完還有下一步可走。
- 用 Sitemap 兜底：詳情頁的完整清單交给 Sitemap，不必指望分頁把每個角落都翻到。
怎么驗證排得對不對
光看结构不够，還要回到日誌。观察蜘蛛在中轉頁的抓取次數、狀態碼分布，以及同一時間段内詳情頁被抓了多少。如果中轉頁被抓得很勤，詳情頁却很少出現，說明路径在中間被消耗掉了；如果日誌里几乎看不到新的詳情頁 URL，問题可能出在列表頁没有可跟的連結，或者連結根本没寫進 HTML。
中轉頁不生产内容，它决定蜘蛛能不能走到内容。少一点、稳一点、出口清楚一点，抓取路径通常就顺了。