翻抓取日志时经常能看到一个现象：蜘蛛访问最多的往往不是文章页，也不是首页，而是夹在中间的列表页、分类页和归档页。它们不承担正文，却决定了蜘蛛能不能顺着路走到详情页。把这些“中转页”安排明白，抓取路径通常就顺了。
中转页在抓取路径里的三个作用
中转页本身的内容价值有限，但它的功能很难被替代。
- 缩短点击深度：详情页如果只能从首页逐层点进去，深度会越来越深，蜘蛛走到后面的概率就越低。
- 提供稳定入口：栏目和归档的 URL 一般比较固定，蜘蛛每次来访都能从同一个位置重新铺开路径。
- 反映内容变化：新详情页出现时，通常先出现在列表页里，这是蜘蛛发现新 URL 的主要来源之一。
哪些中转页值得保留
分类页与栏目页
结构清晰、内容长期稳定、有明确检索意图的分类页，通常值得保留，并且应该放在导航或首页可见的位置。它们的 URL 要固定，不要因为改版或参数变化而频繁换地址，否则蜘蛛需要重新建立路径。
列表页与分页
分页是抓取路径里最容易膨胀的部分。第一页到第三、第五页通常还有价值，再往后翻，蜘蛛抓到的内容和前面高度重复，却要消耗同等的抓取成本。可以考虑只放出有限页数的分页链接，更深的翻页改成点击加载，或者干脆不再提供可抓取的链接。同时要避免同一份列表用多套参数生成多个 URL。
标签页与归档页
标签页和日期归档能帮蜘蛛走到老内容，但数量容易失控。几百个只有一两条内容的标签页，会往抓取路径里塞进大量低价值中转。建议只保留有条目数量的标签，归档页保留到月维度即可，没必要细到日。
中转页常见的几个坑
- 空分类、空列表：没有条目时返回的不是 404 就是一个空壳页面，蜘蛛抓完没有出口。
- 列表内容全由 JS 渲染：蜘蛛第一次拿到的 HTML 里没有链接，路径到这里就断了。
- 分页用按钮跳转：把 a 标签换成 button 或事件调用 JS，链接不再可跟。
- 中转页之间互相循环：A 指向 B，B 又指回 A，路径在原地打转。
- 内容重复：同一批详情页被多个中转页重复列出，蜘蛛反复抓同样的目标。
怎么排更省抓取
- 明确主路径：选一套分类体系作为主要抓取路径，其余辅助入口不要和它争抢链接位置。
- 控制每页链接量：一个列表页放几十条链接是合理的，几百条会把可用的抓取分摊得太薄。
- 重要内容靠前：新文章、主推栏目放在列表页前部，蜘蛛按顺序抓取时更容易先碰到。
- 分页给稳定 URL：保留分页就用固定地址，不要附加随机排序参数。
- 给中转页留出口：返回上一级、相关分类、推荐内容，让蜘蛛抓完还有下一步可走。
- 用 Sitemap 兜底：详情页的完整清单交给 Sitemap，不必指望分页把每个角落都翻到。
怎么验证排得对不对
光看结构不够，还要回到日志。观察蜘蛛在中转页的抓取次数、状态码分布，以及同一时间段内详情页被抓了多少。如果中转页被抓得很勤，详情页却很少出现，说明路径在中间被消耗掉了；如果日志里几乎看不到新的详情页 URL，问题可能出在列表页没有可跟的链接，或者链接根本没写进 HTML。
中转页不生产内容，它决定蜘蛛能不能走到内容。少一点、稳一点、出口清楚一点，抓取路径通常就顺了。