很多站点把注意力放在首页和详情页，却忽略了蜘蛛在站内行走时经常停留的“中转页”：标签页、聚合页、专题页、搜索结果页。这些页面通常链接密集，是 URL 发现的重要通道，但也容易变成抓取路径里的负担。
中转页在抓取路径里的角色
蜘蛛从入口页进入后，往往沿着导航、列表、标签一路向下。中转页的作用，是把分散的详情页串起来，让蜘蛛不用回到首页就能继续发现新 URL。一个结构清晰的标签页，可能比首页多出几十条内链，对 URL 发现很有帮助。
问题在于，中转页如果只是机械罗列，没有独立内容，蜘蛛抓完一次后再次到访，发现页面没有变化，后续抓取优先级就会下降。更麻烦的是，当标签、筛选、排序参数组合出大量相似 URL，抓取路径会被拖进重复内容的迷宫。
保留哪些中转页，砍掉哪些
- 有稳定主题、能长期维护的标签页或聚合页，可以保留，并给它一段说明文字，而不是只有链接列表。
- 由用户筛选、排序产生的参数页，尽量用 robots.txt 或 noindex 控制，不要让蜘蛛跟着每一个组合走。
- 搜索结果页、空结果页、临时专题页，通常不值得占用抓取机会。
- 分页很深的聚合页，考虑只保留前几页可抓取，后面的用“加载更多”或站内搜索替代。
内链怎么摆，蜘蛛才愿意继续走
中转页上的链接位置和数量都会影响蜘蛛的行走顺序。把最重要的几个入口放在首屏正文附近，比堆在页脚更有效。同一页面里，指向同一批详情页的链接不要重复太多；如果确实需要重复，至少保证锚文本自然、上下文相关。
锚文本不必刻意堆关键词，但最好能说明目标页大致内容。比如“标签：抓取诊断”比“点击这里”更容易让蜘蛛理解链接关系。对于新发布的详情页，从中转页给一条内链，通常比只提交 Sitemap 更快被走到。
Sitemap 与内链配合，而不是互相替代
Sitemap 适合告诉蜘蛛“站点有哪些 URL”，内链则告诉蜘蛛“哪些 URL 更重要、更新更频繁”。两者配合使用，效果更稳。中转页更新后，可以同步更新 Sitemap 里的 lastmod，但不要为了催抓取频繁改动时间戳，否则这个字段会失去参考意义。
别让服务器波动打断中转路径
蜘蛛沿着中转页走的时候，如果某一层频繁返回 5xx 或超时，它可能暂时降低整条路径的抓取频率。中转页本身最好保持稳定响应，不要因为聚合查询过重而拖慢。如果页面需要实时计算，考虑加缓存，让蜘蛛和用户都能快速拿到 HTML。
中转页的价值不在于链接越多越好，而在于它能否把蜘蛛顺畅地带到真正需要被发现的 URL 上。
最后，定期从服务器日志里看蜘蛛在中转页上的抓取记录：哪些标签页反复被抓，哪些聚合页一直没动静，哪些路径走一半就断了。把这些痕迹和 Sitemap、内链调整结合起来，抓取路径会比单纯堆链接更清晰。