蜘蛛进站之后，路线几乎全靠链接铺出来。一个页面愿意带出多少条 URL，决定了蜘蛛下一步能走到哪、能走多深。这个数量在技术 SEO 里常被称为“扇出”，它不像 Sitemap 那样显眼，却实实在在影响着站内的抓取扩散形态。
扇出指的是什么
扇出就是单个页面中可被跟随的链接数量。首页顶部的全站导航、分类列表页、聚合页、正文末尾的相关推荐，都在往下派发 URL。蜘蛛抓完这个页面，会把新发现的地址放进待抓队列，扇出越大，一次派发的地址越多。
要注意区分两种扇出：一种是站点结构层面的，比如导航、列表、分页；另一种是内容层面的，比如正文内链、相关推荐、标签。前者决定蜘蛛能不能快速摸清全站轮廓，后者决定它能不能从一个正文走到另一个正文。
扇出过大时会出现什么
- 抓取被摊薄：待抓队列里涌入大量地址，真正重要的正文页要排得更久。
- 抓取深度变浅：蜘蛛更容易在列表页之间打转，很少下到详情层。
- 重复路径增多：同一个 URL 通过筛选、排序、标签等多条路径被反复发现。
- 链接价值被稀释：每条链接分到的信号变少，蜘蛛对哪些页面更重要的判断也更模糊。
常见的重灾区是站内搜索页、日期归档、组合筛选页和无限滚动列表。它们本身不是坏页面，但作为链接出口时往往没有边界。
扇出过小同样有代价
反过来，如果每个页面只肯给两三条链接，蜘蛛就得靠更多跳数才能覆盖全站。深度增加后，靠后的页面被发现的时间会明显拉长，Sitemap 也就被迫承担更多兜底压力。
怎么找一个合适的区间
- 先按页面类型定规则：导航和主导列表页可以宽一些，正文页内链保持克制。
- 把全站导航控制在能一眼看完的范围，不要把所有频道和子频道都塞进页头。
- 列表页用分页承接后续内容，而不是靠加载更多按钮堆出几十屏链接。
- 相关推荐只留与当前页面主题真正相关的条目，宁少勿滥。
- 筛选和排序类链接配合可控的参数策略，避免组合爆炸。
分页是扇出的缓冲带
分页把一条长长的列表切成若干份，每份的链接数就落在可控区间里。需要注意的是，分页链接应当可以被逐页跟随，而不是全靠前端脚本渲染，否则蜘蛛看到的第一页可能就是终点。
别忘了链接的位置
同样数量的链接，放在正文里和塞在页脚，蜘蛛与用户对它的重视程度并不一样。核心路径尽量走正文区域，页脚更适合放少量稳定的入口。
用日志校准判断
规则定完不是终点。看服务器日志时，可以留意蜘蛛在列表页与详情页的抓取比例、待抓队列的消化情况，以及是否存在同一路径被反复访问。如果列表页抓取量远高于详情页，通常说明扇出偏大，或者分页没被好好利用。
扇出不是越小越好，也不是越大越热闹。它更像水管的管径：太细水流不动，太粗到处漏，合适的大小取决于站点内容的规模，以及你希望蜘蛛先看到什么。
把扇出当成抓取路径的一部分来设计，站内链接才会真正起到导流作用，而不是给蜘蛛制造一堆待办的地址。