蜘蛛進站之後，路线几乎全靠連結铺出来。一個頁面愿意带出多少條 URL，决定了蜘蛛下一步能走到哪、能走多深。這個數量在技術 SEO 里常被称為“扇出”，它不像 Sitemap 那样顯眼，却實實在在影响着站内的抓取扩散形態。
扇出指的是什么
扇出就是單個頁面中可被跟随的連結數量。首頁顶部的全站導航、分類列表頁、聚合頁、正文末尾的相關推荐，都在往下派發 URL。蜘蛛抓完這個頁面，會把新發現的地址放進待抓队列，扇出越大，一次派發的地址越多。
要注意区分两種扇出：一種是站点结构层面的，比如導航、列表、分頁；另一種是内容层面的，比如正文内鏈、相關推荐、标簽。前者决定蜘蛛能不能快速摸清全站轮廓，後者决定它能不能從一個正文走到另一個正文。
扇出過大时會出現什么
- 抓取被摊薄：待抓队列里涌入大量地址，真正重要的正文頁要排得更久。
- 抓取深度變浅：蜘蛛更容易在列表頁之間打轉，很少下到詳情层。
- 重复路径增多：同一個 URL 通過篩選、排序、标簽等多條路径被反复發現。
- 連結價值被稀释：每條連結分到的信号變少，蜘蛛對哪些頁面更重要的判断也更模糊。
常见的重灾区是站内搜尋頁、日期归档、组合篩選頁和無限滚動列表。它們本身不是坏頁面，但作為連結出口时往往没有邊界。
扇出過小同样有代價
反過来，如果每個頁面只肯给两三條連結，蜘蛛就得靠更多跳數才能覆盖全站。深度增加後，靠後的頁面被發現的時間會明顯拉長，Sitemap 也就被迫承担更多兜底压力。
怎么找一個合适的区間
- 先按頁面類型定規則：導航和主導列表頁可以宽一些，正文頁内鏈保持克制。
- 把全站導航控制在能一眼看完的范围，不要把所有频道和子频道都塞進頁头。
- 列表頁用分頁承接後續内容，而不是靠加载更多按钮堆出几十屏連結。
- 相關推荐只留與目前頁面主题真正相關的條目，宁少勿滥。
- 篩選和排序類連結配合可控的參數策略，避免组合爆炸。
分頁是扇出的缓冲带
分頁把一條長長的列表切成若干份，每份的連結數就落在可控区間里。需要注意的是，分頁連結應当可以被逐頁跟随，而不是全靠前端脚本渲染，否則蜘蛛看到的第一頁可能就是终点。
別忘了連結的位置
同样數量的連結，放在正文里和塞在頁脚，蜘蛛與用戶對它的重视程度並不一样。核心路径尽量走正文区域，頁脚更适合放少量稳定的入口。
用日誌校准判断
規則定完不是终点。看服務器日誌时，可以留意蜘蛛在列表頁與詳情頁的抓取比例、待抓队列的消化情况，以及是否存在同一路径被反复訪問。如果列表頁抓取量遠高于詳情頁，通常說明扇出偏大，或者分頁没被好好利用。
扇出不是越小越好，也不是越大越热闹。它更像水管的管径：太细水流不動，太粗到處漏，合适的大小取决于站点内容的規模，以及你希望蜘蛛先看到什么。
把扇出当成抓取路径的一部分来设計，站内連結才會真正起到導流作用，而不是给蜘蛛制造一堆待办的地址。