蜘蛛進入站点後，除了讀目前頁面的内容，還會顺手把頁面上的連結记下来，放進待抓列表。真正决定一個新 URL 能不能較快被發現的，往往不是首頁，而是几個被反复经過的中間頁面。把它們叫枢纽頁比較直观：它們被大量内鏈指向，同时自己又给出大量出鏈。
枢纽頁通常長什么样
- 首頁、频道首頁：天然被全站導航和面包屑指向。
- 栏目列表頁、分頁頁：出鏈數量最多，一條連結對應一個詳情頁。
- 标簽頁、聚合頁、专题頁：把散落在不同栏目里的内容重新聚到一處。
- 站点地图頁、導航頁：专门為人和爬虫提供入口。
這几類頁面的共同点是：抓取频次高，出鏈密度大。蜘蛛走到它們身上，等于一次拿到几十上百條线索。
為什么值得單獨看這一類頁面
站点的抓取路径基本是“首頁→栏目→列表→詳情”這样一层层往下走。如果中間某一层的出鏈断了、少了，或者都指向已经抓過的一批頁面，後面的詳情頁就只能靠別的方式被發現，時間會被拉長。反過来，把枢纽頁的出鏈补一补，等于在同一條抓取路径上多開了几個岔口。
三個常见問题
1. 出鏈太少
有的列表頁一屏只放十條，翻頁又是异步加载，HTML 里能看到的連結只有十條。蜘蛛抓完這十條就走人了，列表背後的内容一直排不上队。不用堆得密密麻麻，但至少让 HTML 里能直接看到一批稳定的連結。
2. 出鏈全指向同一批 URL
推荐位、热门位、相關阅讀如果常年不變，枢纽頁每次被抓到，给出的都是同样的几十條线索，等于在同一個位置绕圈。換一批、轮換一下展示逻辑，會让分發更均匀。
3. 分頁和篩選把出鏈冲淡了
列表頁加上排序、篩選、翻頁參數後，同一個列表可能生成几十個 URL 形態。蜘蛛把抓取量花在這些组合上，反而没走到詳情頁。先给這些组合定好處理方式，比一味堆連結更有效。
怎么判断哪些頁面在承担分發
- 日誌里被訪問次數最高、且每次訪問都带出大量後續請求的頁面。
- 站内連結統計中被其他頁面指向次數明顯偏高的頁面。
- 抓取覆盖报告里“已抓取”數量大、但内容本身很薄的頁面。
把這些頁面列出来，再對照它們目前给出的連結，基本能看出抓取线索是從哪里断掉的。
枢纽頁的調整是長期動作。改變一次内鏈结构後，蜘蛛重新走一遍需要時間，观察周期放在几周更合适。
調整的基本顺序
- 先確認枢纽頁本身是可抓取的，没有被 robots、登入墙或渲染問题挡住。
- 再补齐 HTML 里可见的出鏈，優先指向還没有被收錄過的内容。
- 减少指向同一批老頁面的重复連結，让线索分布更散。
- 给列表頁的分頁加上明确的連結關系，让蜘蛛知道後面還有頁。
做完這些，不必期待立刻有變化，但站点内部线索的通路會更清楚一些。抓取是路径問题，把中間那几站打通，後面的頁面才有机會顺着走過来。