把一批 URL 递到蜘蛛面前的方式有很多種，頁面上的出鏈是最常见的一種。但出鏈數量和被抓取的机會並不是线性關系：一個頁面從十几條連結涨到几百條，交给蜘蛛的候選队列變長了，真正被走到的比例往往反而下降。下面说说這一趟抓取里，蜘蛛大概會怎么取舍。
出鏈多，不等于线索多
蜘蛛抓到一個頁面後，會把頁面里的可選連結收進待抓队列，再按自己的节奏逐條處理。這個队列不是無限的，同一時間還有大量其他頁面在排队。所以頁面出鏈越多，單條連結被分到的注意力就越少，這是很自然的分配结果。
更常见的情况是：頁面看起来给了几百條线索，其中一大半是重复的、带參數的、或者指向同一批内容的地址。去重之後真正的新 URL 可能只有几十條，剩下的出鏈只是把队列撑長了。
蜘蛛看這些連結时，大致在判断什么
連結的位置與可点性
正文区域内的連結，通常比頁脚、侧栏這類全站重复出現的連結更容易被区別對待。全站每個頁面都挂的同一批連結，蜘蛛走到哪里都能看到，重复價值不高。
連結是不是重复地址
- 同一個 URL 带不同參數，往往會被归一處理
- 大小寫、结尾斜杠、锚点不同的寫法，可能指向同一條路径
- 分頁、篩選、排序产生的组合地址，很容易批量出現
連結指向的内容是否真的存在
抓到之後返回 404、软 404，或者需要跳轉多次才能到终点的地址，會消耗队列里的名額，却带不回内容。這部分损耗在出鏈多的頁面上會被放大。
出鏈過多的几個具体麻烦
- 抓取額度被摊薄：原本可以多走几遍的核心頁面，被大量低價值地址挤掉了机會。
- 线索在頁面之間重复：列表頁、标簽頁、归档頁互相都挂着同一批連結时，蜘蛛很难判断哪條是主路径。
- 路径越拉越長：連結一层层往下递，重要内容越埋越深，被反复走到的時間間隔也會變長。
出鏈的意义不是把 URL 全部摊在頁面上，而是让蜘蛛知道下一步该往哪里走。
把出鏈收一收的几種做法
- 给列表加邊界：列表頁保留固定條數，後面的内容用真實可分頁的連結承接，而不是把上千條一次性铺開。
- 正文只留相關出鏈：與目前頁面主题關系較弱的連結，可以放到栏目枢纽頁或 HTML 站点地图頁里统一呈現。
- 把确實重要的 URL 交给 Sitemap：不适合在正文里铺開的地址，放進制定的 Sitemap 文件，让蜘蛛自行安排訪問顺序。
- 谨慎使用 nofollow：它更像一個提示，而不是開關，不要指望靠它彻底切断某批連結的抓取。
做完之後怎么驗證
先看服務器日誌里這個頁面的被抓次數，以及日誌中後續出現的 URL 是否来自它的出鏈；再對比調整前後，同一批核心頁面的抓取频次有没有變化。也可以观察同一目錄下頁面被抓的時間間隔，如果間隔在缩短，說明线索在往更集中的方向走。
出鏈的調整通常不會立刻看到效果，但它是少數完全由自己掌控的一环：把候選队列整理干净，比不断往頁面上堆連結要稳妥得多。