把入口頁当成連結列表，一次塞進几百個目标 URL，是很多人在做 URL 發現时的預設做法。實际观察下来，搜尋蜘蛛很少會把這一頁里的每條連結都当成同等重要去抓，連結越多，單條被跟上的概率往往越低。原因不神秘，主要是抓取配額、連結優先級和頁面解析成本三件事在起作用。
為什么連結堆太多會被打折
抓取配額按站点分配。同一個域名在單位時間内能被抓的 URL 數量是有限的，搜尋引擎會參考站点整体质量、更新频率、服務器响應速度等因素来安排。入口頁本身不产生搜尋價值，能分到的份額通常不多。
蜘蛛解析完頁面後，會给頁面上的連結排一個先後顺序。位置靠前、锚文本清晰、目标 URL 有歷史訪問记錄的連結，更容易被排進抓取队列；排在末尾、没有可讀文本的連結，往往要等更久，甚至一直等不到。
頁面越大，解析成本越高。HTML 体积過大时，解析可能提前結束，排在很後面的連結根本不會被讀到。
影响單條連結被跟概率的几個變量
- 連結總數：同一頁里連結從几十條加到几百條，單條的平均机會通常下降。
- 連結位置：首屏和正文里的連結，比頁脚、折叠区、列表末尾的連結更容易被排進队列。
- 锚文本：有可讀锚文本的連結，比纯图标或“点击這里”更容易被理解。
- 入口頁自身狀態：長期不變、内容空泛的頁面，蜘蛛訪問频率會自己往下走。
- 目标 URL 的歷史表現：之前被抓過、返回正常的 URL，再次被發現的成本更低。
- 响應速度：入口頁和目标站响應慢，都會拖慢整條鏈路。
怎么判断入口頁連結到底有没有被跟
- 在服務器日誌里按搜尋引擎 UA 過滤，得到搜尋蜘蛛對入口頁的請求记錄。
- 確認入口頁的訪問次數和返回碼，先排除 403、5xx、超时這類硬問题。
- 看入口頁被抓之後的一段時間内，目标 URL 是否出現對應 UA 的請求。
- 把同一入口頁的連結按位置分成几组，對比各组被訪問的比例。
- 對没抓到的連結，再检查連結本身是否可解析、是否被 robots.txt 或 nofollow 挡住。
數量上的實操建议
- 單頁連結數量控制在能一眼看清的范围，需要放更多就做分頁或分层，不要指望一頁全塞。
- 重要目标 URL 放在靠前位置，並给一個能讀懂的锚文本。
- 用 sitemap 和站内連結补充發現路径，不要只依赖入口頁這一條路。
- 入口頁尽量保持可訪問、返回 200、响應快，避免大段無用代碼把連結挤到後面。
- 定期看日誌，按實际被抓情况調整連結數量和位置，而不是凭感觉往上加。
几個常见誤区
連結挂上去就等于被發現了，這是最常见的誤解。没有請求日誌支撑的“已经提交”，通常只是心理安慰。
- 誤区一：連結越多發現越快。超過一定數量後，邊际效果會明顯下降。
- 誤区二：同一 URL 在一頁里重复多次能提高概率。重复連結一般會被合並處理。
- 誤区三：只要有蜘蛛訪問入口頁，就說明連結被跟了，實际還要看目标 URL 那一段的日誌。
小结
入口頁能放多少連結，没有统一數字，但逻辑是一致的：配額有限、優先級有差、解析有成本。與其在一頁里堆數量，不如把連結放在靠前位置、控制單頁規模、用 sitemap 和内鏈做补充，再用日誌確認每一步是否真的走通。發現环节做扎實，後面的收錄才有讨论的基础。