做 URL 發現时，很多人习惯把入口頁做成一張巨大的連結清單，一頁塞進几百上千條外鏈，然後盯着服務器日誌看搜尋蜘蛛有没有逐條訪問。實际结果往往是：排在前面的几十條很快有動静，越往後的目标 URL 越安静。這不一定說明蜘蛛不想抓，更常见的原因是頁面结构、体积和抓取分配共同作用的结果。
發現和抓取是两段不同的流程
搜尋蜘蛛處理入口頁时，一般分两步：先把頁面里能识別的連結解析出来，放進待抓取队列；再根據自身资源和站点情况，决定什么时候真正訪問這些 URL。發現是解析层面的動作，抓取是調度层面的動作。
這意味着，一條連結只要出現在可解析的 HTML 里，就有被记錄的机會；但记錄之後什么时候被訪問，取决于队列調度。連結排在頁面後段，本身不會让蜘蛛完全看不到，却會影响它在解析阶段是否被讀到，以及在調度时被排在什么位置。
靠後的連結為什么更容易被忽略
頁面体积和解析截断
部分搜尋引擎對單個頁面的 HTML 体积有處理上限，超過之後的内容可能不會被完整解析。連結堆在頁面底部，如果前面還有大量文本、内联脚本和样式，靠後的部分正好容易落在被截断的区域里。
連結没有出現在原始 HTML 中
如果這些連結是靠 JavaScript 在浏览器端拼接、或者滚動加载才出現，蜘蛛在没有渲染能力或渲染预算有限的情况下，看到的就是一個没有連結的壳。更稳妥的做法是把目标連結直接寫進服務端輸出的 HTML，而不是依赖脚本生成。
單頁連結密度過高
頁面上可抓取連結越多，單條連結分到的關注度越低。搜尋引擎没有公開的連結數量硬上限，但實践中一個頁面堆几百條以上的外鏈，靠後部分被訪問的概率會明顯下降。重点 URL 應该分散到多個入口頁，而不是全部挤在一頁。
抓取調度按站点整体分配
所谓抓取预算，本质是搜尋引擎根據站点质量、更新频率、响應速度等因素给出的抓取配額。入口頁連結數量翻倍，並不會让配額同步翻倍。頁面越大、越慢，單位時間能被處理的 URL 反而越少。
怎么確認是漏抓還是没發現
- 用抓取工具取入口頁返回的原始 HTML，而不是浏览器里看到的样子，確認連結是否真的在源碼中。
- 在服務器日誌里按蜘蛛 UA 過滤，分別統計入口頁和目标 URL 的訪問次數與時間分布。
- 抽查靠後位置的几個 URL，看它們在日誌中是完全没有记錄，還是有记錄但次數很少。
- 對比不同入口頁的表現，判断問题出在單頁结构還是整站抓取配額。
降低漏抓概率的几個做法
- 控制單頁連結數量，把重点 URL 放在靠前位置，或者拆成多頁，每頁几十條。
- 保證連結是标准 a 标簽形式，href 指向可直接訪問的地址，不用点击事件替代。
- 用站点地图补充重要的目标 URL，作為連結之外的發現通道。
- 保證入口頁响應速度稳定，避免因超时導致蜘蛛中途放弃解析。
- 减少不必要的重定向鏈條，让每條連結尽量一步到位。
連結能被發現，不等于會被马上抓取，更不等于會被收錄。與其在一個入口頁上反复堆數量，不如把連結分散、保證源碼可见、让返回速度稳定，這几件事對 URL 發現的帮助更直接。
小结
入口頁堆几千條連結，靠後的目标 URL 确實更容易被忽略，但原因通常不是蜘蛛數不過来，而是頁面体积、連結是否在源碼里、單頁連結密度和整站抓取配額共同决定的。先分清發現和抓取两段流程，再用日誌驗證實际訪問情况，比盲目增加入口頁數量更有效。