蜘蛛抓到一個頁面之後，第一件事是把 HTML 里的連結挑出来，放進待抓队列。但队列不是先来先服務，頁面里的連結也不是每條机會均等。連結摆在哪里，蜘蛛看到的顺序和给它的重视程度都會不一样。
蜘蛛讀連結的顺序，基本跟着 DOM 走
解析連結时，蜘蛛按源碼從上到下的顺序来，同时结合可见性做判断。出現在首屏、主体内容里的連結，源碼位置靠前；頁脚、侧栏、彈窗里的連結往往排在後面，甚至被折叠隐藏。结果是同一個站点、同一批 URL，谁在頁面里出現得早、位置靠上，谁就更早進入抓取队列。
還有一個容易忽略的差別：靠 JS 渲染出来的連結，和寫在 HTML 里的 a 标簽並不是一回事。前者要等渲染完成後才可能被發現，發現本身就带延迟，路径也更長。
三種位置的連結，作用完全不同
導航和面包屑：主路径
全站導航出現在每個頁面上，數量稳定、指向固定，是蜘蛛理解站点结构的主干道。面包屑則把目前位置到首頁的路径完整寫出来，方便蜘蛛回退。這两處适合放你希望被優先走到的一級、二級目錄。
正文内鏈：上下文最清楚
正文里的連結可能只在一两個頁面出現，但上下文明确，蜘蛛容易判断它和被連結頁面的關系。對于新产生、需要被發現的 URL，正文内鏈通常比頁脚堆一排連結更管用。
頁脚和侧栏：全站重复，邊际递减
頁脚連結在每個頁面都出現。第一個頁面看它是導航，第一百個頁面看它就是噪声。它仍然能让 URL 被反复看到，但每條連結分到的注意力，會随着數量和重复度快速下降。
一個頁面放多少連結算合适
没有硬性上限，但有個简單的判断：如果一頁里超過一半的連結，你並不希望被單獨重视，那這頁就更像連結仓库，而不是内容頁。抓取机會是有限的，一頁挂几百條連結，等于把每個目标 URL 的机會都摊薄。
- 主体内容区的連結尽量控制在几十條以内
- 全站重复区块（頁脚、侧栏、推荐位）不要持續膨胀
- 重要 URL 至少有一條来自正文或導航的入口
- 同一批連結別在多個区块重复出現
- 頁面上不再需要的連結，直接删掉，而不是留着
位置之外，還要看這几件事
- 連結是否真的可点、可聚焦：纯样式或 onclick 拼出来的伪連結，蜘蛛未必跟
- 锚文本是否說明目标：寫清頁面主题，比「点击這里」有信息量
- 目标 URL 是否稳定：频繁改動，會被当成新 URL 重新處理
- 所在頁面本身是否常被抓：冷门頁面里的連結，發現速度同样慢
怎么驗證位置有没有起作用
结合服務器日誌，观察一個新 URL 第一次被抓时，来源頁是哪一個。如果它總是被頁脚連結先带進来，而正文里也放了入口，就說明正文那條連結的位置可能太靠下，或者被其他元素挤出了主要内容区。
也可以反過来做一次對比：把一個重要入口從頁脚挪到導航或正文，看一段時間内该 URL 的首次抓取時間有没有前移。這種前後對比，比凭感觉調整更有依據。
連結位置决定的是「蜘蛛先看到谁」，不是「一定收錄谁」。把重要 URL 放在蜘蛛稳定经過、上下文清楚的位置，剩下的交给内容本身。