在蜘蛛池里，同一個連結放在頁面不同位置，蜘蛛碰到它的概率並不一样。多數情况下不是“放上去就會被抓”，而是蜘蛛先看到谁、愿意顺着谁往下走。位置影响的是可见性和上下文，這两点最终會体現在日誌里的抓取次數上。
蜘蛛讀頁面的顺序，大致是從上往下
搜尋蜘蛛抓到一個頁面後，會先解析 HTML 结构，按文档顺序提取連結。首屏区域的連結通常最先進入待抓队列，正文中的連結次之，頁脚、侧栏里的成堆連結排在後面。如果頁面很長、模板代碼很多，靠後的連結被解析到的机會就會變小。
但“顺序”不等于“權重”。蜘蛛最终是否會去抓，還要看這個連結是否重复、周邊内容是否相關、整站是否值得繼續爬。位置只是提高被發現的概率，不能替代内容本身。
三種位置的實际差別
- 首屏連結：發現最快，适合放主入口、需要尽快被看到的 URL。缺点是位置有限，硬塞太多會顯得刻意，也容易落入模板化识別。
- 正文連結：上下文最自然，蜘蛛能通過周围文字判断連結主题。适合做主题聚合、相關内容推荐，長期看抓取稳定性最好。
- 頁脚或侧栏連結：适合全站通用的導航型入口，比如分類頁、目錄頁。缺点是重复度高，同一批連結在每頁都出現，蜘蛛很容易判定為重复，抓取意愿下降。
頁脚連結為什么容易被忽略
很多蜘蛛池入口頁把大量待投放 URL 统一堆在頁脚，理由是“不占正文版面”。但頁脚内容在整站范围内高度一致，蜘蛛反复看到同一组連結後，往往會降低對這些連結的再抓取频率。如果這些連結本身内容质量一般，抓取次數會進一步减少。
投放时的几條實用做法
- 把最想被發現的 URL 放在首屏或正文前段，不要指望蜘蛛翻到底部逐個点。
- 同一入口頁的連結數量控制一下，宁可分成若干頁，也不要在單頁堆几百條。
- 頁脚連結保持精简，只放结构性導航，不要把所有待投放 URL 都塞進去。
- 正文連結周围的文字寫清楚，避免“点击這里”“更多”這類無信息锚文本。
- 观察日誌里不同位置的抓取比例，如果頁脚連結長期零抓取，就该調整位置，而不是繼續加量。
位置和更新频率是叠加起作用的
蜘蛛對頁面有固定的抓取节奏。如果入口頁本身更新很慢，頁脚里的舊連結基本不會被重新發現，哪怕它一直挂在頁面上。相反，正文里随内容更新而變化的連結，更容易在每次抓取时被重新解析。所以位置不是静態的，它和頁面更新频率一起决定連結的存活率。
不要只統計“投了多少條”，更要看“哪條被抓到了、在什么位置被抓到”。位置調整往往比增加投放量更省资源。
建议的检查顺序
先用日誌確認蜘蛛是否到達入口頁，再看它是否解析到了目标連結。如果入口頁有訪問、目标連結没訪問，優先检查連結位置和重复度；如果入口頁本身就很少被訪問，問题通常在上游，比如入口质量、更新频率或整体抓取预算，而不是連結摆放位置。