在蜘蛛池里，同一个链接放在页面不同位置，蜘蛛碰到它的概率并不一样。多数情况下不是“放上去就会被抓”，而是蜘蛛先看到谁、愿意顺着谁往下走。位置影响的是可见性和上下文，这两点最终会体现在日志里的抓取次数上。
蜘蛛读页面的顺序，大致是从上往下
搜索蜘蛛抓到一个页面后，会先解析 HTML 结构，按文档顺序提取链接。首屏区域的链接通常最先进入待抓队列，正文中的链接次之，页脚、侧栏里的成堆链接排在后面。如果页面很长、模板代码很多，靠后的链接被解析到的机会就会变小。
但“顺序”不等于“权重”。蜘蛛最终是否会去抓，还要看这个链接是否重复、周边内容是否相关、整站是否值得继续爬。位置只是提高被发现的概率，不能替代内容本身。
三种位置的实际差别
- 首屏链接：发现最快，适合放主入口、需要尽快被看到的 URL。缺点是位置有限，硬塞太多会显得刻意，也容易落入模板化识别。
- 正文链接：上下文最自然，蜘蛛能通过周围文字判断链接主题。适合做主题聚合、相关内容推荐，长期看抓取稳定性最好。
- 页脚或侧栏链接：适合全站通用的导航型入口，比如分类页、目录页。缺点是重复度高，同一批链接在每页都出现，蜘蛛很容易判定为重复，抓取意愿下降。
页脚链接为什么容易被忽略
很多蜘蛛池入口页把大量待投放 URL 统一堆在页脚，理由是“不占正文版面”。但页脚内容在整站范围内高度一致，蜘蛛反复看到同一组链接后，往往会降低对这些链接的再抓取频率。如果这些链接本身内容质量一般，抓取次数会进一步减少。
投放时的几条实用做法
- 把最想被发现的 URL 放在首屏或正文前段，不要指望蜘蛛翻到底部逐个点。
- 同一入口页的链接数量控制一下，宁可分成若干页，也不要在单页堆几百条。
- 页脚链接保持精简，只放结构性导航，不要把所有待投放 URL 都塞进去。
- 正文链接周围的文字写清楚，避免“点击这里”“更多”这类无信息锚文本。
- 观察日志里不同位置的抓取比例，如果页脚链接长期零抓取，就该调整位置，而不是继续加量。
位置和更新频率是叠加起作用的
蜘蛛对页面有固定的抓取节奏。如果入口页本身更新很慢，页脚里的旧链接基本不会被重新发现，哪怕它一直挂在页面上。相反，正文里随内容更新而变化的链接，更容易在每次抓取时被重新解析。所以位置不是静态的，它和页面更新频率一起决定链接的存活率。
不要只统计“投了多少条”，更要看“哪条被抓到了、在什么位置被抓到”。位置调整往往比增加投放量更省资源。
建议的检查顺序
先用日志确认蜘蛛是否到达入口页，再看它是否解析到了目标链接。如果入口页有访问、目标链接没访问，优先检查链接位置和重复度；如果入口页本身就很少被访问，问题通常在上游，比如入口质量、更新频率或整体抓取预算，而不是链接摆放位置。