做蜘蛛池的人经常会遇到一个现象：入口页明明投放了几十条上百条目标 URL，但日志里翻来覆去只有入口页本身被反复抓取，目标页的访问记录寥寥无几。除了入口页本身是否可访问，链接的摆放位置和点击深度也是容易被忽略的两个变量。
搜索蜘蛛解析入口页时，大致在做什么
搜索蜘蛛下载入口页的 HTML 之后，会从中提取可抓取的链接，放进待抓取队列。这个过程更像“列清单”，而不是“读懂页面”：它主要按 HTML 里出现的 a 标签和 href 来识别链接，再结合页面结构、链接所在区域、历史抓取表现等因素，给出不同的优先级。也就是说，你在页面上怎么摆这些链接，会影响它们进入队列的先后顺序和概率。
链接放在首屏、页脚还是侧栏，有区别吗
有区别，但不存在“必须放在某处”的硬规则。从实际观测看，大致呈现这样的倾向：
- 正文首屏内的链接：通常是蜘蛛最先看到、也最容易进入待抓取队列的位置。内容主体区域的链接，往往被认为与页面主题关系更近。
- 列表型区块：用 ul、li 或表格整齐排列的链接，提取起来更干净，不容易和周围文字混在一起。
- 页脚、侧栏的链接：并不是抓不到，但大量站点把导航、版权、友链、广告都堆在这里，蜘蛛对这类区域给的关注度通常更低。如果目标 URL 只出现在页脚，被抓到的概率会明显下降。
- 需要交互才出现的链接：折叠面板、下拉菜单、Tab 切换里的链接，如果是点击后才由脚本插入，在没有渲染的情况下基本等于不存在。
点击深度：目标 URL 藏在第几层合适
点击深度指的是从入口页算起，要经过几次链接跳转才能到达目标页。常见经验是：两到三次点击之内能到达的页面，被发现的速度明显更快；层级越深，发现越慢，而且中间任何一层出问题——比如某层返回 404、被 robots.txt 拦截、或者需要登录——后面的链接基本就断了。
把目标 URL 全部平铺在入口页，虽然深度只有 1，但页面链接数量会变得很大。链接过多时，单个链接能分到的关注度会被稀释，列表末尾的内容甚至可能长期不被抓取。
一个相对稳妥的做法
- 入口页保持简洁，只放一批核心目标链接，数量控制在合理区间，其余用分页或分层页面展开。
- 列表尽量用纯 HTML 的 a 标签输出，href 写成完整可访问的绝对地址，避免用脚本跳转或 onclick。
- 把深度控制在一到三层内，中间层用真实可抓取的页面，不要靠连续跳转串起来。
- 入口页本身保持可访问、内容有更新，让蜘蛛有理由反复回来。
链接位置和点击深度影响的是“被发现”的效率，不等于收录结果。目标页本身的内容质量、可抓取性、重复程度，才是后面更关键的因素。
几个常见误区
- 链接越多越好：几百条链接堆在一个页面，容易让抓取分散到大量低价值 URL 上，反而拖慢关键页面的发现。
- 把链接藏在图片或按钮里：图片链接需要正确的 a 标签包裹，纯 JS 按钮则依赖渲染，能不用就不用。
- 入口页常年不更新：如果每次抓取拿到的入口页都完全一样，回访间隔可能被拉长，新加的目标链接发现得也更慢。
怎么验证自己的摆放是否有效
不用猜，看日志和抓取记录就够了：对比入口页的抓取次数与目标页的抓取次数、观察新增链接后多久出现在日志里、查看被高频抓取的是哪些位置的链接。如果发现只有页脚链接长期没有记录，把其中一部分移到正文列表里，再观察一到两周，通常能看出差别。
最后提醒一点：位置和深度只是让链接更容易被“看到”。如果入口页被 WAF 拦截、需要登录，或者目标页本身就不可访问，再好的摆放方式也没有意义。先把这些基础问题排查掉，再来谈摆放优化。