做蜘蛛池的人经常會遇到一個現象：入口頁明明投放了几十條上百條目标 URL，但日誌里翻来覆去只有入口頁本身被反复抓取，目标頁的訪問记錄寥寥無几。除了入口頁本身是否可訪問，連結的摆放位置和点击深度也是容易被忽略的两個變量。
搜尋蜘蛛解析入口頁时，大致在做什么
搜尋蜘蛛下载入口頁的 HTML 之後，會從中提取可抓取的連結，放進待抓取队列。這個過程更像“列清單”，而不是“讀懂頁面”：它主要按 HTML 里出現的 a 标簽和 href 来识別連結，再结合頁面结构、連結所在区域、歷史抓取表現等因素，给出不同的優先級。也就是说，你在頁面上怎么摆這些連結，會影响它們進入队列的先後顺序和概率。
連結放在首屏、頁脚還是侧栏，有区別吗
有区別，但不存在“必须放在某處”的硬規則。從實际观测看，大致呈現這样的倾向：
- 正文首屏内的連結：通常是蜘蛛最先看到、也最容易進入待抓取队列的位置。内容主体区域的連結，往往被認為與頁面主题關系更近。
- 列表型区块：用 ul、li 或表格整齐排列的連結，提取起来更干净，不容易和周围文字混在一起。
- 頁脚、侧栏的連結：並不是抓不到，但大量站点把導航、版權、友鏈、广告都堆在這里，蜘蛛對這類区域给的關注度通常更低。如果目标 URL 只出現在頁脚，被抓到的概率會明顯下降。
- 需要交互才出現的連結：折叠面板、下拉菜單、Tab 切換里的連結，如果是点击後才由脚本插入，在没有渲染的情况下基本等于不存在。
点击深度：目标 URL 藏在第几层合适
点击深度指的是從入口頁算起，要经過几次連結跳轉才能到達目标頁。常见经驗是：两到三次点击之内能到達的頁面，被發現的速度明顯更快；层級越深，發現越慢，而且中間任何一层出問题——比如某层返回 404、被 robots.txt 拦截、或者需要登入——後面的連結基本就断了。
把目标 URL 全部平铺在入口頁，虽然深度只有 1，但頁面連結數量會變得很大。連結過多时，單個連結能分到的關注度會被稀释，列表末尾的内容甚至可能長期不被抓取。
一個相對稳妥的做法
- 入口頁保持简洁，只放一批核心目标連結，數量控制在合理区間，其余用分頁或分层頁面展開。
- 列表尽量用纯 HTML 的 a 标簽輸出，href 寫成完整可訪問的绝對地址，避免用脚本跳轉或 onclick。
- 把深度控制在一到三层内，中間层用真實可抓取的頁面，不要靠连續跳轉串起来。
- 入口頁本身保持可訪問、内容有更新，让蜘蛛有理由反复回来。
連結位置和点击深度影响的是“被發現”的效率，不等于收錄结果。目标頁本身的内容质量、可抓取性、重复程度，才是後面更關键的因素。
几個常见誤区
- 連結越多越好：几百條連結堆在一個頁面，容易让抓取分散到大量低價值 URL 上，反而拖慢關键頁面的發現。
- 把連結藏在图片或按钮里：图片連結需要正确的 a 标簽包裹，纯 JS 按钮則依赖渲染，能不用就不用。
- 入口頁常年不更新：如果每次抓取拿到的入口頁都完全一样，回訪間隔可能被拉長，新加的目标連結發現得也更慢。
怎么驗證自己的摆放是否有效
不用猜，看日誌和抓取记錄就够了：對比入口頁的抓取次數與目标頁的抓取次數、观察新增連結後多久出現在日誌里、查看被高频抓取的是哪些位置的連結。如果發現只有頁脚連結長期没有记錄，把其中一部分移到正文列表里，再观察一到两周，通常能看出差別。
最後提醒一点：位置和深度只是让連結更容易被“看到”。如果入口頁被 WAF 拦截、需要登入，或者目标頁本身就不可訪問，再好的摆放方式也没有意义。先把這些基础問题排查掉，再来谈摆放優化。