蜘蛛池能不能發挥作用，往往不取决于投了多少條連結，而取决于蜘蛛進来之後愿意往下走多遠。入口頁被訪問，不等于深层頁面被訪問，中間隔着的层級越多，被翻到的概率就越低。
抓取深度是怎么形成的
蜘蛛從入口頁開始抓取，沿着頁面上的連結一层层往下走。每往下一层，可分配的抓取額度、連結權重和点击概率都會衰减。多數情况下，第二层還能拿到不少訪問，第三层開始明顯减少，到了第五层以後，除非有別的路径把頁面重新提上来，否則很可能長期停在那里。
這不是某個搜尋引擎特有的規則，而是资源分配的自然结果：蜘蛛的時間和带宽有限，入口頁经常在變，深层頁可能几個月都不動，優先級自然排在後面。
影响深度的几個具体因素
- 連結所在位置：正文里的連結比頁脚、侧栏的連結更容易被跟進，位置越靠前越明顯。
- 每层的連結數量：一個頁面挂几十上百條連結，單條連結分到的關注會被稀释。
- 路径長度：從入口到目标頁需要经過几次跳轉，跳轉越少越容易被抓到。
- 是否有回鏈：深层頁面只進不出、没有任何頁面對它回鏈，很容易變成孤岛。
- 頁面是否長期不變：内容常年不動，重复抓取的價值低，深度再浅也可能被跳過。
三種常见的深度問题
把所有連結都堆在入口层
看起来省事，實际是把入口頁變成了連結列表。蜘蛛虽然一次能拿到全部 URL，但頁面本身缺少内容支撑，也缺少让蜘蛛判断優先級的信号，後續跟進往往不稳定。
深层頁面没有任何回鏈
只靠入口頁一條路径往下走，中間任何一层出問题，後面的頁面就跟着断掉。加上同域内互相回鏈，可以给深层頁面多留几條進入路径。
层級越铺越深
為了顯得结构丰富，把連結做成入口到分類、分類到子分類、子分類再到目标頁，每多一层就多一次衰减。對以 URL 發現為主要目标的蜘蛛池场景来说，层級能压就压。
判断标准可以很简單：從入口頁出發，点几下能到目标頁。点击數越少，被翻到的机會越大。
把重要頁面往前提的做法
- 把最需要被抓的 URL 放在离入口一到两跳的位置，不要藏在第三层之後。
- 控制入口頁的連結數量，留出内容描述，不要把頁面做成纯列表。
- 在多個頁面重复指向同一批目标 URL，形成多條進入路径。
- 深层頁面加上返回上层或相關頁面的連結，避免成為终点。
- 定期整理長期没有抓取记錄的頁面，要么換入口，要么從投放清單里去掉。
用日誌驗證實际深度
深度不能靠猜。把訪問日誌按 URL 和 referer 排一下，看蜘蛛是從哪個頁面進来的、往下走了几层、在哪一层停住，就能比較清楚地判断問题出在入口頁、中間頁還是目标頁。如果發現绝大多數抓取都停在第一层，優先检查入口頁的連結位置和數量，而不是繼續加投放量。
小结
蜘蛛池解决的是让蜘蛛知道有這么個 URL，但能不能真的被讀到，還取决于路径够不够短、連結够不够明顯、頁面值不值得再抓一次。层級压平、進入路径多一些、入口頁別太拥挤，通常比單纯堆連結更有效。