做蜘蛛池的时候，很多人會預設一件事：只要入口頁被搜尋蜘蛛抓到了，上面的目标URL迟早也會被抓。實际操作中却發現，入口頁日誌里蜘蛛来得挺勤，可目标URL的抓取记錄一直空着。這種情况往往和連結层級有關，而不只是入口頁本身有没有被爬。
搜尋蜘蛛面對多层連結时的實际行為
搜尋蜘蛛抓頁面不是無限制的。它會在有限的抓取配額和時間里，按一定優先級决定先抓哪些URL。层級浅、离站点入口近、被多次引用的頁面，通常排在前面；层級深、只有一條路径能到的頁面，排队位置靠後，甚至這一轮根本轮不到。
蜘蛛池入口頁如果把目标URL直接放在正文里，路径就是“入口頁→目标URL”，两层就到。如果中間還夹着跳轉頁、聚合頁、分頁，路径變成三层四层，被抓到的概率和等待時間都會變得不确定。
层級太深通常會有這些表現
- 入口頁抓取日誌正常，但目标URL始终没有蜘蛛记錄；
- 目标URL偶尔被抓一次，之後很長時間不再回訪；
- 被抓的是中間的跳轉頁，真正要推的頁面一直排在後面；
- 同一批URL里，靠前的先被抓，藏在列表深處的迟迟不動。
把目标URL路径缩短的几個做法
- 入口頁正文直接放連結。能一行寫完的就不要绕，减少中間跳轉頁。
- 控制單頁連結數量。一個頁面上几十上百條連結，蜘蛛分给每條連結的注意力會被稀释，重要目标URL反而容易被忽略。
- 让目标URL在頁面里出現不止一次。正文一次、相關推荐一次，通常比堆在頁脚更有意义。
- 用可抓取的静態連結。a 标簽的 href 指向真實地址，不要只靠脚本事件触發。
- 配合 sitemap 或站内提交。這不等于收錄，但能给蜘蛛一條更直接的發現路径。
入口頁數量多，不代表层級就浅
有人习惯用大量入口頁覆盖同一個目标URL，觉得總有一條能被抓到。入口頁多了确實會多出几條路径，但如果每條路径都很绕，效果仍然有限。相比數量，路径是否直接、入口頁本身是否稳定被抓，更值得關注。另外，入口頁如果自己都很少被抓，多堆几個也不會立刻改變局面。
怎么確認是不是层級問题
- 看入口頁的服務器日誌，確認蜘蛛确實抓過頁面本身；
- 在入口頁的 HTML 源碼里搜尋目标URL，確認它出現在可抓取的位置，而不是被脚本後置插入；
- 對比目标URL的路径長度和站内被抓得較勤的頁面，看看差在哪里；
- 连續观察一段時間，不要只看一两天就下结论。
抓取深度只是影响因素之一。頁面自身质量、站点整体被抓取的健康度、目标URL的狀態碼和内容，同样會让结果不一样。把层級理顺，只是把“被發現”這一步的门槛降低，不代表一定會有收錄或排名。
简單说，蜘蛛池入口頁要做的是给目标URL一條尽量短、尽量稳的路径，並且定期回头检查這條路径有没有被改坏。层級越浅、路径越清晰，目标URL進入搜尋蜘蛛视野的机會就越大；剩下的，還是要靠頁面本身的表現。