标签：爬取路径

蜘蛛池入口页的点击深度：链接藏得越深，蜘蛛越容易走不到

入口页的链接结构决定蜘蛛能走到哪里，点击深度决定它要走几步。本文说明点击深度与目录层级不是一回事，列出把关键链接越藏越深的几种常见做法，并给出压缩深度、分批铺链接、用日志验证路径是否通畅的具体思路。