为什么要在意入口页之间的连法
蜘蛛池里通常不是一个页面单打独斗，而是一批入口页。蜘蛛顺着链接爬，链接怎么连，决定了它从一个入口能走多远、多久回访一次。连法没设计好，常见的结果是：蜘蛛总在少数几个页面上打转，另一批页面长期没人碰。
三种常见的拓扑结构
扁平互链
所有入口页两两互链，或者都指向一个总列表页。特点是路径短，蜘蛛从任意一页出发都容易摸到别的页。代价是单页出链数量容易失控，一页挂几十上百个链接时，蜘蛛对每条链接分到的注意力都被摊薄。
树状分层
顶层放少量索引页，中层放分类页，底层放具体入口页。结构清晰，出链可控，蜘蛛能按层次往下走。问题在于深度：层级太深，底层页可能几周都轮不到一次；中间层某一环断了，下面整片都进不来。
链轮与环形
页面首尾相连成环，或者小范围互相链接成轮。它能让蜘蛛在环内反复经过。但环内内容如果高度相似，重复度会很明显，环外的页面则容易被孤立。
几种结构的关键差异
- 路径长度：扁平最短，树状取决于层数，链轮居中但不保证走出去。
- 权重分散：出链越多，单条链接能分到的传递越少。
- 维护成本：扁平改一处影响全局，树状局部出错只影响一支。
- 故障影响面：树状的中间层是单点，环形的断点会让整圈失效。
实操上怎么定
- 先数清楚入口页的总量，几十个和几千个的连法完全不同。
- 控制单页链接数量，页脚导航加正文内链，尽量压在合理的两位数以内。
- 给每个入口页设计至少两条到达路径，避免只靠单一上游。
- 层级尽量压在三层以内，超过三层就考虑加横向连接。
- 内容相近的页面不要互链成密网，容易放大重复信号。
几个常见误区
- 把链接全堆在一个列表页上，以为链接越多蜘蛛来得越勤。
- 用同一套模板生成几千个页面互链，模板痕迹和内容重复一起出现。
- 环形结构里页面内容几乎一样，只是换了个标题。
- 只盯入口页本身，忘了看蜘蛛日志里实际走到了哪一层。
拓扑只是给蜘蛛提供可走的路，走不走、走多深，还取决于页面本身是否值得读。
上线后看什么
日志里重点看两件事：单页被访问的频率分布是否均匀，以及蜘蛛在池内停留的层数。如果九成访问都落在同一小批页面上，说明连接方式偏了，或者那几页对蜘蛛确实更有吸引力。另外留意新加入的入口页多久能被第一次访问，这个时间比总抓取量更能说明链路是否通畅。
结构调整不必一次性推倒重来，可以先改一小块，观察一两周日志再决定是否铺开。