为什么要给入口页分层
入口页一多，最常见的问题不是蜘蛛不来，而是来了之后只在少数几个页面之间来回走。蜘蛛的抓取是有预算的，站点如果所有页面长得差不多、链接关系又乱，它很容易在浅层绕一圈就离开，深处的内容根本没有机会被走到。
分层的思路很简单：把“让蜘蛛进来”和“让蜘蛛往里走”这两件事拆开，交给不同类型的页面去做。常见的分法是三层——种子页、过渡页、目标页。它不是标准答案，但比把所有页面做成一个样子要可控得多。
三层各自负责什么
种子页：固定的进入点
种子页数量少，通常以聚合、索引、列表的形式存在，内容更新频率相对高，主要职责是被反复抓取。它不需要很长的正文，但要保证可访问性稳定、加载快、结构清晰，并且指向下一层的链接是明确的。
种子页的价值在于“稳定”。如果它本身经常打不开、或者每次抓到的内容都完全一样，蜘蛛就会降低对它的重访意愿，后面的层也就跟着断了路。
过渡页：承接和分散路径
过渡页是从种子页往后延伸的一层，既要承接链接，也要把路径分散到多个目标页。它通常带有一定信息量，例如分类说明、主题聚合、要点整理，而不是只堆一串链接。
只放链接、没有内容的过渡页，很容易被当成低质页面处理，蜘蛛走到这里就停了。给它一段真实的说明文字、几个明确的指引，往往比多加几十条链接更有用。
目标页：真正的内容承载
目标页是用户和蜘蛛最终要看到的东西，链接数量不必多，重点在内容本身。它可以在结尾指回相关的种子页或同类目标页，形成一个可循环的路径，但不适合反向大量堆链接。
三层的比例和链接关系
- 种子页：少而稳，数量控制在你能持续维护的范围内，优先保证更新和可用性。
- 过渡页：数量中等，每个种子页后面挂若干个，负责把路径铺开。
- 目标页：数量最多，靠过渡页和少量内链被发现，不需要人人互链。
链接方向以种子页 → 过渡页 → 目标页为主，目标页可以少量回指种子页或同主题页面。尽量避免所有页面之间全站互链，那样看起来链接很多，实际上每条链接的指向都不明确，蜘蛛反而不知道哪条路值得走。
分层时容易踩的坑
- 把所有页面都做成种子页，结果没有一个页面能被稳定重访，整体抓取频次被平均摊薄。
- 过渡页只有链接没有内容，蜘蛛走到一半就没有继续的理由。
- 层级压得太深，从种子页到目标页要跳四五次，蜘蛛通常走不到底。
- 种子页上线后长期不更新，链接指向的页面又陆续失效，入口慢慢变成死水。
- 分层只做了结构，没有去看访问日志，实际蜘蛛走的路线和设想完全不同。
落到日常操作上
如果你刚开始做分层，可以先把种子页的数量固定下来，观察一段时间日志，确认蜘蛛确实会定期回来，再逐步增加过渡页和目标页。每次扩张之后，重点看两件事：蜘蛛是否走到了新的一层，以及新页面是否被重复访问。这两个信号比单纯的抓取总量更能说明分层是否起了作用。
分层不是为了把结构做得更复杂，而是让蜘蛛每走一步都有明确的目的地。层数少一点、每层的职责清楚一点，通常比堆页面更有效。