為什么要给入口頁分层
入口頁一多，最常见的問题不是蜘蛛不来，而是来了之後只在少數几個頁面之間来回走。蜘蛛的抓取是有预算的，站点如果所有頁面長得差不多、連結關系又乱，它很容易在浅层绕一圈就离開，深處的内容根本没有机會被走到。
分层的思路很简單：把“让蜘蛛進来”和“让蜘蛛往里走”這两件事拆開，交给不同類型的頁面去做。常见的分法是三层——種子頁、過渡頁、目标頁。它不是标准答案，但比把所有頁面做成一個样子要可控得多。
三层各自负责什么
種子頁：固定的進入点
種子頁數量少，通常以聚合、索引、列表的形式存在，内容更新频率相對高，主要职责是被反复抓取。它不需要很長的正文，但要保證可訪問性稳定、加载快、结构清晰，並且指向下一层的連結是明确的。
種子頁的價值在于“稳定”。如果它本身经常打不開、或者每次抓到的内容都完全一样，蜘蛛就會降低對它的重訪意愿，後面的层也就跟着断了路。
過渡頁：承接和分散路径
過渡頁是從種子頁往後延伸的一层，既要承接連結，也要把路径分散到多個目标頁。它通常带有一定信息量，例如分類說明、主题聚合、要点整理，而不是只堆一串連結。
只放連結、没有内容的過渡頁，很容易被当成低质頁面處理，蜘蛛走到這里就停了。给它一段真實的說明文字、几個明确的指引，往往比多加几十條連結更有用。
目标頁：真正的内容承载
目标頁是用戶和蜘蛛最终要看到的東西，連結數量不必多，重点在内容本身。它可以在结尾指回相關的種子頁或同類目标頁，形成一個可循环的路径，但不适合反向大量堆連結。
三层的比例和連結關系
- 種子頁：少而稳，數量控制在你能持續维護的范围内，優先保證更新和可用性。
- 過渡頁：數量中等，每個種子頁後面挂若干個，负责把路径铺開。
- 目标頁：數量最多，靠過渡頁和少量内鏈被發現，不需要人人互鏈。
連結方向以種子頁 → 過渡頁 → 目标頁為主，目标頁可以少量回指種子頁或同主题頁面。尽量避免所有頁面之間全站互鏈，那样看起来連結很多，實际上每條連結的指向都不明确，蜘蛛反而不知道哪條路值得走。
分层时容易踩的坑
- 把所有頁面都做成種子頁，结果没有一個頁面能被稳定重訪，整体抓取频次被平均摊薄。
- 過渡頁只有連結没有内容，蜘蛛走到一半就没有繼續的理由。
- 层級压得太深，從種子頁到目标頁要跳四五次，蜘蛛通常走不到底。
- 種子頁上线後長期不更新，連結指向的頁面又陆續失效，入口慢慢變成死水。
- 分层只做了结构，没有去看訪問日誌，實际蜘蛛走的路线和设想完全不同。
落到日常操作上
如果你刚開始做分层，可以先把種子頁的數量固定下来，观察一段時間日誌，確認蜘蛛确實會定期回来，再逐步增加過渡頁和目标頁。每次扩張之後，重点看两件事：蜘蛛是否走到了新的一层，以及新頁面是否被重复訪問。這两個信号比單纯的抓取總量更能說明分层是否起了作用。
分层不是為了把结构做得更复杂，而是让蜘蛛每走一步都有明确的目的地。层數少一点、每层的职责清楚一点，通常比堆頁面更有效。