入口页数量上去之后，真正麻烦的往往不是“能不能被抓到”，而是“哪些入口还在起作用、哪些已经在拖后腿”。如果对所有入口页统一对待、平均分配链接和维护精力，结果通常是表现好的没吃饱，表现差的继续占着位置。
分层管理解决的就是这个问题：先把入口页按可观察的抓取表现分成几组，再决定每组该给多少链接、多久复查一次、什么情况下替换。
为什么要分层，而不是统一维护
入口页之间的差异比想象中大。同一批上线的页面，有的几天内就有稳定回访，有的长期只有首页被扫过一次，还有的会间歇性返回 5xx。把它们放在一起看平均数，异常很容易被掩盖。
- 抓取频次差异：蜘蛛对不同入口的态度是动态的，回访间隔会拉开明显差距。
- 作用不同：有的入口负责让蜘蛛发现新 URL，有的只是承接跳转，有的纯属备用。
- 风险不同：个别入口如果被篡改或返回异常内容，可能影响同一批链接的抓取判断。
分层之后，维护动作才有针对性，也不会因为一次整体调整误伤状态正常的入口。
分层依据：先看行为，再看内容
维度不用多，两到三个够用。建议以近 7 到 30 天的抓取日志为主，内容属性作为辅助参考。
- 回访频次：蜘蛛有没有规律性地回来，间隔是否稳定。
- 响应质量：状态码、TTFB、页面体积是否稳定，有没有间歇性报错。
- 是否继续下行：蜘蛛进来之后有没有继续请求入口下面的链接，这是判断入口是否有效的关键信号。
- 主题相关度：入口内容与目标站主题是否大致在一个方向上。
分层的依据应该是日志里能查到的行为信号，而不是主观给某个入口打上的权重标签。
一个可落地的分组方式
分组数量不必太细，四组通常就够用，也方便后续迁移。
- 活跃组：回访规律、能继续往下抓。保持现状，只做小批量新链接测试，避免频繁改动结构。
- 观察组：有抓取但不下行，或频次波动明显。先查响应速度、链接位置、内容是否与主题脱节，控制投放量继续观察。
- 沉默组：长期没有回访记录。先排除技术原因，包括解析是否正常、robots 是否误拦、状态码是否长期异常、是否被限速；技术原因排除后再考虑替换。
- 污染组：出现异常跳转、被注入内容、返回内容与预期不符。单独隔离，不要和其他入口共用同一批目标链接。
分层之后，链接怎么分配
分层的价值最终体现在链接分配上。笼统地把同一批 URL 铺满所有入口，既浪费抓取机会，也让后续判断失去依据。
- 每组维护独立的目标链接集合，避免交叉污染导致无法归因。
- 活跃组可以承接更多目标链接，观察组少量试投，沉默组先修复不投放。
- 新增入口先进观察组，稳定一段时间后再考虑升级，不要一上线就当主力用。
- 同一批新链接不要同时喂给所有分组，否则出现效果时无法判断来自哪一层。
维护节奏与观察窗口
抓取数据本身有波动，单日变化说明不了什么。建议以周为单位看趋势，至少观察两个完整周期再决定升降组。
- 每天：看有没有大面积异常，比如整组返回 4xx 或 5xx、解析失败、响应时间突增。
- 每周：看分组之间的迁移情况，谁在往上升、谁在往下掉。
- 每月：做一次整体盘点，清理长期沉默的入口，补充新的观察对象。
常见误区
- 把分组当成永久标签。入口页表现会变化，分组必须能进能出。
- 只盯着收录量。抓取频次、回访间隔、是否继续下行同样是有效的观察信号。
- 一有问题就批量替换。替换成本不低，先定位是技术问题还是内容问题。
- 所有入口用同一套模板内容。入口之间没有差异，分层也就失去意义。
落地建议
如果现在入口页还是混在一起维护，可以先做一件小事：导出近 30 天的抓取日志，按回访频次和是否继续下行把入口排个序，先分出“活跃”和“沉默”两堆。两堆分开维护一两周，再决定要不要细分到四组。分层本身不是目的，只是让维护动作有依据的一种方式。