栏目是站点结构的骨架，也是蜘蛛进入网站后最先接触的一层。它决定了蜘蛛从首页出发能走到哪里、能多快判断这个站的主题，以及哪些页面值得回头再看。栏目规划没想清楚，后面再补内链、再发内容，效果也会被结构拖住。
栏目页在抓取里承担的角色
一个栏目页通常同时扮演两个角色：一是内容的分发入口，二是主题信号的集合点。蜘蛛来到栏目页，会沿着链接继续往下走，同时也会根据这一页上的标题、摘要、链接文本，推测整站的侧重点。
问题在于，很多站点在栏目页上只放了一串标题链接。蜘蛛能看到链接，但看不到任何上下文，只能一个个点进去猜。这种做法不算错，但效率不高，尤其是栏目页数量多的时候。
常见的栏目规划问题
1. 空栏目和占位栏目
建站时先规划了十个栏目，实际只填满了三个。剩下的要么是空白页，要么是一句“敬请期待”。蜘蛛每次来访都会走到这里，每次都没有收获。这类页面本身没有错，但被反复抓取就是浪费。
处理方式有两种：一是尽快补内容，二是暂时把这些栏目从导航和栏目列表里摘掉，等有内容了再放出来。
2. 栏目切得太细
每个栏目只有两三篇内容，用户点进去一眼到底，蜘蛛也没有继续爬的空间。栏目划分的粒度最好和内容量匹配，内容还少的时候先合并成大栏目，等积累起来再拆开。
3. 栏目页没有摘要和上下文
除了标题链接，栏目页上最好带上每篇内容的摘要、发布时间或所属子栏目。这些信息能帮蜘蛛和用户判断页面之间的区别，也能让栏目页本身具备一点独立价值。
4. 层级过深
首页 → 一级栏目 → 二级栏目 → 列表翻页 → 正文，这是比较常见的深度。如果再多一两层，蜘蛛需要走的步数就会明显增加。尽量让正文页在三到四次点击内可达。
5. 栏目改名或合并后没做处理
栏目调整是常事，但旧地址如果直接返回 404，之前积累的入口就断了。改名时保留旧地址并做 301，或者至少让旧地址指向新的栏目页。
一份可以照着做的自查清单
- 打开导航，逐个点开每个栏目，看是否有内容、内容量是否撑得起一个栏目。
- 检查栏目页是否只有标题链接，考虑补上摘要与时间信息。
- 数一数从首页到一篇普通正文需要点几次，超过四次就值得优化。
- 看看有没有栏目已经半年没更新，判断是补内容还是先合并。
- 确认最近改名、合并的栏目，旧地址是否有合理的跳转。
- 检查栏目页的分页，第一页之外的页面是否还有被抓取的价值。
栏目与更新节奏的关系
栏目是更新节奏的载体。一个栏目如果每周固定更新，蜘蛛过一段时间就会形成预期，知道这个位置有稳定的新内容。反过来，如果栏目更新全靠临时起意，有时一个月发十篇，有时半年不动，蜘蛛的判断就会变模糊。
比较稳妥的做法是：先确定两三个能长期维护的主栏目，保证它们有稳定的更新频率，其余栏目可以慢慢补。宁可栏目少一点、更新稳一点，也不要一开始铺得很开，最后每个栏目都半死不活。
调整栏目时要注意的事
栏目调整牵涉到导航、内链、站点地图和一堆入口地址，最好不要一次全改。可以按栏目分批调整，改完一个观察一段时间，确认抓取和访问没有异常，再动下一个。
栏目规划没有标准答案，判断标准其实很简单：用户能不能快速找到想要的内容，蜘蛛能不能顺畅地走到每一篇正文。这两件事同时成立，结构就算合格。