栏目是站点结构的骨架，也是蜘蛛進入網站後最先接触的一层。它决定了蜘蛛從首頁出發能走到哪里、能多快判断這個站的主题，以及哪些頁面值得回头再看。栏目規划没想清楚，後面再补内鏈、再發内容，效果也會被结构拖住。
栏目頁在抓取里承担的角色
一個栏目頁通常同时扮演两個角色：一是内容的分發入口，二是主题信号的集合点。蜘蛛来到栏目頁，會沿着連結繼續往下走，同时也會根據這一頁上的标题、摘要、連結文本，推测整站的侧重点。
問题在于，很多站点在栏目頁上只放了一串标题連結。蜘蛛能看到連結，但看不到任何上下文，只能一個個点進去猜。這種做法不算错，但效率不高，尤其是栏目頁數量多的时候。
常见的栏目規划問题
1. 空栏目和占位栏目
建站时先規划了十個栏目，實际只填满了三個。剩下的要么是空白頁，要么是一句“敬請期待”。蜘蛛每次来訪都會走到這里，每次都没有收获。這類頁面本身没有错，但被反复抓取就是浪費。
處理方式有两種：一是尽快补内容，二是暂时把這些栏目從導航和栏目列表里摘掉，等有内容了再放出来。
2. 栏目切得太细
每個栏目只有两三篇内容，用戶点進去一眼到底，蜘蛛也没有繼續爬的空間。栏目划分的粒度最好和内容量匹配，内容還少的时候先合並成大栏目，等积累起来再拆開。
3. 栏目頁没有摘要和上下文
除了标题連結，栏目頁上最好带上每篇内容的摘要、發布時間或所属子栏目。這些信息能帮蜘蛛和用戶判断頁面之間的区別，也能让栏目頁本身具备一点獨立價值。
4. 层級過深
首頁 → 一級栏目 → 二級栏目 → 列表翻頁 → 正文，這是比較常见的深度。如果再多一两层，蜘蛛需要走的步數就會明顯增加。尽量让正文頁在三到四次点击内可達。
5. 栏目改名或合並後没做處理
栏目調整是常事，但舊地址如果直接返回 404，之前积累的入口就断了。改名时保留舊地址並做 301，或者至少让舊地址指向新的栏目頁。
一份可以照着做的自查清單
- 打開導航，逐個点開每個栏目，看是否有内容、内容量是否撑得起一個栏目。
- 检查栏目頁是否只有标题連結，考虑补上摘要與時間信息。
- 數一數從首頁到一篇普通正文需要点几次，超過四次就值得優化。
- 看看有没有栏目已经半年没更新，判断是补内容還是先合並。
- 確認最近改名、合並的栏目，舊地址是否有合理的跳轉。
- 检查栏目頁的分頁，第一頁之外的頁面是否還有被抓取的價值。
栏目與更新节奏的關系
栏目是更新节奏的载体。一個栏目如果每周固定更新，蜘蛛過一段時間就會形成预期，知道這個位置有稳定的新内容。反過来，如果栏目更新全靠临时起意，有时一個月發十篇，有时半年不動，蜘蛛的判断就會變模糊。
比較稳妥的做法是：先确定两三個能長期维護的主栏目，保證它們有稳定的更新频率，其余栏目可以慢慢补。宁可栏目少一点、更新稳一点，也不要一開始铺得很開，最後每個栏目都半死不活。
調整栏目时要注意的事
栏目調整牵涉到導航、内鏈、站点地图和一堆入口地址，最好不要一次全改。可以按栏目分批調整，改完一個观察一段時間，確認抓取和訪問没有異常，再動下一個。
栏目規划没有标准答案，判断标准其實很简單：用戶能不能快速找到想要的内容，蜘蛛能不能顺畅地走到每一篇正文。這两件事同时成立，结构就算合格。