很多站点的頁面不是手寫的，而是由程序自動生成的：标簽頁、分類归档、日期归档、作者頁、站内搜尋结果頁。它們數量容易失控，却又是蜘蛛進站後最容易踩進去的一類路径。這篇文章聊的是，這類頁面在 URL 發現和抓取路径上扮演什么角色，以及哪些该留、哪些该挡。
為什么蜘蛛容易走進這些頁面
自動生成的頁面通常有三個特征：連結數量多、彼此互相連結、每頁都能再点出下一批連結。對蜘蛛来说，這是一條不断分叉的通道。從首頁到一篇文章可能只需要两三次点击，但從首頁点進一個标簽，再点進标簽下的另一篇文章，再点進那篇文章的标簽，路径就開始循环了。
更麻烦的是，這些頁面的内容往往高度相似。同一個标簽下的列表，和分類頁、归档頁的列表，可能只差一個标题和排序方式。
标簽頁：是入口還是黑洞，取决于數量
标簽頁本身不是坏東西，它是组织内容的自然方式，也是蜘蛛發現同一主题下其他文章的一條捷径。問题出在規模上：如果一篇文章挂七八個标簽，站内又有一两千個标簽頁，每個标簽頁都從文章頁連結出去，抓取請求就會被大量分配到這些相似列表上。
判断标准可以简單一点：這個标簽下的文章數量是否足够多，用戶是否真的會点進去。長期只有一两篇文章的标簽頁，繼續让蜘蛛抓的意义不大。
归档頁與日期頁
按年、按月归档的頁面做時間线很方便，但如果每個月只有几篇内容，归档頁就會變成一堆内容稀薄的列表。這類頁面可以留给人看，但不必都让蜘蛛抓。
可以這样處理
- 只保留年度归档，把月度归档收敛掉。
- 归档頁保持在導航的較浅层級，不要和正文抢内鏈位置。
- 内容确實很少的归档頁，用 noindex, follow，让蜘蛛不被這些列表本身占位，但仍能顺着連結走到文章。
站内搜尋结果頁：一般不建议放開
站内搜尋頁會按關鍵詞生成數量近乎無限的 URL，其中大量是空结果或重复结果。放開抓取的常见後果是，蜘蛛把時間花在這些一次性地址上，而真正需要更新的頁面反而在排队。
更實际的做法是：搜尋頁對用戶開放，對蜘蛛關閉。可以在 robots.txt 里挡掉带搜尋參數的路径，同时在頁面上加 noindex。两者配合着做，不要只做一個，之後结合服務器日誌看看蜘蛛是否仍在請求這些地址。
聚合頁要不要放，看三個信号
- 搜尋需求：用戶會不會真的搜到這類頁面，並点進去。
- 内容獨立性：它是否有自己的标题和說明文字，而不是一長串纯連結。
- 數量：把這類頁面總數算一遍，如果比正式内容還多，就需要收缩。
内鏈怎么给，蜘蛛就怎么走
蜘蛛没有直接判断頁面價值的能力，它靠連結的數量和出現位置来推断。一個被每篇文章頁脚都連結的标簽頁，會被当成重要頁面；一個只在正文里出現一次的連結，被赋予的分量就低得多。
所以，想让蜘蛛優先抓的内容，應该出現在導航、频道頁、相關阅讀這些位置；不想让它花時間的聚合頁，就別放在全站侧栏或頁脚。
用 Sitemap 补充，而不是替代
Sitemap 适合列出你希望被發現的正式頁面，不适合把所有自動生成的 URL 都塞進去。把上千個标簽頁寫進 Sitemap，等于又告诉蜘蛛一遍這些也重要。定期清理，让它只包含真正需要更新的地址，信号會更清晰。
观察與調整
改動之後可以從几處看效果：日誌里這些路径的抓取次數是否下降，正式頁面與列表頁的抓取比例是否變化，Sitemap 中頁面的被抓取比例是否上升。不必一次改太多，先收一個頁面類型，观察两周再决定下一步。
自動生成的頁面不是不能有，而是要有邊界：给用戶留入口，给蜘蛛留一條更短的路。