标簽：URL泛滥

站内搜尋頁产生大量 URL：蜘蛛顺着搜尋框走進来之後

站内搜尋是很多站点被忽视的 URL 源头。一個可被抓取的 GET 搜尋表單，能在短時間内让蜘蛛拿到成千上萬個带參數的地址，把抓取预算摊薄到低價值頁面上。本文讲清楚蜘蛛可能從哪些入口走進站内搜尋、怎么從日誌里確認泛滥范围，以及 robots.txt、noindex、表單改造几種收敛方式的先後顺序與注意事項。