蜘蛛池入口頁经常按參數批量生成，比如 /go?id=123、/entry?p=abc、/out?url=...。這類 URL 被搜尋蜘蛛看到後，是照單抓取，還是直接過滤？没有统一的“是”或“否”，主要看參數是否改變頁面内容、是否制造重复，以及站点整体抓取预算。
搜尋蜘蛛對查询參數的常见處理
搜尋蜘蛛不會因為 URL 里有問号就一律跳過。它先判断抓到的内容有没有價值，再决定後續是否回訪。實际中常见几種情况：
- 跟踪參數：如 utm_source、from、ref、sid。如果這些參數只用于統計，不改變頁面主体，搜尋蜘蛛可能只選一個版本抓取，其余版本被去重或降低優先級。
- 内容參數：如 id、p、page、cat。如果不同參數返回不同入口頁，包含了不同目标 URL，搜尋蜘蛛可能分別抓取，但也取决于這些頁面是否互相重复、是否值得保留。
- 無意义參數：随机字符串、時間戳、sessionid。每次訪問都變，搜尋蜘蛛很难建立稳定视图，通常不會大量抓取，甚至只抓一次就放弃。
關键不是參數本身，而是參數背後的頁面是否提供獨特的連結和内容。
入口頁用參數批量生成时，容易踩的坑
蜘蛛池入口頁的典型做法是同一套模板，只換參數和目标連結。如果几百個 URL 只差 id 值，頁面正文和連結结构几乎一样，搜尋蜘蛛很可能把它們视為低差异頁面，只抓其中一部分。更麻烦的是，如果每個參數頁都鏈向同一批目标 URL，蜘蛛在多個入口頁看到重复連結，後續抓取動力會下降。
另一個常见問题是參數没有邊界。比如入口頁自己产生 ?page=1、?page=2 的翻頁，如果没有限制，搜尋蜘蛛可能沿參數组合一直爬，把抓取配額消耗在無意义的组合上，反而影响真正想被發現的入口頁。
让带參數的入口頁更容易被正常抓取
如果确實需要參數来区分入口頁，可以按下面的思路收敛：
- 把真正影响内容的參數保留，把跟踪類參數去掉。入口頁 URL 越干净，越容易形成稳定抓取。
- 每個參數頁尽量有獨立的連結集合或不同的目标 URL 排序，不要让所有頁面輸出完全一致。
- 给參數分頁設定明确上限，比如最後一頁返回 404 或 410，不要让搜尋蜘蛛無限翻下去。
- 不要用 robots.txt 一刀切屏蔽所有带問号的 URL。那样可能连有價值的入口頁也一起挡掉。更稳的是用日誌观察哪些參數頁真的被抓。
- sitemap 里優先放不带會话參數、内容稳定的入口頁。带參數的版本可以作為补充，但不要混入大量重复。
- 谨慎使用 canonical。入口頁之間如果 canonical 都指向同一個 URL，搜尋蜘蛛可能只保留一個版本，其他入口頁的連結發現作用會被削弱。
怎么判断搜尋蜘蛛是否在抓带參數的入口頁
最直接的方法是看服務器日誌。篩選搜尋蜘蛛 UA，再按 URL 參數分组，观察几個指标：
- 带參數的 URL 是否有抓取记錄，還是只抓了不带參數的版本。
- 同一個參數頁的抓取間隔是几天一次，還是只来一次就消失。
- 返回碼是 200、301、302 還是 404。大量 404 參數頁會消耗抓取预算。
- 蜘蛛是否顺着入口頁里的連結繼續訪問目标 URL。如果只有入口頁被抓，目标 URL 没有来訪，要检查連結是否可解析、是否被 nofollow、是否被 JS 包裹。
如果你發現搜尋蜘蛛只抓了少量參數頁，不必急着加更多參數。先確認這些被抓的頁面是否已经包含足够多的目标連結，以及目标 URL 是否正常返回。入口頁的作用是提供發現路径，而不是靠參數數量堆出抓取量。
小结
蜘蛛池入口頁 URL 带查询參數时，搜尋蜘蛛會抓取還是過滤，取决于參數是否改變内容、頁面之間是否重复、以及站点是否给出了清晰的抓取邊界。比較稳妥的做法是：保留必要參數，去掉跟踪參數，让每個入口頁有獨立價值，並用日誌持續核對實际抓取情况。不要預設“带參數就一定被忽略”，也不要指望“參數越多抓得越多”。