用蜘蛛池推URL时，入口頁上的連結是静態還是動態，经常被当成一個玄学問题。實际上搜尋蜘蛛對带參數的URL並没有一票否决，它關心的是這個參數會不會制造出大量重复内容、以及這個URL能否稳定返回有效頁面。
搜尋蜘蛛對參數URL的基本態度
带問号的URL在網絡上占比很大，电商篩選、分頁、搜尋结果頁基本都是參數形式。搜尋蜘蛛會正常解析入口頁里的 a 标簽 href，把其中的動態URL放進待抓取队列。也就是说，連結寫成 ?id=123&page=2 這種形式，本身不會導致蜘蛛不跟。
真正的問题出在參數失控：同一個頁面被拼出几百上千個變体，抓取预算會被迅速消耗，最後每個變体都只抓到一两次，值钱的正文頁反而被挤掉。
從入口頁到動態URL，蜘蛛會经歷什么
- 抓取入口頁的 HTML，解析出其中的連結；
- 對連結做去重和參數過滤，一部分被判為無意义的變体會被丢弃；
- 進入抓取队列排队，等待下一次訪問；
- 發起請求後，根據 HTTP 狀態碼和返回内容决定是否繼續、是否保留。
這意味着入口頁被抓好几次，並不等于動態URL马上會被抓。入口頁能做的只是把URL交出去，後面的排队和篩選不受蜘蛛池控制。
哪些參數寫法最容易让蜘蛛止步
- 會话類參數：類似 sessionid、sid、PHPSESSID 這種每次訪問都變的參數，等于每次生成一條新URL；
- 跟踪類參數：utm_source、from、spm 之類，同一份内容被複製出多個版本；
- 參數顺序不固定：a=1&b=2 和 b=2&a=1 被当成两條不同URL；
- 依赖登入態：不带 cookie 就跳登入頁或返回 403，蜘蛛拿到的是空壳；
- 内容靠前端渲染：參數頁 HTML 里没有正文，只有一段脚本，抓取價值很低。
怎么確認蜘蛛有没有跟着抓
看服務端日誌是最直接的办法。先把入口頁的抓取记錄挑出来，再在同一時間段里找目标動態URL的請求。如果入口頁被反复抓了几十次，而動態URL一次都没出現，說明連結很可能在入口頁的解析或過滤阶段就被處理掉了。反之，動態URL有請求但狀態碼異常，問题就在目标站本身。
另外要区分真蜘蛛和伪造 UA 的采集流量，單看 UA 字符串並不可靠，最好结合 IP 反查或官方公布的IP段核對。
减少參數干扰的几個實用做法
- 只保留业務必须的參數，把排序、来源、追踪類參數從入口頁連結里删掉；
- 固定參數顺序和寫法，避免同一頁面出現多種拼法；
- 動態頁能伪静態就伪静態，站内連結统一使用静態形式；
- 给參數頁設定正确的 canonical，指向規范的静態URL；
- 確認動態URL在無 cookie、無登入狀態下也能返回 200 和完整内容；
- 入口頁的連結用可直接訪問的 href 輸出，不要依赖 JS 点击或表單跳轉。
蜘蛛池解决的是URL被發現的問题，它不能决定目标URL是否被抓，更不能决定是否收錄。動態URL能不能進索引，最终還是取决于頁面本身的质量和站点整体情况。
別把問题全归到動態URL上
實际排查中，很多所谓「動態URL抓不到」的案例，原因並不是問号，而是目标站返回了 404、503，或者對非浏览器 UA 直接拒绝。這種情况下，把連結改成静態形式也一样没用。先用日誌確認請求到底有没有到達目标站，再决定是調整入口頁的連結寫法，還是回头去修目标站的响應。