URL 结构為什么會拖慢蜘蛛的發現速度
蜘蛛在决定是否抓取一個地址之前，要先做几件事：判断這個 URL 是不是新的、是不是和已有頁面重复、值不值得分配抓取资源。如果站点的 URL 寫法混乱，同一個頁面有多種地址、參數随意组合、层級深浅不一，蜘蛛就要把更多成本花在去重上，真正分给新目标頁的抓取机會自然變少。所以入口頁的 URL 结构不是审美問题，而是發現效率問题。
目錄层級：浅一点，但別只追求扁平
层級越深，蜘蛛從入口走到目标頁需要的跳數越多，中途走丢的概率也越高。一般建议入口頁放在根目錄或一級目錄下，目标頁控制在 2 到 3 层，超過 4 层的地址尽量通過列表頁或聚合頁做一次收拢。
但扁平不等于把所有頁面都塞到根目錄。层級本身携带信息，/a/xxx 與 /b/xxx 能告诉蜘蛛這两批内容属于不同集合。真正要避免的是人為加壳，比如為了堆關鍵詞硬塞三层没有意义的目錄。
參數與伪静態：哪種更适合被發現
带參數的動態地址不是原罪，問题出在參數的寫法上。
- 參數顺序不固定：?a=1&b=2 與 ?b=2&a=1 會被当成两個地址，产生重复。
- 跟踪參數混入：utm_source、from、ref 這類參數會為同一個頁面生成大量 URL。
- 與内容無關的參數：排序、每頁條數、顯示方式，如果都參與 URL 生成，重复頁面會成倍增加。
做法是：只保留真正决定内容的參數，跟踪類參數用 robots 或 canonical 處理，參數顺序在程序里固定下来。
伪静態要注意的两個坑
伪静態只是把地址寫得更像静態頁，它本身不會提高抓取優先級。如果重寫規則寫得不好，容易踩两個坑：一是分頁或篩選參數被重寫成看似静態的地址，蜘蛛會沿着規則一路生成大量無意义頁面；二是規則冲突導致本该返回 200 的地址變成 404 或 500，蜘蛛试過几次之後就會降低對這類地址的信任。
一致性：大小寫、末尾斜杠、协议
同一個頁面出現 /Page、/page、/page/、http 與 https 两套，對蜘蛛来说都是新地址。這種重复不會带来更多發現机會，只會分散抓取量。建议在服務器层面用 301 把變体统一到一個規范地址，並在入口頁里始终使用同一種寫法，不要這次带斜杠下次不带。
URL 里的關鍵詞與長度
地址中包含關鍵詞對理解頁面主题有一点帮助，但影响有限，不值得為此牺牲可讀性和稳定性。更實际的是控制長度：過長的中文或层层嵌套的參數，容易出現编碼和截断問题；用拼音、英文或數字组成的短地址，蜘蛛解析和日誌排查都更方便。
唯一性：一條目标連結只對應一個地址
如果同一個目标頁在入口頁里用不同地址出現多次，蜘蛛會先去重再抓取，等于浪費了展示位置。發布前可以用一份简單的對照表检查：每條待發現連結是否只有一種寫法，是否带了多余的參數，是否與站内已有的 URL 冲突。
URL 结构的目标不是好看，而是让蜘蛛用最少的判断成本確認：這是一個還没抓過的新地址。
落地检查清單
- 入口頁與目标頁的层級是否控制在 3 层以内，深层内容有没有列表頁收拢。
- 參數是否只保留决定内容的字段，跟踪參數是否已處理。
- 大小寫、末尾斜杠、http 與 https 是否已用 301 统一。
- 伪静態規則是否會产生無限分頁，或誤伤正常地址。
- 同一條目标連結在入口頁里是否只有一種寫法。
- 地址長度是否可控，中文是否已正确编碼。
這几項做完，URL 结构层面的重复和歧义基本就清掉了。剩下的發現效率問题，才轮到入口頁數量、更新节奏這些變量去調。