入口頁铺好之後，很多人只關心内容够不够、連結够不够，却忽略了 URL 本身也是蜘蛛讀取的第一個信号。同一個頁面，換一種 URL 寫法，蜘蛛愿意爬的深度、判断重复的难度、以及抓取预算的消耗都會不一样。URL 结构不是审美問题，它更接近一張给爬虫看的路线图。
URL 结构到底影响了什么
對入口頁来说，URL 主要承担三件事：告诉蜘蛛這條地址是不是新的、判断它和已有地址是不是同一個頁面、以及估計這條地址背後還有多少可爬的内容。前两件决定抓取是否浪費，第三件决定蜘蛛愿不愿意顺着往下走。
如果同一份内容能用五條不同地址打開，蜘蛛看到的就是五個候選頁面，而不是一個。它不會替你合並，只會按自己的規則挑一個，剩下的抓取次數基本等于白花。
层級深度：扁平不等于全铺在同一层
常见说法是“层級越浅越好”，這话只说對了一半。层級浅确實让蜘蛛少走几步，但如果所有入口頁都堆在根目錄下，同一层會出現成百上千條地址，列表頁的連結密度過高，反而让單條地址获得的關注被稀释。
- 入口頁建议控制在三到四层以内，超過四层後蜘蛛回訪意愿通常明顯下降。
- 层級不是越少越好，關键是每一层都要有清晰的分组逻辑，让蜘蛛能從列表頁自然走到詳情頁。
- 目錄名尽量用有含义的英文或拼音，避免 a1、tmp、page2 這類無信息量的命名。
參數：哪些能留，哪些必须清
带參數的 URL 並不天然有错，問题在于參數的组合數量。蜘蛛無法判断參數空間有没有邊界，遇到看似無限的组合时，往往會選擇少抓或者不抓。
建议保留的參數
- 分頁參數，如 page、p，但要有明确上限，並且每頁都有稳定内容。
- 分類或篩選參數，前提是篩選结果頁數量有限且内容确實不同。
建议從源头去掉的參數
- 會话 ID、随机數、時間戳、点击来源埋点，這些會让同一條内容裂變出無數地址。
- 跟踪參數如 utm_source 之類，如果只用于站外投放，尽量不要让它們出現在站内連結里。
- 排序參數，如 sort=price、order=desc，除非排序结果本身有獨立價值。
判断标准很简單：把參數去掉之後，頁面内容是否發生變化。若不變，這個參數就不该出現在蜘蛛能看到的連結里。
静態化：结尾是 .html 還是不带後缀
“.html 结尾更利于收錄”這種说法没有统一依據。伪静態和纯動態路径在抓取层面差別不大，真正有影响的是地址是否稳定、是否唯一。相比之下，發布後频繁改動路径才是更大的風險。
如果使用伪静態，注意服務器端要有對應的重寫規則，並且保證带參數的原地址能 301 到静態地址，而不是两個地址都返回 200。
几個容易被忽略的一致性细节
- 大小寫：多數服務器区分大小寫，/Seo/ 和 /seo/ 會被当成两條地址，统一用小寫最省事。
- 结尾斜杠：带斜杠與不带斜杠要二選一，另一版本 301 過去。
- 預設首頁：/index.html 與根目錄不要同时可訪問，让其中一個跳轉。
- 中文路径：建议统一用拼音或 ID，若必须用中文，全程保持同一種编碼方式，不要手動混寫。
- 域名版本：www 與非 www、http 與 https 只保留一個版本對外輸出連結。
發布前的检查清單
- 這條地址在站内是否只出現一次，有没有其他路径指向同一内容。
- URL 里是否残留會话、埋点或排序參數。
- 层級是否超過四层，上一层是否有可被蜘蛛抓到的列表頁。
- 大小寫、尾斜杠、域名版本是否與站内其他連結一致。
- 地址發布後一段時間内是否保持不動。
URL 结构属于那種改起来麻烦、但一次做對就長期受益的基础工作。它不會让蜘蛛突然多抓几倍，但能减少無效抓取，把有限的预算留给真正想被發現的頁面。做蜘蛛池的人通常不缺地址數量，缺的是让每一條地址都被准确识別的清晰度。