标簽：多域名抓取

多域名與子域名下的 URL 發現：抓取预算被分散後怎么收拢

站点扩展到多個域名或子域名後，蜘蛛其實是按主机分別记帳的。本文梳理主机清單怎么列、各主机的 robots.txt 與 Sitemap 如何各自閉环、内鏈如何回流到主力主机，以及按 host 拆分抓取日誌做對帳的方法，帮助把分散的抓取预算重新收拢到需要收錄的頁面上。