标签：多域名抓取

多域名与子域名下的 URL 发现：抓取预算被分散后怎么收拢

站点扩展到多个域名或子域名后，蜘蛛其实是按主机分别记账的。本文梳理主机清单怎么列、各主机的 robots.txt 与 Sitemap 如何各自闭环、内链如何回流到主力主机，以及按 host 拆分抓取日志做对账的方法，帮助把分散的抓取预算重新收拢到需要收录的页面上。