标簽：子域

蜘蛛池與URL發現：目标URL分散在多個子域，投放要分開做吗？

当目标URL分布在多個子域时，很多运营者會直接把它們塞進同一批蜘蛛池入口頁。實际抓取中，子域與主域的發現路径、抓取预算和入口识別並不完全一样。本文說明哪些情况需要分開投放、哪些可以合並，以及用抓取日誌和sitemap配合判断的做法。