标签：子域

蜘蛛池与URL发现：目标URL分散在多个子域，投放要分开做吗？

当目标URL分布在多个子域时，很多运营者会直接把它们塞进同一批蜘蛛池入口页。实际抓取中，子域与主域的发现路径、抓取预算和入口识别并不完全一样。本文说明哪些情况需要分开投放、哪些可以合并，以及用抓取日志和sitemap配合判断的做法。