标签：参数页

蜘蛛池与URL发现：站内筛选参数页适合放进蜘蛛池吗？

站内搜索页和筛选参数页数量庞大、内容重复，放进蜘蛛池前要先算清代价。本文说明这类URL为什么会吃掉抓取资源、哪些情况可以少量投放、哪些必须先做收敛，以及已经投放后该从日志和产出两头检查、如何收尾。