标签：抓取治理

站点运营：筛选与排序参数，别让一个栏目生成上千个可抓地址

筛选、排序、会话、追踪这几类参数混在一起，很容易让栏目页衍生出成百上千个可抓地址。本文按“参数是不是内容”来分类，讲清 robots.txt、noindex、canonical 各自的适用边界，以及怎样从内部链接和前端交互入手收回可发现面，让抓取落在真正有搜索价值的页面上。