很多站点的问题不是蜘蛛不来，而是蜘蛛被大量低价值入口牵着走，真正要抓的详情页反而排在后面。筛选页、站内搜索结果页、标签聚合页是三类最容易失控的入口——它们数量能瞬间膨胀到几十万，内容却高度重复。与其到处发外链，不如先管好这些入口，让抓取路径尽量落在有增量内容的页面上。
入口管理为什么比外部引流更直接
外链决定蜘蛛愿不愿意来，站内入口决定蜘蛛来了往哪走。当列表页上的筛选链接比详情页链接还密集时，蜘蛛会更倾向于沿着参数分支扩散，因为这些链接离首页更近、数量也更多。抓取量在同一段时间内是有限的，被参数页分走的部分，本来可以用在详情页上。
三类高风险入口的抓取特征
筛选与排序参数页
颜色、尺码、排序方式一层层叠加，理论上能生成成百上千个 URL，而页面内容往往只是同一批商品的重新排列。蜘蛛抓到一定量后会把它们当重复内容处理，但抓取过程本身已经花掉了配额，日志里看起来还很热闹。
站内搜索结果页
搜索结果页对用户有用，对蜘蛛基本没有增量：内容来自站内其他页面，且会随关键词无限扩展。如果允许蜘蛛抓取，等于给蜘蛛开了一个无穷的 URL 生成器，而且这些页面通常还是空链接的聚集地。
标签页与聚合页
少数人工维护、有编辑意图的标签页是好的入口，能帮蜘蛛走通长尾。但如果标签由用户提交或系统自动生成，就会出现只有一两条内容的空壳标签页，既稀释了站内链接，也让蜘蛛在低价值页面之间来回绕。
判断某个入口该开还是该关
- 这类页面是否有独立、不重复的内容价值？
- 它的 URL 数量是否可控，会不会随用户行为无限增长？
- 它是否处在抓取路径的关键位置，承担中转作用？
- 关掉它之后，下级页面是否还有别的入口可达？
四个问题里，只要数量不可控和无独立内容同时成立，基本就该限制抓取。反过来，如果它是通往详情页的重要通道，即便内容一般，也可以保留，但要控制参数组合的数量。
几种处理方式，别混着用
robots.txt 的 disallow、页面上的 noindex、canonical、nofollow 作用完全不同：
- Disallow：蜘蛛不会去抓，同时也就读不到页面上的 noindex。只适合你完全不希望出现的那类路径，且要小心别挡住需要被抓的页面。
- Noindex：允许抓取，抓完不给索引。适合参数页这种能抓但不该留的情况，前提是页面没有被 robots 屏蔽，否则指令读不到。
- Canonical：告诉蜘蛛多个地址里哪个是主版本，适合同一内容有多种筛选、多种排序的场景。
- Nofollow：减少蜘蛛顺着链接继续扩散，但它只是提示，不是硬性阻断，别指望靠它彻底封死入口。
参数筛选页常见的组合是：允许抓取，canonical 指向无参数的列表主版本，同时不对排序类参数生成可点链接。这样既不让蜘蛛断粮，也不至于被参数分支拖走。
关掉入口之后，记得给蜘蛛留条路
限制入口的同时要检查连通性。如果某批详情页只能通过站内搜索或筛选页到达，一旦关掉，它们就会变成只有 Sitemap 里才有地址的孤岛。这时候需要用固定的分类页、分页、相关推荐把路径补回来，并在 Sitemap 中保留这些 URL，让蜘蛛至少有一条稳定的入口。
入口管理的目标不是少让蜘蛛抓，而是让有限的抓取量花在有增量内容的页面上。判断标准始终是：这个页面被抓住，对用户和索引有没有带来新的东西。
怎么验证调整是否有效
改完不会立刻见效。建议在服务器日志里看两个指标：一是参数类 URL 的抓取占比是否下降，二是详情页的抓取次数是否上升。再结合抓取统计中 URL 被访问的比例变化，判断方向对不对。如果两周后参数页占比没降，多半是入口没真正封住，还有别的列表在大量输出这类链接。