标签：URL陷阱

站内搜索与日历页：蜘蛛掉进 URL 陷阱后的封堵与出口设计

站内搜索、日历控件和排序参数会按组合生成大量地址，把抓取资源摊薄。本文梳理 URL 陷阱的常见成因，给出用抓取日志判断是否掉坑的方法，并整理内链收敛、参数规范、Sitemap 与 robots.txt 的配合顺序，以及调整之后的观察重点。