标簽：URL陷阱

站内搜尋與日歷頁：蜘蛛掉進 URL 陷阱後的封堵與出口设計

站内搜尋、日歷控件和排序參數會按组合生成大量地址，把抓取资源摊薄。本文梳理 URL 陷阱的常见成因，给出用抓取日誌判断是否掉坑的方法，並整理内鏈收敛、參數規范、Sitemap 與 robots.txt 的配合顺序，以及調整之後的观察重点。