标签：索引边界

分页与列表页的收录边界：哪些该进索引，哪些留在抓取层就够

列表页和分页页常被当成收录目标，其实它们更多是帮爬虫发现详情页的通道。本文按“有没有搜索需求、内容是否重复、入口是否唯一”三个问题，梳理第一页与后续翻页、筛选排序组合页、标签聚合页的处理差异，并给出用 site 查询、服务器日志和索引覆盖报告核对判断的检查方式。