为什么“内容厚度”在入口页上更敏感
蜘蛛池的入口页通常承担两个任务：让爬虫发现新的 URL，并让爬虫愿意继续往下走。入口页本身不是目标页面，所以很多人会把它做成极简结构：一个标题、几个链接、关键词堆一排。这样的页面对用户没有价值，对爬虫也一样。爬虫在决定是否继续抓取时，会参考页面上可解析的文本、链接密度、主题是否集中，以及页面是否像正常内容页。内容厚度不够，入口页就容易被当成低质页面，抓取频率和深度都会受影响。
空壳页：只有链接和关键词的入口页
空壳页的特征很明显：正文没有完整句子，标题和关键词重复，页面主体几乎全是链接。它的问题不是“链接多”，而是缺少判断依据。爬虫无法从页面文本里确认这个入口页与目标 URL 之间是什么关系，只能按普通链接处理。短期或许能看到蜘蛛来访，但持续抓取的概率不高。如果你有一批入口页都是这种结构，建议先补一段可读的说明文本，再观察日志里的抓取变化。
空壳页的常见来源
- 模板批量生成时，只填充了标题和关键词；
- 页面被拆成纯导航，正文区域为空；
- 用 JS 渲染内容，但爬虫拿到的 HTML 里没有对应文本；
- 采集内容后只保留标题，正文被截断或过滤。
薄页：有内容，但不足以支撑主题
薄页比空壳页好一些，通常有一段说明文字，但内容量很少，或者与入口页主题关联不强。薄页并非不能存在。聚合页、导航页、分类页在很多站点里天然就是薄页。问题在于，如果整批入口页都是薄页，且彼此高度相似，爬虫会降低对这一批页面的信任度。薄页要能用，关键是主题集中：页面标题、H 标签、正文首段和链接锚文本要指向同一件事，不要在一个入口页里塞多个不相关的主题。
薄页可以保留的情况
- 页面本身是分类或聚合入口，内容以链接为主但主题明确；
- 入口页只服务少量目标 URL，文本简短但信息准确；
- 页面有清晰的层级关系，爬虫可以从上下文中判断位置。
有效页：入口页需要多少内容才算够
没有一个固定的字数标准。更实用的判断是：页面是否提供了足够信息，让爬虫理解“这个页面为什么存在”。一段完整的说明、一个准确的标题、几个围绕同一主题的链接，通常就够用。有效页不需要写成深度长文，但正文至少要能独立成句，且不要与模板其他页面完全重复。入口页的内容厚度，重点在“可读”和“可区分”，而不在“长”。
检查入口页内容厚度的几个动作
- 打开页面源码，确认正文文本在 HTML 中直接可见，不依赖 JS 渲染；
- 对比同批入口页，看标题、首段和链接锚文本是否高度雷同；
- 检查页面主题是否单一，避免一个入口页覆盖多个不相关方向；
- 观察日志里该入口页的抓取频次和深度，判断内容调整是否带来变化；
- 对长期无抓取的入口页，优先补充差异化文本，而不是继续加链接。
内容厚度与抓取预算的关系
爬虫对每个站点的抓取预算有限。入口页内容厚度不足时，爬虫可能把资源分配给其他更明确的页面；内容厚度合理时，入口页更容易被纳入常规抓取队列。但要注意，内容厚度只是影响因素之一，站点整体质量、服务器响应、链接结构、更新频率都会参与判断。不要指望只靠给入口页加字就能改变抓取结果。
入口页的内容厚度，解决的是“爬虫能不能理解这个页面”，而不是“爬虫一定会收录目标 URL”。两者之间还有链接可跟随性、目标页质量和站点整体信任度等变量。
实操建议：先区分类型，再决定改法
如果你在管理一批入口页，建议先按空壳页、薄页、有效页做一次分类。空壳页优先补正文，薄页优先收敛主题，有效页保持稳定更新即可。调整后不要频繁改动同一页面，给爬虫留出重新判断的时间。记录每次调整的时间和日志变化，比反复猜测更有效。
最后提醒一点：入口页的内容厚度不是越高越好。为了凑字数而堆砌无关文本，反而会让页面主题变得模糊。让页面信息准确、结构清楚、链接可跟随，比单纯增加字数更有意义。