為什么“内容厚度”在入口頁上更敏感
蜘蛛池的入口頁通常承担两個任務：让爬虫發現新的 URL，並让爬虫愿意繼續往下走。入口頁本身不是目标頁面，所以很多人會把它做成极简结构：一個标题、几個連結、關鍵詞堆一排。這样的頁面對用戶没有價值，對爬虫也一样。爬虫在决定是否繼續抓取时，會參考頁面上可解析的文本、連結密度、主题是否集中，以及頁面是否像正常内容頁。内容厚度不够，入口頁就容易被当成低质頁面，抓取频率和深度都會受影响。
空壳頁：只有連結和關鍵詞的入口頁
空壳頁的特征很明顯：正文没有完整句子，标题和關鍵詞重复，頁面主体几乎全是連結。它的問题不是“連結多”，而是缺少判断依據。爬虫無法從頁面文本里確認這個入口頁與目标 URL 之間是什么關系，只能按普通連結處理。短期或许能看到蜘蛛来訪，但持續抓取的概率不高。如果你有一批入口頁都是這種结构，建议先补一段可讀的說明文本，再观察日誌里的抓取變化。
空壳頁的常见来源
- 模板批量生成时，只填充了标题和關鍵詞；
- 頁面被拆成纯導航，正文区域為空；
- 用 JS 渲染内容，但爬虫拿到的 HTML 里没有對應文本；
- 采集内容後只保留标题，正文被截断或過滤。
薄頁：有内容，但不足以支撑主题
薄頁比空壳頁好一些，通常有一段說明文字，但内容量很少，或者與入口頁主题關联不强。薄頁並非不能存在。聚合頁、導航頁、分類頁在很多站点里天然就是薄頁。問题在于，如果整批入口頁都是薄頁，且彼此高度相似，爬虫會降低對這一批頁面的信任度。薄頁要能用，關键是主题集中：頁面标题、H 标簽、正文首段和連結锚文本要指向同一件事，不要在一個入口頁里塞多個不相關的主题。
薄頁可以保留的情况
- 頁面本身是分類或聚合入口，内容以連結為主但主题明确；
- 入口頁只服務少量目标 URL，文本简短但信息准确；
- 頁面有清晰的层級關系，爬虫可以從上下文中判断位置。
有效頁：入口頁需要多少内容才算够
没有一個固定的字數标准。更實用的判断是：頁面是否提供了足够信息，让爬虫理解“這個頁面為什么存在”。一段完整的說明、一個准确的标题、几個围绕同一主题的連結，通常就够用。有效頁不需要寫成深度長文，但正文至少要能獨立成句，且不要與模板其他頁面完全重复。入口頁的内容厚度，重点在“可讀”和“可区分”，而不在“長”。
检查入口頁内容厚度的几個動作
- 打開頁面源碼，確認正文文本在 HTML 中直接可见，不依赖 JS 渲染；
- 對比同批入口頁，看标题、首段和連結锚文本是否高度雷同；
- 检查頁面主题是否單一，避免一個入口頁覆盖多個不相關方向；
- 观察日誌里该入口頁的抓取频次和深度，判断内容調整是否带来變化；
- 對長期無抓取的入口頁，優先补充差异化文本，而不是繼續加連結。
内容厚度與抓取预算的關系
爬虫對每個站点的抓取预算有限。入口頁内容厚度不足时，爬虫可能把资源分配给其他更明确的頁面；内容厚度合理时，入口頁更容易被纳入常規抓取队列。但要注意，内容厚度只是影响因素之一，站点整体质量、服務器响應、連結结构、更新频率都會參與判断。不要指望只靠给入口頁加字就能改變抓取结果。
入口頁的内容厚度，解决的是“爬虫能不能理解這個頁面”，而不是“爬虫一定會收錄目标 URL”。两者之間還有連結可跟随性、目标頁质量和站点整体信任度等變量。
實操建议：先区分類型，再决定改法
如果你在管理一批入口頁，建议先按空壳頁、薄頁、有效頁做一次分類。空壳頁優先补正文，薄頁優先收敛主题，有效頁保持稳定更新即可。調整後不要频繁改動同一頁面，给爬虫留出重新判断的時間。记錄每次調整的時間和日誌變化，比反复猜测更有效。
最後提醒一点：入口頁的内容厚度不是越高越好。為了凑字數而堆砌無關文本，反而會让頁面主题變得模糊。让頁面信息准确、结构清楚、連結可跟随，比單纯增加字數更有意义。