蜘蛛池的入口页通常承担两个任务：被蜘蛛发现，以及把蜘蛛引向目标 URL。很多人把注意力全放在链接怎么排、投放节奏怎么控，入口页的正文却只剩几行字加一串链接。这样的页面蜘蛛能抓到，但抓到之后会不会继续深挖，往往取决于它对页面本身的判断。
入口页“内容薄”通常指什么
“薄”不是单指字数少，而是页面提供的信息量与其承担的功能不匹配。常见的几种表现：
- 正文只有一两句话，其余全是链接列表；
- 标题、描述和正文之间没有关联，像是临时拼出来的；
- 整站多个入口页共用同一段文字，只换了几个关键词；
- 页面上没有可读的上下文，用户和蜘蛛都不清楚这条链接为什么放在这里。
字数多也不等于厚。把同一句话重复十遍，仍然是薄内容。
蜘蛛遇到薄页面时可能的反应
不同搜索引擎的处理策略并不一样，但长期观察下来，比较常见的现象有：
- 抓取之后不进入索引，只把 URL 记录下来；
- 把该页面判为低价值，降低对同一目录的抓取频率；
- 当大量入口页都是这副样子时，可能影响整个站点在爬虫调度中的优先级。
这些都不是必然结果，只是倾向性的表现。真正决定抓取深度的，是页面对蜘蛛有没有“继续爬”的价值。
入口页和中转页的角色不一样
如果入口页的唯一职责就是把蜘蛛送到目标 URL，那它更像一个中转节点，薄一点问题不大。但如果你希望蜘蛛在同一目录下持续发现新链接，入口页就需要有让蜘蛛停留的理由。把这两件事混为一谈，是不少池子做到后期抓取量下滑的原因之一。
让入口页“够厚”的几个做法
- 给链接加语境。每条链接旁边用一两句话说明它是什么、和当前主题有什么关系，而不是光秃秃地列出来。
- 写清楚页面本身是干什么的。页首一段话说明这个入口页集合了哪些内容，蜘蛛和用户都能快速判断。
- 控制批量复制的比例。模板可以统一，但每页至少有一部分是有差异的，比如分类说明、更新时间、列表来源。
- 结构上分层。一个入口页不要试图覆盖所有主题，按话题拆成几页，每页围绕一个方向展开，链接也更有针对性。
- 别为了凑字数堆无关内容。和主题无关的段落对蜘蛛没有帮助，反而会稀释页面重点。
几个常见误区
- 以为蜘蛛只看链接不看内容。内容太薄时，链接排得再整齐，抓取深度也可能上不去。
- 批量生成时把所有页面做成同一份文案。同质化入口页一多，很容易被当成重复内容处理。
- 把关键词密度当内容质量。堆词只会让页面更难读，对蜘蛛判断也没有正面作用。
- 只做入口页不做细节页。入口页再厚也只是入口，蜘蛛最终要落到具体内容上。
一点务实建议
先挑几个入口页做小样本调整，观察日志里这些页面的抓取频次和爬取深度有没有变化，再决定要不要推广到全站。内容厚度的改善是慢变量，不必指望一次改版就让抓取量翻倍，也不必因为某一周数据没动就推翻做法。
入口页不是越厚越好，而是要有明确的功能和足够的信息量。薄到蜘蛛无法判断价值，厚到偏离主题，都是浪费。