蜘蛛拿到页面之后，先做的不是“收录”
不少人把入口页当成一个提交开关，觉得只要蜘蛛来了就万事大吉。实际上蜘蛛抓到一个页面后，第一件事是解析 HTML、抽取正文、识别链接，然后才决定要不要继续抓、要不要把 URL 放进后续的处理队列。如果页面里能被识别的有效文本很少，这一趟基本等于空跑。
这也是为什么模板占比高的入口页，抓取频次往往会慢慢降下来——不是被封，而是页面本身没提供多少新信息。
模板占比过高时，页面长什么样
典型的薄内容入口页有几个共同特征：
- 导航、页脚、侧边栏、版权声明加起来占了页面文本的七成以上；
- 正文只有一两句话，或者干脆是自动拼接的关键词堆；
- 同一批入口页之间，除了标题几乎完全一致；
- 正文里塞满指向同一批 URL 的锚文本，链接密度高于文字密度。
这样的页面，蜘蛛解析完能提取到的差异化信息非常有限。它不会立刻报错，但抓取调度器会逐步降低对这类 URL 的优先级。
薄内容会带来哪些实际问题
第一是抓取预算被摊薄。抓取资源相对有限，模板页占的比例越大，真正有内容的页面分到的份额就越少。第二是页面容易被归入低价值样本，从而影响同一批 URL 的整体抓取节奏。第三是排查困难——抓取日志里全是 200，看不出毛病，可入口页就是迟迟没有后续反应。
入口页的核心不是“多挂链接”，而是让蜘蛛在一个页面里取到足够多的可区分信息。
提升正文可读性的几个做法
- 控制模板比例。精简导航和页脚，让正文区域在 HTML 中尽量靠前出现，减少解析时先撞上一大段公共结构。
- 每页提供一点独有信息。哪怕是一段描述、一组参数、一个时间戳，只要和其他入口页不同，就有区分度。
- 正文用自然语言写。关键词堆砌不但没用，还会让文本可读性变差，蜘蛛抽不出有意义的片段。
- 链接位置分散。把内链放进正文语境里，比统一堆在页脚更自然，也更利于判断链接关系。
- 定期清理低质页面。长期不更新、也没有抓取反馈的入口页，可以合并或下线，把预算留给有效页面。
内容质量不是收录开关，但它影响抓取效率
需要说明的是，把正文写好并不等于一定被收录，收录还取决于站点侧和搜索引擎侧的诸多因素。但从抓取调度的角度看，一个能被解析出有效正文的页面，比一层空壳更容易获得持续的抓取机会。做入口页时，先把“蜘蛛能读到什么”这个问题回答清楚，比单纯堆数量更有意义。