做蜘蛛池的人常遇到一个矛盾：入口页数量要够多，但真为每个入口页单独写内容并不现实，于是大量入口页共用同一套模板，只有标题、链接和目标页信息不同。问题是，这种“换汤不换药”的页面，搜索蜘蛛看完之后，还会不会继续顺着链接去抓目标 URL？
先把两件事分开：入口页被不被收录，和链接被不被跟
这是最容易混淆的地方。搜索蜘蛛抓到一个页面后，至少做两件事：一是把页面内容拿去处理和归档，二是把页面上的链接提取出来，放进待抓取队列。
这两步并不是绑死的。页面内容质量差、和站内其他页面高度重复，主要影响的是第一步——它自己很难被当成独立有价值的页面保留下来。但链接提取通常是解析 HTML 时同步完成的，只要链接能被正常解析，就有机会进入待抓取队列。所以入口页模板化，一般不会让链接“当场失效”，它影响的是抓取频率、配额分配和长期稳定性。
入口页高度相似，实际会带来哪些变化
- 抓取频次被压低：搜索蜘蛛对整站的抓取有节奏。当它连续抓到一批结构、内容几乎相同的页面，会认为这个站点新增内容的边际价值不高，回访间隔可能被拉长。
- 配额向“有效页面”倾斜：抓取预算有限时，搜索引擎更愿意把额度花在它认为有新信息的 URL 上。入口页越多越像，单个入口页分到的抓取机会就越少。
- 链接被跟的概率不是零，但会下降：不是“看到相似内容就不跟链接”，而是整体抓取变慢之后，队列里的目标 URL 等待时间变长，有些可能长期排在后面。
- 入口页本身基本留不下：模板页即使被抓，通常也很难进入索引。做入口页时要接受这一点——入口页的价值在于“被爬”，不在于“被收录”。
在不大改结构的前提下，可以做的几件事
- 给每个入口页留一块独有内容。不用长篇大论，一段几十字的描述、一组和该目标页相关的信息，就能把页面差异拉开。关键是别用随机词拼接，那种“差异”搜索蜘蛛同样能看出来。
- 标题和 meta 不要整批复制。批量生成时最容易偷懒的就是这两处。哪怕只把目标页的主题词、分类词带进去，也比全站一个模板强。
- 控制同模板入口页的上线速度。一次放出几百上千个同结构页面，等于主动告诉搜索引擎“这里是批量产出”。分批、分目录上线，抓取节奏会平滑很多。
- 入口页尽量少放无关链接。页面上的链接越多越杂，每个链接能分到的关注度就越低。入口页的目标是把视线集中到少数几个目标 URL 上。
- 重要目标 URL 别只靠入口页一条路。在入口页链接之外，配合 sitemap、站内正常导航等其他发现方式，比把希望全押在一批模板页上更稳。
怎么判断问题出在入口页
如果日志里能看到搜索蜘蛛确实来过入口页，但目标 URL 长时间没有抓取记录，可以按下面的顺序看：
- 入口页的链接是不是能被正常解析出来的静态 HTML；
- 同一批入口页是不是高度雷同，而且上线时间集中；
- 目标 URL 所在站点本身抓取是不是就慢，入口页只是被拖累；
- 全站被抓的页面里，入口页占比是不是高到不正常。
入口页的作用是提供一条被发现的路，不是保证目标 URL 一定被抓、一定被收录。模板化程度越低、页面差异越真实，这条路走得越顺；反过来，批量复制的东西，搜索引擎见得比我们多。
说到底，入口页内容雷同不会立刻切断链接的传递，但它会慢慢降低整站被抓的效率。与其纠结“会不会被跟”，不如把精力放在减少明显的批量痕迹上，这比事后排查更省事。