做蜘蛛池时，经常有人问：入口页本身要不要被搜索引擎收录？如果入口页一直不收录，是不是就白做了？这个问题要拆成两件事看：搜索蜘蛛能不能抓到入口页，和入口页会不会出现在搜索结果里。前者决定它能不能帮你发现目标 URL，后者更多是索引层面的结果。
先给结论
入口页不被收录，仍然可以承担给搜索蜘蛛指路的作用。搜索蜘蛛抓取一个页面，前提是它能通过某个链接、sitemap 或提交入口发现这个 URL，并且 robots 允许抓取；收录则是抓取之后经过内容质量、重复度等判断才可能发生的事。两者不是一回事，入口页的价值主要体现在前者。
抓取和收录为什么会分开
- 抓取：蜘蛛请求 URL、拿到 HTML、顺着页面上的链接继续走。只要页面可访问、可被抓取，链接就有机会被跟进。
- 收录：蜘蛛抓取后，搜索引擎判断这个页面是否值得放进索引、能否参与搜索展现。低质、重复、缺乏实质内容的页面通常不会被收录。
- 因此，一个只堆链接、没有实质内容的入口页，很可能长期处于“抓得到但不收录”的状态，这并不影响它作为链接通道的功能。
入口页不被收录时会发生什么
多数情况下不会有直接问题，但有几个细节值得注意：
- 抓取频率可能偏低。搜索引擎对长期不被收录、内容单薄的页面，通常不会投入太多抓取资源，新加的目标 URL 被发现的速度可能变慢。
- 缺少外部入口。如果入口页既不被收录，又没有 sitemap、外链或主动提交引路，蜘蛛可能只来过一次就不再回来。
- 链路容易断。入口页本身如果状态码不稳定、经常超时，蜘蛛会降低访问频率。
想让入口页进索引，可以做什么
- 给入口页加一点真实内容：简单的说明文字、分类描述、更新记录，让它不只是一串链接。
- 保证页面返回 200，加载速度稳定，移动端可读。
- 用 sitemap 或站点内的正常导航链接指向入口页，让它有内部链接入口。
- 控制入口页的数量和相似度，避免大量模板雷同的页面互相稀释。
需要说明的是，做到这些只是提高被正常处理的可能性，不能保证一定收录，也不需要把“入口页必须收录”当成硬指标。
不想让入口页进索引，怎么办
如果入口页只是给蜘蛛用的通道，不希望它出现在搜索结果里，常见做法是加 noindex。需要理解的是：noindex 影响的是索引，不是抓取；蜘蛛仍然可以抓取这个页面并跟随上面的链接。不过在实际观察中，长期 noindex 的页面抓取频率往往会下降，所以更稳妥的做法是保留部分有内容的入口页可被收录，把纯通道页控制在合理数量。
另外，不要用 robots.txt 的 disallow 来“阻止收录”，那会直接挡住抓取，目标 URL 也就跟着一起没了。
提示：入口页和 sitemap、主动提交是互相配合的手段，不是收录的保证。抓取日志里出现搜索蜘蛛，只说明它来过，具体是否跟进目标 URL、多快跟进，需要结合日志和站点整体情况判断。
常见误区
- “入口页不收录就等于没用”——不一定，它仍可能承担链接发现的作用。
- “入口页越多越好”——大量低质页面会分散抓取资源，反而拖慢新 URL 的发现。
- “加了 noindex 蜘蛛就不来了”——noindex 不阻止抓取，但可能间接降低访问频率。