做蜘蛛池时，经常有人問：入口頁本身要不要被搜尋引擎收錄？如果入口頁一直不收錄，是不是就白做了？這個問题要拆成两件事看：搜尋蜘蛛能不能抓到入口頁，和入口頁會不會出現在搜尋结果里。前者决定它能不能帮你發現目标 URL，後者更多是索引层面的结果。
先给结论
入口頁不被收錄，仍然可以承担给搜尋蜘蛛指路的作用。搜尋蜘蛛抓取一個頁面，前提是它能通過某個連結、sitemap 或提交入口發現這個 URL，並且 robots 允许抓取；收錄則是抓取之後经過内容质量、重复度等判断才可能發生的事。两者不是一回事，入口頁的價值主要体現在前者。
抓取和收錄為什么會分開
- 抓取：蜘蛛請求 URL、拿到 HTML、顺着頁面上的連結繼續走。只要頁面可訪問、可被抓取，連結就有机會被跟進。
- 收錄：蜘蛛抓取後，搜尋引擎判断這個頁面是否值得放進索引、能否參與搜尋展現。低质、重复、缺乏實质内容的頁面通常不會被收錄。
- 因此，一個只堆連結、没有實质内容的入口頁，很可能長期處于“抓得到但不收錄”的狀態，這並不影响它作為連結通道的功能。
入口頁不被收錄时會發生什么
多數情况下不會有直接問题，但有几個细节值得注意：
- 抓取频率可能偏低。搜尋引擎對長期不被收錄、内容單薄的頁面，通常不會投入太多抓取资源，新加的目标 URL 被發現的速度可能變慢。
- 缺少外部入口。如果入口頁既不被收錄，又没有 sitemap、外鏈或主動提交引路，蜘蛛可能只来過一次就不再回来。
- 鏈路容易断。入口頁本身如果狀態碼不稳定、经常超时，蜘蛛會降低訪問频率。
想让入口頁進索引，可以做什么
- 给入口頁加一点真實内容：简單的說明文字、分類描述、更新记錄，让它不只是一串連結。
- 保證頁面返回 200，加载速度稳定，移動端可讀。
- 用 sitemap 或站点内的正常導航連結指向入口頁，让它有内部連結入口。
- 控制入口頁的數量和相似度，避免大量模板雷同的頁面互相稀释。
需要說明的是，做到這些只是提高被正常處理的可能性，不能保證一定收錄，也不需要把“入口頁必须收錄”当成硬指标。
不想让入口頁進索引，怎么办
如果入口頁只是给蜘蛛用的通道，不希望它出現在搜尋结果里，常见做法是加 noindex。需要理解的是：noindex 影响的是索引，不是抓取；蜘蛛仍然可以抓取這個頁面並跟随上面的連結。不過在實际观察中，長期 noindex 的頁面抓取频率往往會下降，所以更稳妥的做法是保留部分有内容的入口頁可被收錄，把纯通道頁控制在合理數量。
另外，不要用 robots.txt 的 disallow 来“阻止收錄”，那會直接挡住抓取，目标 URL 也就跟着一起没了。
提示：入口頁和 sitemap、主動提交是互相配合的手段，不是收錄的保證。抓取日誌里出現搜尋蜘蛛，只說明它来過，具体是否跟進目标 URL、多快跟進，需要结合日誌和站点整体情况判断。
常见誤区
- “入口頁不收錄就等于没用”——不一定，它仍可能承担連結發現的作用。
- “入口頁越多越好”——大量低质頁面會分散抓取资源，反而拖慢新 URL 的發現。
- “加了 noindex 蜘蛛就不来了”——noindex 不阻止抓取，但可能間接降低訪問频率。