搭蜘蛛池的人常把注意力全放在目标 URL 上，却忽略一个前提：入口页本身也得先被搜索蜘蛛访问过。如果连入口页都没进过抓取队列，页面上写得再整齐的链接，也只是躺在服务器上的一串文本。
搜索蜘蛛发现链接的基本链路
搜索蜘蛛不会凭空扫描互联网。它的工作方式是从一批已经知道的 URL 出发，抓取页面，再从 HTML 里解析出新的链接，把新链接放进待抓取队列。整条链路大致是：已知 URL → 抓取 → 解析链接 → 入队 → 再抓取。
把这个链路套到蜘蛛池上，入口页扮演的是中间那一步。它必须满足两个条件才可能起作用：一是入口页自己出现在某个已知 URL 的链接图里，二是入口页返回的内容能被正常解析出链接。
入口页自己没被爬过的常见原因
- 入口页是孤岛：既没有外链指向，也没有任何已被抓取的页面链到它，sitemap 里也没有它。
- 入口页所在域名本身从未被搜索蜘蛛访问过，入口页自然无从谈起。
- robots.txt 或服务器配置把入口页挡在外面，蜘蛛请求到一半就被拒绝。
- 服务器频繁返回 5xx、人机验证页或要求登录，蜘蛛拿到的是错误页而不是链接列表。
- 入口页的链接依赖 JavaScript 渲染，蜘蛛取到的初始 HTML 里什么都没有。
- 入口页藏在需要提交表单、点击按钮才出现的路径后面，蜘蛛不会主动去点。
让入口页进入抓取范围的几个动作
- 先确认入口页所在域名至少有一个能正常访问的首页，且没有被 robots.txt 全面屏蔽。
- 给入口页做一份包含它的 sitemap，并通过站点验证渠道提交。
- 从已经能被抓取的页面上放一条指向入口页的普通 HTML 链接，让它有明确的入站路径。
- 保持入口页稳定返回 200，响应时间别拖太久，避免蜘蛛反复超时。
- 隔几天看一次服务器日志，确认入口页 URL 真的出现在蜘蛛请求里。
这几步不复杂，但顺序不能反。先解决入口页能不能被访问，再谈页面上挂多少目标 URL。
入口页被抓过，不等于目标 URL 马上被抓
入口页被访问，只是把目标 URL 送进了待抓取队列，队列里的地址还要排队。搜索蜘蛛会结合站点整体质量、页面更新频率、历史抓取表现来分配抓取预算。同一个入口页上挂几十个链接和挂几百个链接，实际被抓走的比例往往差别很大。
比较务实的判断方式是看趋势：入口页被抓的次数、目标 URL 被抓的条数、日志里 4xx 与 5xx 的比例。这几项是往上走的，说明链路在通；如果入口页本身都很少出现在日志里，那问题还在更前面一层。
自查时的两个关键信号
- 入口页 URL 是否出现在蜘蛛日志中，出现频次是否稳定。
- 日志里是否出现了目标 URL 的抓取请求，而不只是入口页被访问。
入口页更像是一条路，不是收录本身。路修通了，车走不走、走多少辆，还取决于目的地和整体路况。
蜘蛛池能降低 URL 被发现的门槛，但发现只是第一步。入口页自身可访问、可解析、有入站路径，是整件事能否成立的基础。先把这一层做扎实，再考虑入口页数量、链接密度这些进阶问题，才不容易白忙一场。