先分清“发现”与“收录”
搜索蜘蛛发现一个 URL，只代表它知道了这个地址的存在。发现之后，URL 通常要经过排队抓取、抓取响应、内容解析、质量与重复度评估等环节，才可能进入索引。任何一个环节卡住，都会表现为“好像发现了，但一直不收录”。
从发现到收录的常见卡点
1. 抓取排队与配额
入口页上的链接再多，搜索蜘蛛也要按自己的抓取配额来安排。新站、低权重站或抓取频次不稳定的站，目标 URL 可能长时间停在待抓取队列里。此时日志里能看到入口页被抓，但目标 URL 的抓取记录很少。
2. 抓取时的响应问题
目标 URL 返回 5xx、超时、被防火墙拦截、被 CDN 返回旧缓存，都会让本次抓取失败。连续失败后，搜索蜘蛛会降低回访频率。建议先确认目标 URL 对搜索蜘蛛返回的是稳定 200，且没有误伤 UA。
3. 页面自身设置了障碍
- robots.txt 或 meta robots 误挡了目标 URL；
- canonical 指向了另一个页面，搜索蜘蛛可能把权重归到别处；
- 目标 URL 需要登录、Cookie 或表单才能看到内容；
- 主要内容靠 JavaScript 渲染，而搜索蜘蛛拿到的初始 HTML 里没有有效信息。
4. 内容质量与重复度
如果目标 URL 和站内、站外大量页面高度相似，或者只有采集拼凑的空壳内容，搜索引擎可能抓取后不索引，或索引后很快剔除。蜘蛛池入口页能帮忙发现 URL，但不能替代目标页本身的内容价值。
5. 入口页到目标 URL 的链路太绕
多层跳转、短链、参数跳转、JS 点击才出现的链接，都会增加搜索蜘蛛跟丢的概率。入口页最好用可抓取的普通链接直连目标 URL，减少中间层。
用日志和抓取记录做一次核对
不要只看入口页的日志，要分开看两个对象：入口页有没有被抓，目标 URL 有没有被抓。可以按下面顺序排查：
- 在日志里筛选目标 URL，确认搜索蜘蛛是否访问过，返回状态码是什么。
- 如果从未访问，检查入口页是否可访问、链接是否可解析、是否被 robots 或 nofollow 挡住。
- 如果访问过但返回非 200，先修服务器、防火墙和跳转链。
- 如果返回 200 但一直不收录，检查 canonical、meta robots、内容重复度和页面完整度。
- 对比同一批目标 URL 中已收录和未收录的页面，找出差异，而不是反复提交同一批地址。
发现是入口，抓取是过程，收录是结果。我们能优化的是入口是否通畅、抓取是否顺利、页面是否有独立价值，而不是替搜索引擎做收录决定。
蜘蛛池入口页可以做什么、不该做什么
入口页适合做一件事：用可抓取的链接把目标 URL 暴露给搜索蜘蛛。它不应该承担“保证收录”的角色。比较稳妥的做法是：入口页保持可访问、链接直连、锚文本自然、目标 URL 本身可正常访问且有独立内容。目标 URL 很多时，分批、分入口、分时间放出，比一次性堆几千条链接更合理。
如果发现、抓取和页面质量都没有明显问题，剩下的就是等待搜索引擎自己的评估周期。不同站点、不同内容类型的收录速度差异很大，不必因为几天没收录就频繁改链接结构或重复提交。