入口页能抓取，蜘蛛才会继续走
蜘蛛池的作用是让搜索引擎蜘蛛发现一批 URL，而入口页就是蜘蛛进入的起点。很多配置问题不在服务器，也不在内容，而在页面级标签：蜘蛛明明已经来了，却因为 robots.txt、meta robots 或 canonical 被挡在门外，或者被引到别处。结果日志里可能有抓取记录，但目标 URL 迟迟不被发现。
robots.txt 的三类常见误伤
robots.txt 是蜘蛛抓取前第一道检查。它写错时，入口页和页面里的链接都可能直接失去被抓取的机会。
- 全站 Disallow：复制模板时带了 Disallow: /，整个站点的抓取都会被拦住。蜘蛛不会进入入口页，页面里的目标链接自然也不会被发现。
- 误屏蔽关键路径：例如 Disallow: /go/ 或 Disallow: /*?url=，把中转页、跳转参数全挡掉。蜘蛛不会进入这些 URL，后面的目标页自然也难被发现。
- 规则写错导致整段失效：比如把 User-agent 拼错、把 Allow 和 Disallow 顺序写反，或者用错通配符。不同蜘蛛对语法的容错不一样，最好用搜索资源平台的 robots 测试工具逐条验证。
meta robots 与 noindex 的常见误解
有人以为页面加了 noindex 蜘蛛就不会抓取，其实 noindex 主要是“别索引”，页面本身仍可能被抓取，页面里的链接也可能被继续发现。真正影响链接跟踪的是 nofollow。但这不代表入口页可以随便 noindex：长期不索引的页面，蜘蛛回访频率通常会降低，入口页的“引子”作用会变弱。
如果你的入口页只是临时中转，可以用 noindex 控制索引状态，但要确认没有同时加 nofollow，否则页面里的目标链接很难被传递出去。更常见的错误是模板里默认带了 noindex,nofollow，上线时没删，蜘蛛来了等于白来。
canonical 指错，入口页可能被“合并”掉
canonical 是给搜索引擎的提示，不是强制指令。入口页如果 canonical 到一个不相关的目标页，搜索引擎可能把入口页的信号和索引都归到目标页，入口页自身反而难以作为独立抓取入口存在。对于需要持续吸引蜘蛛的入口页，一般建议 canonical 指向自身，或者至少指向同主题、同语言的可访问版本。不要为了“集中权重”把大量入口页都 canonical 到首页或活动页，那会让入口页失去独立被抓取的理由。
上线前的检查清单
- 用浏览器直接访问入口页，查看源代码中是否有 noindex、nofollow、none。
- 检查 HTTP 响应头里是否通过 X-Robots-Tag 设置了禁止抓取或索引的规则。
- 确认 robots.txt 没有屏蔽入口页路径，也没有用全局 Disallow: /。
- 检查 canonical 是否指向自身或合理的规范版本，而不是无关页面。
- 在搜索资源平台做一次抓取测试，或者观察日志里蜘蛛到达后是否继续请求页面内的链接。
入口页的标签配置不是“设了就完事”，它直接决定蜘蛛是继续走，还是到了门口就掉头。
蜘蛛池的效果来自一连串可抓取、可跟踪的路径。把 robots、meta 和 canonical 这些基础项核对清楚，比反复增加入口页数量更实际。配置越干净，蜘蛛到达后继续发现 URL 的概率才越稳定。