标签：403拦截

入口页被防火墙拦成 403 或验证码页：搜索蜘蛛还会抓到里面的链接吗

入口页能打开却常被防火墙拦成 403、503，或者返回状态码 200 的验证码页，这几种情况对搜索蜘蛛的含义完全不同。本文说明蜘蛛遇到拦截时的典型处理方式，以及如何用日志状态码和响应体积，判断入口页是否真的把链接暴露给了爬虫。