标签：抓取测试

抓取测试的常见误判：浏览器能打开，不代表蜘蛛走得通

很多人用浏览器打开页面正常，就默认蜘蛛也能抓。其实抓取测试要分入口放行、响应头、源码里的链接、日志验证几层，不同 UA、IP、是否执行脚本都会给出不同结果。本文梳理几类常见误判，以及一套可以复用的测试流程。