标簽：403拦截

入口頁被防火墙拦成 403 或驗證碼頁：搜尋蜘蛛還會抓到里面的連結吗

入口頁能打開却常被防火墙拦成 403、503，或者返回狀態碼 200 的驗證碼頁，這几種情况對搜尋蜘蛛的含义完全不同。本文說明蜘蛛遇到拦截时的典型處理方式，以及如何用日誌狀態碼和响應体积，判断入口頁是否真的把連結暴露给了爬虫。