常
蜘蛛池入口页只对特定 UA 或登录状态输出链接,搜索蜘蛛还能发现目标 URL 吗
搜索蜘蛛访问入口页时是无 Cookie、不登录的匿名请求。登录后可见、Cookie 校验、Referer 校验这几类限制,基本会让目标 URL 无法被发现;只对搜索引擎 UA 输出链接技术上能拿到,但属于伪装内容,本身有风险。本文分场景说明哪些做法无效、哪些能用但不建议,并给出匿名自测入口页的具体步骤。
阅读全文 →共找到 1 篇与“页面伪装”相关的文章。
搜索蜘蛛访问入口页时是无 Cookie、不登录的匿名请求。登录后可见、Cookie 校验、Referer 校验这几类限制,基本会让目标 URL 无法被发现;只对搜索引擎 UA 输出链接技术上能拿到,但属于伪装内容,本身有风险。本文分场景说明哪些做法无效、哪些能用但不建议,并给出匿名自测入口页的具体步骤。
阅读全文 →