把目标 URL 放在别的域名上，是蜘蛛池里很常见的做法：入口页集中一批链接，指向分散在不同域名、甚至不同服务商的目标页。很多人做完之后只看到入口页被抓，目标域名的日志里却一直空着，于是怀疑“搜索蜘蛛不会跨域”。这个判断其实不太准确。
搜索蜘蛛跟不跟外部链接
搜索蜘蛛发现 URL 的机制，本质上是“顺着链接爬”，并不区分链接是站内还是站外。入口页上如果有一个指向 B 域名的正常超链接，蜘蛛在解析 HTML 时就会把它当成一个新的 URL 收录进待抓取队列。跨域不会在解析阶段被拦掉，被拦掉的通常是后面的抓取调度。
换句话说：发现不等于抓取。链接被看到了，只是进了队列；能不能出队列、多久出队列，取决于这个域名在搜索引擎那边的整体评价和抓取容量。
为什么入口页被抓了，目标域名却没动静
1. 目标域名本身处在冷启动状态
刚注册、没有历史外链、没有稳定访问数据的域名，抓取频率天然很低。即便链接已经进队列，也可能排很久。这是最常见的现象，和跨域本身关系不大。
2. 目标服务器的响应或屏蔽
- 目标服务器对蜘蛛 IP 返回 403、429，或者干脆超时；
- CDN、WAF 的默认规则把非浏览器 UA 拦掉了；
- 目标域名的 robots.txt 里写了对蜘蛛的 Disallow；
- DNS 解析不稳定，海外蜘蛛访问不到。
这几种情况下，即便链接被发现了，抓取也会在请求阶段失败，日志里未必留下你想看到的痕迹。
3. 链接本身写得不对
- 用 JavaScript 拼出的地址，或者靠点击事件跳转；
- 写成了缺少协议头的相对协议地址；
- 链接指向 302 跳转链，中间某一跳被屏蔽。
这类问题属于“根本没被发现”，需要在入口页源码里逐个确认。
跨域发现会不会有额外限制
没有“跨域就降权”这种明确规则，但有两个现实差异值得注意：
- 同域名链接更容易被优先调度。同一个主机上的链接，蜘蛛已经建立了抓取节奏，顺手多抓几个的成本低；跨域则要重新评估，速度通常更慢。
- 陌生域名的信任度需要时间积累。一个域名下的 URL 被多次抓取且返回正常，后续调度才会加快。
把跨域当成“永久屏障”是误解，把它当成“只是慢一点”更接近实际情况。真正拖慢的是目标域名自身的问题，而不是链接挂在哪个页面上。
实操上怎么排查和改善
- 先在目标域名的服务器日志里按蜘蛛 UA 过滤，看有没有请求进来。没有请求 = 发现或调度环节的问题；有请求但报错 = 服务端的问题。
- 确认入口页里指向目标的链接是标准的 a href 形式，地址完整可解析，不是脚本生成。
- 检查目标域名的 robots.txt、CDN 规则、防火墙策略，确保没有误伤蜘蛛。
- 保证目标页本身能被正常访问，返回 200，内容不是空壳。
- 入口页不要堆几千条链接，链接过多会稀释每条链接被跟进的概率。
- 定期用站点地图、主动提交等方式补齐发现渠道，不要把 URL 发现完全押在入口页上。
需要提前想清楚的边界
如果入口页的唯一目的是给目标 URL 制造“被发现的假象”，那么即使蜘蛛跟了过去，目标页能不能被收录、能不能有排名，仍然取决于内容质量、站点结构和用户行为。搜索引擎对这类人为链接结构有识别能力，投入大、回报不稳定。
比较稳妥的用法，是把跨域链接当作发现渠道的一小部分，而不是主要手段。把精力放在目标站自身可抓取、内容可用、结构清晰上，收益会更确定。