把目标 URL 放在別的域名上，是蜘蛛池里很常见的做法：入口頁集中一批連結，指向分散在不同域名、甚至不同服務商的目标頁。很多人做完之後只看到入口頁被抓，目标域名的日誌里却一直空着，于是怀疑“搜尋蜘蛛不會跨域”。這個判断其實不太准确。
搜尋蜘蛛跟不跟外部連結
搜尋蜘蛛發現 URL 的机制，本质上是“顺着連結爬”，並不区分連結是站内還是站外。入口頁上如果有一個指向 B 域名的正常超連結，蜘蛛在解析 HTML 时就會把它当成一個新的 URL 收錄進待抓取队列。跨域不會在解析阶段被拦掉，被拦掉的通常是後面的抓取調度。
換句话说：發現不等于抓取。連結被看到了，只是進了队列；能不能出队列、多久出队列，取决于這個域名在搜尋引擎那邊的整体评價和抓取容量。
為什么入口頁被抓了，目标域名却没動静
1. 目标域名本身處在冷啟動狀態
刚註冊、没有歷史外鏈、没有稳定訪問資料的域名，抓取频率天然很低。即便連結已经進队列，也可能排很久。這是最常见的現象，和跨域本身關系不大。
2. 目标服務器的响應或屏蔽
- 目标服務器對蜘蛛 IP 返回 403、429，或者干脆超时；
- CDN、WAF 的預設規則把非浏览器 UA 拦掉了；
- 目标域名的 robots.txt 里寫了對蜘蛛的 Disallow；
- DNS 解析不稳定，海外蜘蛛訪問不到。
這几種情况下，即便連結被發現了，抓取也會在請求阶段失敗，日誌里未必留下你想看到的痕迹。
3. 連結本身寫得不對
- 用 JavaScript 拼出的地址，或者靠点击事件跳轉；
- 寫成了缺少协议头的相對协议地址；
- 連結指向 302 跳轉鏈，中間某一跳被屏蔽。
這類問题属于“根本没被發現”，需要在入口頁源碼里逐個確認。
跨域發現會不會有額外限制
没有“跨域就降權”這種明确規則，但有两個現實差异值得注意：
- 同域名連結更容易被優先調度。同一個主机上的連結，蜘蛛已经建立了抓取节奏，顺手多抓几個的成本低；跨域則要重新评估，速度通常更慢。
- 陌生域名的信任度需要時間积累。一個域名下的 URL 被多次抓取且返回正常，後續調度才會加快。
把跨域当成“永久屏障”是誤解，把它当成“只是慢一点”更接近實际情况。真正拖慢的是目标域名自身的問题，而不是連結挂在哪個頁面上。
實操上怎么排查和改善
- 先在目标域名的服務器日誌里按蜘蛛 UA 過滤，看有没有請求進来。没有請求 = 發現或調度环节的問题；有請求但报错 = 服務端的問题。
- 確認入口頁里指向目标的連結是标准的 a href 形式，地址完整可解析，不是脚本生成。
- 检查目标域名的 robots.txt、CDN 規則、防火墙策略，确保没有誤伤蜘蛛。
- 保證目标頁本身能被正常訪問，返回 200，内容不是空壳。
- 入口頁不要堆几千條連結，連結過多會稀释每條連結被跟進的概率。
- 定期用站点地图、主動提交等方式补齐發現渠道，不要把 URL 發現完全押在入口頁上。
需要提前想清楚的邊界
如果入口頁的唯一目的是给目标 URL 制造“被發現的假象”，那么即使蜘蛛跟了過去，目标頁能不能被收錄、能不能有排名，仍然取决于内容质量、站点结构和用戶行為。搜尋引擎對這類人為連結结构有识別能力，投入大、回报不稳定。
比較稳妥的用法，是把跨域連結当作發現渠道的一小部分，而不是主要手段。把精力放在目标站自身可抓取、内容可用、结构清晰上，收益會更确定。