搭蜘蛛池入口頁的时候，把入口頁和一批目标 URL 放在不同域名下是很常见的做法。随之而来的疑問也很集中：跨域名的連結，搜尋蜘蛛會不會不跟？或者跟了但不算數？下面把這件事拆開讲清楚。
结论先说：跨域名本身不是障碍
搜尋蜘蛛判断要不要跟進一條連結，看的是這條連結是否可抓取：是不是 a 标簽里的真實 href、有没有被 nofollow 挡住、入口頁有没有被 noindex、robots.txt 是否放行、目前有没有抓取配額。域名是否相同，不在它的判断條件里。同一個入口頁上既放同域連結也放跨域連結，只要都能正常渲染出来，两條連結被發現的概率是接近的。
真正的差別在哪里
1. 抓取配額是按站点算的
抓取预算通常按站点或按主机分配。跨域連結意味着目标 URL 的抓取要消耗目标站自己的配額，而不是入口頁所在站的配額。如果目标站本身配額就紧張，連結被發現的時間点可能被推得很晚，看起来像“没被發現”。
2. robots.txt 和站点級指令各管各的
入口頁允许抓取，不代表目标站允许。目标站 robots.txt 里的 Disallow、响應头里的 X-Robots-Tag、登入墙，都會在下一步把蜘蛛挡回去。跨域时這一层指令和入口頁完全無關，很容易在排查时被漏掉。
3. 服務器表現和解析差异
不同域名往往挂在不同 IP、不同 CDN、不同机房的机器上。目标站响應慢、DNS 解析異常、频繁返回 5xx，都會让蜘蛛降低對它的抓取。入口頁再規整，也带不動一個常年打不開的目标站。
4. 质量信号不會顺着連結传递
跨域連結只是一條發現路径，不构成任何背书。入口頁被判定為低质量，不會直接连累目标 URL 受罚，但也別指望它给目标站带来權重。
什么情况下跨域會明顯拖慢發現
- 入口頁和目标站都是新域名、新 IP，本身抓取量就很少
- 目标站 robots.txt 大面积拦截，或整站被 noindex
- 目标站長期超时、返回 5xx，抓取频次被下調
- 連結是 JavaScript 動態插入的，而入口頁本身渲染就少
- 目标 URL 需要登入，或带一次性參數、會话 ID
排查顺序建议
- 先看入口頁日誌，確認搜尋蜘蛛是否真的訪問過入口頁
- 查看頁面源碼里是否有連結，而不是只靠 JS 渲染出来
- 抽查目标站 robots.txt 和返回狀態碼，確認没有站点級拦截
- 入口頁與目标 URL 各自提交一次，對比两侧日誌的到達時間
- 把同域連結和跨域連結的發現時間放一起比，判断差在结构還是差在目标站
實操建议
跨域可以做，但要做成可控的跨域：
- 目标站最好是你能控制 robots、狀態碼和响應速度的站
- 入口頁保持可抓取，連結寫在 HTML 里，不加 nofollow
- 目标 URL 寫法统一，协议、域名、结尾斜杠保持一致
- 發現慢的时候，優先查目标站自身問题，而不是反复更換入口頁
- 入口頁和連結數量都保持稳定节奏，避免某天突然堆几千條
跨域名只是一種结构選擇。連結能不能被發現，取决于入口頁和目标站两端是不是都“開着门”。先把两侧的基础抓取問题排干净，再谈入口頁的數量、位置和更新节奏，比反复折腾结构更有效。