先说结论：跨域本身不会挡住搜索蜘蛛。蜘蛛抓取的是页面里的链接，只要链接以可解析的超链接形式出现在 HTML 中，它指向哪个域名并不影响是否被排进抓取队列。真正决定目标 URL 会不会被抓的，是入口页的可抓取性、链接的写法，以及目标站自身的抓取表现。
跨域链接和站内链接，在发现环节有什么不同
从发现这一步看，两者几乎一样：蜘蛛下载入口页，解析出链接，去重，然后排队抓取。域名不同，不会在解析阶段被过滤。
差别主要出现在排期阶段。跨域链接在搜索引擎眼里就是一条普通外链，它能不能很快被抓，更多取决于目标站自己的抓取记录：
- 目标站长期返回正常、内容更新稳定，被抓取的频率就高；
- 目标站经常超时、返回 5xx，或大量页面是空壳，抓取速度会被主动下调；
- 入口页本身权重低、被抓频率低，蜘蛛可能几天才来一次，链接自然排得更靠后。
哪些情况会让跨域链接被忽略或延后
- 入口页内容稀薄、几乎全是链接，被判定为低价值页面，抓取频率极低。
- 链接写在 JavaScript 里、CSS 背景图里、注释里或表单属性里，多数情况下不会被当作可跟进链接。
- 链接带了 nofollow 之类的属性，跟进意愿下降。
- 一批入口页用同一套模板、落在同一批 IP 段、内容互相拷贝，容易被当成站群，跟进意愿进一步降低。
- 目标 URL 上挂了一长串跟踪参数，而且不同入口页给出的版本还不一致，参数版容易被规范化合并到同一地址，造成抓了却像没抓的错觉。
- 目标 URL 需要多跳重定向才能到最终页，中间任何一跳超时，这次发现就断了。
想让跨域目标 URL 更容易被发现，可以做的几件事
- 用真实的超链接把地址写出来，别用点击脚本或跳转页代替。
- 入口页尽量有自己的一点内容，哪怕是简短说明文字，别做成纯链接列表。
- 单个入口页的链接数量控制在合理范围，几十条通常比几千条更容易被处理完整。
- 目标 URL 本身要能稳定返回 200，减少重定向跳数，避免参数堆叠。
- 把 sitemap 当作补充手段而不是唯一手段，它能帮助发现，但不保证抓取。
- 用服务器日志验证结果：确认来访的是真搜索蜘蛛、抓的是不是你要的那个 URL，再决定要不要加量。
蜘蛛池能做的只是把入口铺出去、把链接写清楚。抓不抓、什么时候抓，最终由搜索引擎的调度决定，铺了就一定被抓的说法并不成立。
几个常见误区
- 误区一：跨域就不抓。跨域链接每天都在被正常跟进，域名本身不是障碍。
- 误区二：入口页越多越好。低质入口页堆量，只会把有限的抓取配额摊薄，还容易触发站群识别。
- 误区三：用短链或多跳跳转更安全。每多一跳就多一个失败点，发现链路反而更脆。
比较稳妥的做法是：先用少量入口页指向几个目标 URL，观察一到两周的日志和收录变化，确认链路通、蜘蛛确实跟进，再逐步扩量。发现环节的优化是可控的，抓取和收录的结果不是。