做蜘蛛池时，很多人会把入口页放在一个独立域名或子域名上，目标 URL 放在另一个域名。于是就有了一个常见疑问：搜索蜘蛛在入口页看到跨域链接，会顺着抓过去吗？结论是：能发现，但“能发现”和“会去抓、抓多少”是两件事。
链接发现本身不分域名
搜索蜘蛛解析页面时，处理的是 HTML 里的链接，而不是“这个链接属不属于当前站点”。只要 a 标签的 href 是一个格式合法、协议可抓取的绝对 URL，它就会被放进待抓取队列，跨域和同域在这一步没有区别。
所以从“发现”角度看，把目标链接放在另一个域名的入口页上，和放在同域页面上，效果基本相同。真正不一样的是后面两步：调度和抓取。
抓取配额是按主机分配的
搜索引擎给抓取留的额度，通常按 主机（host） 来分配，而不是按“你希望抓多少”。入口页所在的域名抓得再勤，也不会把额度自动转移给目标域名。目标域名能抓多少，更多取决于它自己的表现：
- 服务器响应速度与稳定性，长期 5xx、超时容易被降速；
- 历史抓取中被抓页面的内容价值与更新频率；
- 目标站的 robots.txt 是否允许抓取对应路径；
- 目标站自身的链接结构，能否让蜘蛛继续深入。
换句话说，入口页解决的是“让蜘蛛知道有这个 URL”，解决不了“让蜘蛛持续来抓”。后者要靠目标站自己承接。
哪些情况会让跨域链接失去意义
链接带了 nofollow
如果入口页上的目标链接加了 rel="nofollow"，搜索蜘蛛可能仍然会解析到这个 URL，但通常不会把它当成需要抓取的推荐链接。跨域场景下，有人误以为 nofollow 更“安全”，实际往往适得其反。
入口页整体被判为低质量
当入口页批量生成、内容空洞、域名历史不干净时，上面的链接在算法层面可能被降权处理。这不是抓取层面的问题，而是价值判断层面的问题，日志上未必看得出明显异常，但目标页迟迟没有变化。
目标 URL 本身打不开
如果目标 URL 返回 404、410 或大量 5xx，跨域不跨域都一样：蜘蛛来过一次，短期内不会再优先来。建议先去目标域名日志里核对状态码，而不是只看入口页有没有被抓。
用跨域入口页时，更该盯住这几件事
- 日志验证：在目标域名日志里筛搜索蜘蛛 UA，看它是否访问过目标 URL、频率如何、返回什么状态码。
- 目标站内部链接：把目标页放进站内导航、相关推荐和 sitemap，比只依赖入口页更稳。
- 服务器承压：跨域入口页可能带来突然增多的抓取，先确认目标站撑得住，别让响应时间变成瓶颈。
- 不要跨域堆量：同一个目标 URL 在大量无关域名上反复出现，容易被当成异常链接，收益也不稳定。
入口页能做的只是“被发现”。能否被持续抓取、最终是否收录，取决于目标 URL 自身的内容质量、可访问性，以及站点整体的抓取表现。
小结
跨域入口页可以被搜索蜘蛛正常解析，链接发现这一环不会因为域名不同而中断。但它不改变抓取配额按站点分配的规则，也不会替目标页解决内容和响应层面的问题。把入口页当作发现渠道之一，同时把主要精力放在目标站的可抓取性和内容质量上，通常更实际。