先说结论:抓取看URL,收录看canonical
把带 canonical 的URL投进蜘蛛池,搜索蜘蛛一般不会因为 canonical 就不抓这个URL。canonical 是规范提示,不是抓取开关。它主要影响的是搜索引擎把你哪个URL当成“正主”来展示和计算权重。
所以会出现一种情况:投放的URL在日志里确实有蜘蛛来访,但收录里查不到它,只查到它 canonical 指向的那个地址。这不是蜘蛛池失效,而是规范化在起作用。
几种常见情形
1. canonical 指向同站另一个地址
最常见。比如带有筛选参数、排序参数或渠道参数的页面,统一 canonical 到干净版本。蜘蛛会抓投放的URL,但索引信号会并向规范URL。想推进收录,投放规范URL本身更直接,投参数版本多半只是消耗抓取。
2. canonical 指向其他站点
跨站 canonical 更像“强烈建议”而非必须。搜索引擎会综合内容、内链、外链来判断,很多情况下会忽略跨站 canonical。这类页面投进蜘蛛池,抓取可能正常,但最终被索引的是哪一版更难预测。
3. canonical 指向的URL打不开
如果 canonical 目标返回404、5xx 或被 robots 屏蔽,这个提示基本作废,搜索引擎通常会回退,把当前URL当作规范候选。这种情况下先修好目标URL,再谈投放。
4. 全站 canonical 写错或模板化
有些站点模板里把 canonical 统一写成了首页,等于所有内页都在声明“我不是正主”。这时无论怎么投蜘蛛池、怎么提交URL,收录都会很吃力。这类问题要回到站点侧解决,蜘蛛池帮不上忙。
投放前可以做的核对
- 打开投放URL的源码,确认 rel="canonical" 的值,别只看浏览器地址栏。
- 确认 canonical 目标能正常访问、返回200,且内容与当前页一致。
- 对照 sitemap、内链、canonical 是否指向同一个URL,信号越一致,规范化越容易生效。
- 投放后用服务器日志核对:蜘蛛抓的是投放URL,还是被跳转或 canonical 引导到了别处。
- 在搜索结果里查目标URL,看最终被索引的是哪一版。
抓取量可以被投放放大,但规范化决定哪条URL留下来。两件事分开看,排查思路会清晰很多。
给蜘蛛池投放的建议
- 优先投放规范URL本身。如果页面有多个版本,先确定主版本,再把它投进去。
- 不要在 sitemap 里放一套URL、canonical 里写另一套、蜘蛛池里再投第三套。三个信号打架,搜索引擎会按自己的判断走。
- 参数页、筛选页想被收录,先解决重复内容问题,而不是靠增加入口次数。
- 如果目标只是让蜘蛛多来看看站内新内容,canonical 指向正确的页面并不会阻碍发现,没必要为了投放刻意删掉 canonical。
收尾
canonical 与蜘蛛池并不冲突,它们管的是不同环节:一个管“哪条URL算数”,一个管“蜘蛛能不能更快发现URL”。遇到投放后没收录的情况,先查 canonical 和页面自身信号,再回头看抓取日志和投放方式,通常比一味加量更有效。