在搭建蜘蛛池入口頁时，常有人想走一條捷径：頁面正文里不放任何超連結，只在头部寫一行 canonical，把目标 URL 填進去，希望搜尋蜘蛛顺着這個地址去抓。這個做法能不能成立，取决于你是否分清了“發現”和“索引”這两件事。
先分清 canonical 属于哪一层
canonical 是索引层的信号，用来告诉搜尋引擎：這一组内容相同或高度相似的頁面里，哪個是規范版本。它不负责發現新 URL，也不是抓取指令。
- 發現：靠 <a href> 連結、sitemap、外部連結、主動提交。
- 抓取：受 robots.txt、响應狀態碼、抓取预算、站点稳定性影响。
- 索引：canonical、noindex、内容质量、重复度在這一层起作用。
把目标 URL 寫進 canonical，本质是在索引环节做一次指向，而不是给蜘蛛開一條通道。
那搜尋蜘蛛到底會不會去抓 canonical 里的地址
會，但並不稳定，也不该被当成主要手段。
- 引擎為了確認規范關系，有可能去抓一次 canonical 指向的 URL，這属于驗證行為，不是承诺。
- 抓不抓，取决于该 URL 是否已在別處出現、是否可被抓取、站点的抓取预算是否紧張。
- 跨域 canonical 通常被当作弱信号，被忽略的概率更高。
- 如果入口頁内容與 canonical 指向的頁面差异明顯，這條 canonical 往往不會生效。
三個常见誤区
- 把 canonical 当成“隐形連結”。它的触發时机由索引阶段的判断决定，你無法控制。
- 只寫 canonical、不寫連結。一旦引擎忽略這條 canonical，入口頁就近似一張空頁。
- canonical 指向的地址本身是 301、404 或需要登入。這種情况下不僅不生效，還可能让引擎降低對该入口頁的信任。
要做 URL 發現，稳妥的做法是什么
- 正文里使用正常的 可点击超連結，锚文本寫清楚，指向目标 URL。
- 每個入口頁放少量、相關的連結，不要几十上百條堆在一起。
- 入口頁本身要能被正常抓取：返回 200、有可讀正文、不被 robots.txt 挡住。
- sitemap 與頁面内連結保持一致，別让两者互相矛盾。
- 如果目标 URL 已在站点其他地方出現，優先靠站内連結把發現路径打通。
- canonical 留给“内容重复时使用”，而不是留给“發現 URL 时使用”。
怎么驗證入口頁到底有没有起作用
別只看頁面是否被抓，還要看被抓之後發生了什么。
- 查服務器日誌：按搜尋蜘蛛的 UA 過滤，看入口頁與目标 URL 的請求量、狀態碼和請求時間分布。
- 看 referer 字段，判断目标 URL 的請求是否由入口頁带来。
- 用站点後台的 URL 检查工具，確認引擎選定的規范網址是不是你想要的那個。
- 若入口頁有抓取、目标 URL 也有抓取但始终不索引，問题更可能在目标頁本身，而不是入口頁。
canonical 是给已经抓到的頁面做归類的，不是用来把蜘蛛引到新地址的。發現靠連結，抓取靠可訪問性，索引靠内容。
把三件事分開處理：用連結解决發現，用可訪問性解决抓取，用内容與 canonical 解决索引。入口頁只是這條鏈路的起点，任何一個环节出問题，目标 URL 都會停在半路上。