蜘蛛池搭好之後，最常遇到的困惑是：入口頁放在那里，蜘蛛為什么迟迟不来。這里有個前提容易被忽略——蜘蛛不會平白無故發現一個新 URL。它要么顺着已有的連結爬過来，要么通過站点地图、主動推送這類顯式通道被通知。蜘蛛池做的很多事，本质上是在制造“被發現的路径”。這篇就聊這些路径怎么搭、怎么用，以及哪些做法其實没用。
蜘蛛發現新 URL 的三條主要通路
把通路拆開看，其實就三類：連結、提交、歷史沿袭。
- 連結：外部頁面指向入口頁的超連結，包括友情連結、正文引用、论坛簽名、评论、導航站收錄等。
- 提交：站点地图（sitemap），以及搜尋引擎提供的主動推送接口。
- 歷史沿袭：域名或目錄以前被抓過，蜘蛛會按舊路径回头再看；已收錄頁面上新增的内鏈也算這一類。
蜘蛛池的入口頁大多是批量生成的，本身没有自然外鏈，所以第二條和第三條往往比第一條更容易先见效。
外鏈引蜘蛛：數量不是重点，可爬性才是
很多人一提到引蜘蛛，第一反應就是買一堆外鏈。但真正决定蜘蛛會不會顺着連結過来的，不是挂了多少條，而是這些連結能不能被爬。
連結要真的能被爬
- 加了 rel=\"nofollow\" 的連結，多數蜘蛛不會顺着爬，等于白發。
- 用 JS 跳轉或点击按钮才能到達的連結，蜘蛛不一定执行脚本，直接寫成 <a href> 最稳。
- 連結所在頁面本身要能被抓。放在一個蜘蛛從不訪問的頁面里，入口頁也會跟着一起沉底。
- 同一條連結反复堆在同一個頁面，收益递减，没必要。
把連結放在蜘蛛常去的位置
首頁、栏目頁、更新频繁的列表頁，蜘蛛造訪频率明顯高于深层頁面。如果只是想让蜘蛛先發現入口頁，把連結放在這些位置，通常比塞進某個角落的“友情連結”区更有效。
提交通道怎么用
站点地图：适合批量
入口頁數量多的时侯，站点地图是成本最低的方式。按批次分文件、记錄 lastmod、保持文件本身可訪問，比把所有 URL 塞進一個巨型 sitemap 要好。需要留意的是，sitemap 里的地址必须和頁面實际返回的規范 URL 一致，带參數、带會话 ID 的地址放進去只會浪費抓取预算。
主動推送：有額度，要挑着用
各家推送接口都有配額，不可能把全部入口頁推一遍。比較合理的做法是優先推新增的、内容有實际更新的、之前被抓過的頁面。推送成功不等于被抓，它只是把 URL 放進待抓队列，別把它当成收錄開關。
几個常见誤区
- 外鏈越多越好：低质量頁面本身往往就不被爬，挂了也是白挂；數量堆到一定程度後，邊际效果几乎為零。
- 只引首頁：只把蜘蛛引到首頁，它會按站内结构自己决定往哪走。若站内内鏈混乱，蜘蛛可能根本走不到真正想被發現的入口頁。
- 引進来就不管了：蜘蛛第一次来是探路，頁面返回 4xx、5xx 或者加载超时，它下次就不太愿意再来。
- 把推送当收錄：提交、被發現、被收錄是三件事，混為一谈容易做出错誤判断。
一些使用建议
- 先保證入口頁本身可訪問、返回 200、内容有實际差异，再去谈引蜘蛛。頁面本身有問题，引進来也是白費。
- 外鏈、站点地图、主動推送三條路可以同时铺，但每條都要控制质量，單靠一條容易不稳定。
- 分层引：核心入口頁用质量更高的外鏈，長尾入口頁走站点地图批量提交。
- 定期看日誌，確認蜘蛛是從哪個来源進来的、抓了哪些 URL。資料會告诉你哪條通路真正有效。
- 不要為了“引蜘蛛”去大量制造無意义的連結頁面，這類頁面會拖低整站的抓取质量。
引蜘蛛這件事，本质是给蜘蛛一條清楚、稳定、值得走的路。路修得越多越好不是重点，重点是每條路都能走通。