蜘蛛池搭好之后，最常遇到的困惑是：入口页放在那里，蜘蛛为什么迟迟不来。这里有个前提容易被忽略——蜘蛛不会平白无故发现一个新 URL。它要么顺着已有的链接爬过来，要么通过站点地图、主动推送这类显式通道被通知。蜘蛛池做的很多事，本质上是在制造“被发现的路径”。这篇就聊这些路径怎么搭、怎么用，以及哪些做法其实没用。
蜘蛛发现新 URL 的三条主要通路
把通路拆开看，其实就三类：链接、提交、历史沿袭。
- 链接：外部页面指向入口页的超链接，包括友情链接、正文引用、论坛签名、评论、导航站收录等。
- 提交：站点地图（sitemap），以及搜索引擎提供的主动推送接口。
- 历史沿袭：域名或目录以前被抓过，蜘蛛会按旧路径回头再看；已收录页面上新增的内链也算这一类。
蜘蛛池的入口页大多是批量生成的，本身没有自然外链，所以第二条和第三条往往比第一条更容易先见效。
外链引蜘蛛：数量不是重点，可爬性才是
很多人一提到引蜘蛛，第一反应就是买一堆外链。但真正决定蜘蛛会不会顺着链接过来的，不是挂了多少条，而是这些链接能不能被爬。
链接要真的能被爬
- 加了 rel=\"nofollow\" 的链接，多数蜘蛛不会顺着爬，等于白发。
- 用 JS 跳转或点击按钮才能到达的链接，蜘蛛不一定执行脚本，直接写成 <a href> 最稳。
- 链接所在页面本身要能被抓。放在一个蜘蛛从不访问的页面里，入口页也会跟着一起沉底。
- 同一条链接反复堆在同一个页面，收益递减，没必要。
把链接放在蜘蛛常去的位置
首页、栏目页、更新频繁的列表页，蜘蛛造访频率明显高于深层页面。如果只是想让蜘蛛先发现入口页，把链接放在这些位置，通常比塞进某个角落的“友情链接”区更有效。
提交通道怎么用
站点地图：适合批量
入口页数量多的时侯，站点地图是成本最低的方式。按批次分文件、记录 lastmod、保持文件本身可访问，比把所有 URL 塞进一个巨型 sitemap 要好。需要留意的是，sitemap 里的地址必须和页面实际返回的规范 URL 一致，带参数、带会话 ID 的地址放进去只会浪费抓取预算。
主动推送：有额度，要挑着用
各家推送接口都有配额，不可能把全部入口页推一遍。比较合理的做法是优先推新增的、内容有实际更新的、之前被抓过的页面。推送成功不等于被抓，它只是把 URL 放进待抓队列，别把它当成收录开关。
几个常见误区
- 外链越多越好：低质量页面本身往往就不被爬，挂了也是白挂；数量堆到一定程度后，边际效果几乎为零。
- 只引首页：只把蜘蛛引到首页，它会按站内结构自己决定往哪走。若站内内链混乱，蜘蛛可能根本走不到真正想被发现的入口页。
- 引进来就不管了：蜘蛛第一次来是探路，页面返回 4xx、5xx 或者加载超时，它下次就不太愿意再来。
- 把推送当收录：提交、被发现、被收录是三件事，混为一谈容易做出错误判断。
一些使用建议
- 先保证入口页本身可访问、返回 200、内容有实际差异，再去谈引蜘蛛。页面本身有问题，引进来也是白费。
- 外链、站点地图、主动推送三条路可以同时铺，但每条都要控制质量，单靠一条容易不稳定。
- 分层引：核心入口页用质量更高的外链，长尾入口页走站点地图批量提交。
- 定期看日志，确认蜘蛛是从哪个来源进来的、抓了哪些 URL。数据会告诉你哪条通路真正有效。
- 不要为了“引蜘蛛”去大量制造无意义的链接页面，这类页面会拖低整站的抓取质量。
引蜘蛛这件事，本质是给蜘蛛一条清楚、稳定、值得走的路。路修得越多越好不是重点，重点是每条路都能走通。