很多人在蜘蛛池上花力气，注意力全放在入口页：域名够不够多、链接够不够散、更新够不够勤。但入口页只做一件事——把蜘蛛送到目标页。真正决定这次抓取有没有意义的，是目标页能不能接住。
入口页与目标页的分工
入口页的职责是被发现和被跟随；目标页的职责是被理解和被留存。前者做不好，蜘蛛根本不来；后者做不好，蜘蛛来了也只是白走一趟，抓取预算被消耗，页面却没有进入下一次调度的理由。
入口页决定蜘蛛来不来，目标页决定蜘蛛还来不来。
目标页常见的四类“接不住”
1. 打开就出问题
入口页返回 200，目标页却返回 404、403、502，或者跳到一个登录页、验证页。蜘蛛顺着链接走过去，得到的是一个无效终点。这种情况在入口页的日志里往往看不出来，需要单独检查目标页的响应状态。
2. 首屏迟迟不出来
目标页依赖大量前端渲染、外链字体、第三方脚本时，蜘蛛拿到的可能是一个接近空白的 HTML。即便能执行 JS，渲染超时也会让内容抓不全。入口页再轻快，到这一跳被拖住，整体抓取效率都会往下掉。
3. 内容与入口描述对不上
入口页的锚文本和周边文字，其实是给蜘蛛的一个预期。如果锚文本说的是“某类资料”，点进去却是完全无关的页面，链接的可信度会被稀释，后续同类链接被跟随的意愿也会降低。
4. 目标页自身不允许被抓
robots.txt 屏蔽、meta robots 写了 noindex、canonical 指向别的 URL，这些都会让入口页的努力在最后一跳被抵消。这类问题通常不是蜘蛛池配置错，而是目标站的历史遗留设置没人清理。
几个容易踩的误区
- 只盯入口页数据。入口页的抓取次数好看，不代表目标页被有效处理。
- 目标页频繁换 URL。同一份内容反复换地址，入口链接指向的旧地址变成 301 链或死链，蜘蛛会降低对这批链接的信任。
- 一次指向太多同类页。入口页批量指向一批高度相似的页面，容易被当成低价值聚合，得不偿失。
- 忽略目标站的承载能力。蜘蛛集中到访时，如果目标站本身响应就慢，抓取频率反而会被压下去。
上线前值得过一遍的检查清单
- 目标页在无 Cookie、无登录状态下能否直接打开，状态码是不是 200。
- 关闭 JS 后是否仍能看到核心内容与主要链接。
- robots.txt、meta robots、canonical 三者是否互相打架。
- 入口页锚文本与目标页主题是否基本一致。
- 同一批入口链接指向的目标页是否过于集中在少数几个 URL 上。
- 目标站服务器在抓取高峰时段的响应时间是否稳定。
- 入口页与目标页是否处在同一语言、同一地区语境下。
入口和目标要一起看
蜘蛛池的调优很少是单点问题。入口页负责把路径铺出去，目标页负责把路径走完。任何一端出问题，另一端的工作都会被浪费。与其不断加域名、加链接，不如先把这条链路上的断点找出来。抓取行为本身不会承诺结果，能做的是让每一次到访都不撞墙。