蜘蛛池的讨论大多集中在入口页：域名怎么选、模板怎么做出差异、互链怎么排。但蜘蛛沿着入口页走过来之后，真正落到的是目标页。入口页决定了蜘蛛来不来，目标页决定了这一趟值不值得。

入口页和承接页的分工

入口页的任务是提供一条可被发现的路径，把爬虫带到目标页。它不需要承载转化，也不必写得很好看。承接页则相反，它是你希望被看到、被理解、被继续抓取的那一层。两者的写法、更新频率、甚至主机资源都可以分开考虑。

常见的问题是入口页做得细致，目标页却是随手拿的旧页面：内容半年没动、模板是几年前的老站、打开要等三四秒。这样的组合下，蜘蛛来了也只会看一眼就走。

承接页的第一件事是能稳定打开

• 状态码：返回 200，不要在承接页上做 302 到另一个地址。跳转链越长，爬虫跟丢的概率越高。
• 跳转路径：如果入口页本身已经是跳转，目标页就不要再跳，一次到位。
• 可访问性：确认目标页没有被 robots.txt、meta robots 或登录墙挡在外面。入口页放行、目标页屏蔽，是白跑一趟的典型。
• 加载表现：首屏内容服务端就能给出，别把正文交给一长串前端请求之后再渲染。

内容上要和入口页接得上

入口页讲什么，承接页最好就顺着讲什么。如果入口页主题是某类设备的选购，承接页却是完全无关的行业资讯，蜘蛛虽然不至于因此惩罚，但会明显降低对这批页面的信任度，后续给到的抓取额度也可能缩水。

这不是要求两边文案一模一样，而是主题要有交集。入口页可以更泛，承接页更具体，方向一致就够了。

给蜘蛛留一条继续走的路

蜘蛛落到承接页之后，如果页面是个“死胡同”，没有内链、没有相关推荐、没有列表入口，这次抓取基本就到此为止。可以做的有几件：

1. 在承接页里放出同主题的若干内链，指向站内其他值得抓的页面。
2. 把承接页纳入 sitemap，让爬虫下次不必只靠入口页找过来。
3. 避免把正文里的链接全部做成 JS 跳转或需要点击才展开的形式。

内链数量不必多，几条真正相关的就够，堆几十条反而会稀释权重。

几个容易踩的坑

• 承接页是纯图片或纯视频页：正文文字太少，爬虫能读到的内容有限。
• 承接页挂满弹窗和浮层：不影响爬虫读源文件，但会让页面结构变得杂乱，也让真实访问体验变差。
• 承接页长期不更新：内容本身可以稳定，但标题、更新时间、相关推荐这些字段最好有正常的变动痕迹。
• 把承接页当成流量终点：只想着这次抓取，不安排下一步，等于每来一次就断一次。

怎么确认蜘蛛真的走到了承接页

不要只看入口页的日志。可以在承接页的访问日志里按爬虫 UA、按路径筛选，看这几个字段是否正常：

• 请求路径与状态码
• 请求时间与来源 IP 段
• Referer 是否来自入口页或站内其他页面
• 同一爬虫在一段时间内回访承接页的次数

如果入口页有大量爬虫访问，承接页日志却干干净净，问题多半出在跳转方式、robots 配置或者目标页本身不可达上。

蜘蛛池能做的只是把路铺出来，承接页能不能接住，取决于页面本身。抓取量不等于收录量，更不等于排名，这一点在规划阶段就要想清楚。

把入口页和承接页当成两件事来管：前者负责被发现，后者负责被读懂和继续传下去。两者都到位，蜘蛛池的投入才不至于停在“来过”这一步。