做蜘蛛池的人常把注意力放在入口页能不能被爬、爬多快,却容易忽略一个更基础的问题:入口页和它指向的目标页,讲的是不是同一件事。入口页写一套,目标页是另一套,蜘蛛顺着链接过去之后两端信息对不上,这套入口页的引导作用就会打折。
常见的三种主题错位
第一种是入口页内容与目标页完全无关,比如入口页在讲旅游攻略,跳转过去却是贷款或工具站。第二种是入口页什么热点都沾一点,标题里塞了好几个不相关的词,目标页却只做其中一个方向。第三种是入口页几乎没有正文,只有一个跳转链接或一段“正在跳转”的提示。
这三种做法短期看起来都能把蜘蛛引过去,但入口页本身提供的信息量很低,蜘蛛对它的判断也就模糊。
跳转之后蜘蛛实际看到什么
搜索引擎处理跳转时,通常会把跳转前后的页面放在一起理解:入口页的主题、锚文本、目标页的标题和正文,这几项信息会互相印证。如果入口页讲的是 A,目标页讲的是 B,这种印证关系就建立不起来。
- 锚文本:入口页上指向目标页的链接文字,是最直接的语义提示。
- 跳转方式:301、302、meta refresh、JS 跳转,被处理的路径和速度不一样,链路的确定性也不同。
- 目标页可访问性:跳过去之后如果还要再跳一次,或者落到一个需要登录的页面,链路就断了。
需要说明的是,这些因素只是影响蜘蛛对页面的理解,不构成收录或排名的保证。入口页做得再规整,目标页本身质量不行,也不会有额外的好处。
一段链路尽量只讲一个主题
比较稳妥的做法是让入口页、锚文本、目标页落在同一条主题线上。入口页可以写得宽泛一点,覆盖一个话题的几个侧面;目标页可以写得具体,聚焦其中一个点。这样蜘蛛从入口页走到目标页,看到的是由宽到窄的自然延伸,而不是突然转向。
如果确实需要用入口页去引导多个不同方向的目标页,可以考虑按主题分组:一组入口页只指向同一类目标页,链接文字也保持一致的语义方向,避免一页里塞满互不相关的出口。
跳转方式上的几个细节
301 表示永久跳转,302 表示临时跳转。如果入口页和目标页的关系是长期固定的,用 301 更符合语义;如果入口页只是临时挂上去做测试,302 也说得通,但不要长期混用。
meta refresh 和 JS 跳转对蜘蛛来说更依赖解析能力,链路确定性不如 HTTP 层面的跳转。用它们不是不行,但入口页最好保留可读的正文,让蜘蛛即使没有执行跳转,也能从入口页本身拿到基本判断依据。
入口页的价值在于让蜘蛛发现并理解目标页,不在于把蜘蛛“骗”过去。错位的主题也许能让蜘蛛多点一次,但很难让它多信一分。
上线前可以自己过一遍的检查
- 打开入口页,只看标题和首屏正文,猜它指向的目标页是什么主题。
- 对比目标页的标题,看两端是不是同一个话题。
- 看入口页的链接触发方式:是直接跳转、链接点击,还是需要脚本执行。
- 模拟关闭 JS 的情况访问入口页,看还剩下多少可读内容。
- 随机抽几个入口页和目标页,确认没有跳错、跳丢、跳到无关页面。
什么时候允许一定程度的错位
如果入口页的唯一目的是做 URL 发现,本身不承载内容,那么主题可以比较弱。但这种情况更适合用 sitemap、站内链接入口来补充,单靠一批空壳跳转页,效果通常不稳定。入口页还是尽量有实际内容,主题可以宽,但不能空。
把入口页和目标页当成一条链路上的两段来看,而不是两个孤立的页面,很多细节自然就有了取舍标准。