蜘蛛池里的锚文本与链接上下文：蜘蛛凭什么决定往下跟

蜘蛛跟不跟，不只看有没有链接

搭建蜘蛛池时，很多人把精力都放在页面数量和入口站数量上，链接本身却是随手一放，锚文本直接复制粘贴。结果日志里蜘蛛确实来了入口页，却不怎么进内页，更谈不上走到目标站。原因不难理解：链接能被看见只是第一层，蜘蛛会不会顺着爬，还取决于链接周围的文字、链接在页面里的位置，以及整页对蜘蛛来说是否「读得懂」。

锚文本可以理解成对目标页的一句话概括。蜘蛛抓到一个链接时，会把链接文字、上下文以及目标页内容做关联。如果全站所有链接都用同一个词，时间一长就成了明显的模板特征，页面之间的差异被磨平，蜘蛛对每条链接的判断也就趋于一致，反而更少深入。

更稳妥的做法是围绕同一个目标页准备一组意思相近、表述不同的锚文本，按入口页的主题分派下去：

链接周围那一两句话，通常比锚文本更长，也更能说明问题。如果入口页是几百条链接罗列，每条都是光秃秃的 URL，蜘蛛很难判断每条指向什么，继续抓取的意愿自然有限。把链接放进一段有实际内容的文字里，哪怕只有一两句，页面对蜘蛛来说也多了些可读的东西。

链接是给蜘蛛的入口，上下文是给蜘蛛的理由。只有入口没有理由，蜘蛛走两步就停了。

正文中的链接、内容区里的链接、页脚和侧栏的链接，在页面结构中的位置不同，获得的关注程度也不同。这不意味着页脚链接没有用，而是不要把全部希望押在页脚。同时要控制单页链接总量：入口页放几十条链接还算克制，如果是纯链接墙，几百上千条挤在一页，蜘蛛能分给每条链接的时间和带宽都很有限。

与其铺满，不如少放几条、每条都配上说明，让蜘蛛在有限的一次访问里抓到更多有效信息。

以为锚文本堆关键词就能传递权重。过度堆砌反而让页面看起来像目录，蜘蛛未必会跟着走。
以为链接越多蜘蛛来得越多。链接是出口不是入口，蜘蛛的来源仍然是外部链接和主动提交。
以为给链接加 nofollow 蜘蛛就不来了。nofollow 是提示不是墙，蜘蛛仍可能访问，只是不传递信号。用它控制不该被抓的链接可以，别指望靠它隐藏。
以为用了蜘蛛池目标页就一定会被收录。蜘蛛池影响的主要是 URL 发现和抓取这一段，收录与否还要看目标页自身的情况。

比较实际的做法是回看服务器日志：按入口页分组，统计蜘蛛从入口页进入内页、再进入目标页的次数，找出那些「蜘蛛来了但不往里走」的页面，优先从这里改锚文本和上下文。也可以挑一两个入口页，把链接从纯罗列改成段落式排布，隔一段时间对比蜘蛛行为有没有变化。

调整时一次只动一个变量，才看得清是哪一步起了作用。整批改完再对比，很难归因。

蜘蛛池的作用是把 URL 摆到蜘蛛面前，而蜘蛛愿不愿意继续往下走，取决于入口页有没有把这件事讲清楚。锚文本说清目标页是什么，上下文给出跟下去的理由，位置和密度决定蜘蛛在有限时间里能看多少。这几件事都不复杂，难的是保持一致，并且在日志里持续验证，而不是布置完就不再看。