蜘蛛发现 URL，靠的是顺着链接一步步走。但一条链接摆在面前，它不一定就跟。除了 nofollow、robots.txt 这类硬性规则，还有一批软性线索在起作用：锚文本写了什么、链接放在页面的哪个位置、周围的段落说了什么。这些线索不构成规则，却会影响蜘蛛对“这个目标值不值得抓”的判断。
锚文本是目标页的第一份简介
锚文本是最容易被忽略的抓取信号之一。它出现在来源页，描述的却是目标页。当蜘蛛从一个页面读到一个链接，锚文本基本等同于对目标页的一句话概括。
锚文本与目标页主题要对得上
如果锚文本写“价格表”，点进去却是产品介绍，蜘蛛拿到的描述和目标页实际内容不一致，这类链接在后续安排抓取时容易被降级。反过来，链接文字与目标页标题、H1 语义接近，蜘蛛更容易判断这是正文相关的引用，而不是导航或广告位。
别让全站锚文本长得一样
同一目标页在很多页面被链接，是好事；但如果每个位置都用完全一样的锚文本，来源页之间就没有提供额外信息。可以在不同语境下使用语义相近的表述，比如“抓取日志怎么看”“分析服务器日志”，都指向同一篇内容，这对蜘蛛理解页面覆盖面是有帮助的。
链接出现的位置，权重不一样
页面里不同区域的链接，被对待的方式不同。这是长期观察中反复验证的经验，不是官方公开的规则，但对抓取顺序的安排有实际影响。
- 正文段落内：通常被认为与内容主题关系最紧密，蜘蛛跟进的意愿最高。
- 面包屑与主导航：数量有限、结构固定，主要用来确认站点层级，不是深度发现的主要通道。
- 侧栏与页脚：全站重复出现，蜘蛛很快就能判断这是模板区域，新链接从这里被发现的概率较低。
- 文末的相关推荐：位置靠下，但如果推荐内容和正文相关，仍常被跟进。
所以，一个真正重要的新页面，最好放在正文里被提到，而不是只挂在页脚或侧栏的列表里等蜘蛛路过。
上下文段落替链接做解释
链接前后的一段话，会被一起读取。它帮助蜘蛛判断这个链接是什么性质：是推荐阅读、是数据来源，还是广告合作。
一条链接周围的文字，有时候比链接本身更能说明它值不值得被抓。
举例来说，一段话在讲“我们统计了最近三个月的抓取日志，发现……”，后面挂一条日志分析的链接，前后语义连贯，属于自然引用。如果一段不相干的文字里硬塞一个链接，蜘蛛虽然还是会看到，但能获得的上下文信号就弱得多。
内链数量与深度要有节制
有人会在一篇文章里放几十条内链，希望能带出更多 URL。数量本身不是问题，问题是这些链接是否都在正文里有存在的理由。过度堆叠会让页面主题变得模糊，蜘蛛难以判断这个页面本身在讲什么，来源页的价值下降之后，它带出的链接价值也会跟着下降。
另一种做法是把链接集中指向首页和几个重点页，其他深层页面拿不到入口。更稳的做法是按主题分层：文章链向栏目页，栏目页链向详情页，让蜘蛛每一步都能前进到新的层级。
可以照着做的几件事
- 检查重点新页面，看它是否至少被一篇正文内容自然地链接到，而不是只出现在导航或页脚。
- 翻一遍目标页的外链锚文本，把“点击这里”“了解更多”这类无指向性文字换成能说明内容的表述。
- 让同一目标页在不同来源页获得略有差异的锚文本，覆盖它可能被搜索的不同说法。
- 控制单页内链总量，删掉那些为了放链接而存在的句子。
- 梳理一次从首页到最深层页面的点击路径，看看中间有没有断开或者绕远的地方。
这些线索不会立刻生效
锚文本、链接位置、上下文段落都属于软性信号，它们不会像 robots.txt 那样一刀切地决定抓或不抓，而是慢慢影响蜘蛛对链接价值的判断。所以调整之后，需要在抓取日志里持续观察一段时间，看新链接是否真的开始被跟进、抓取频率有没有变化，再决定下一步怎么调。把内链当作长期结构来维护，比一次性批量加链接更接近蜘蛛的行为方式。