蜘蛛发现新 URL，主要靠页面上的链接。但一个链接递给蜘蛛的信息，并不只是一个地址。同一段 HTML 里，href 只是其中一部分，锚文本、链接周围的文字、所在的导航层级、甚至图片的 alt，都会一起被读到。这些信息不直接决定收录，却会影响蜘蛛如何理解这个 URL、是否值得优先抓取。
href 之外，蜘蛛还会读什么
把链接拆开看，通常有这几层信息：
- 锚文本：可点击的文字，最直接的语义提示。
- 链接上下文：链接所在的段落、列表项、标题或表格单元格里的其他文字。
- 位置与层级：链接出现在主导航、面包屑、正文还是页脚，蜘蛛看到的路径顺序不同。
- 补充属性：图片链接的 alt、链接的 title 属性。它们不是锚文本的替代品，但能提供一点补充。
这些信息拼在一起，构成了蜘蛛对目标 URL 的第一印象。它未必决定最终排序，但会影响抓取时的取舍。
锚文本怎样参与 URL 发现
当一个页面被大量链接指向时，蜘蛛会从这些链接的文本里，逐渐拼出这个页面的主题轮廓。如果锚文本是“点击这里”“更多”“详情”，那么除了地址本身，蜘蛛几乎没有额外线索。相反，如果链接文本能说明目标内容，例如“服务器响应码排查”，蜘蛛更容易把它归到相关的主题簇里。
同一目标 URL 出现多个不同锚文本是正常的。导航里可能是简称，正文里可能是完整描述。关键是这些文本彼此之间不要互相矛盾，也不要为了堆词而铺满关键词。锚文本的作用是描述目标页，不是重复目标页的关键词。
还有一种常见情况：链接由 JavaScript 生成，或者锚文本来自客户端渲染。蜘蛛在初次抓取 HTML 时可能读到的是空文本。如果页面本身依赖渲染才能出现链接，那么发现路径就会变慢。能放在服务端 HTML 里的链接和文本，尽量放进去。
链接上下文给抓取路径带来秩序
蜘蛛在站内移动时，通常沿着一条条路径走。上下文清晰的链接，会让路径更顺：
- 面包屑提供从首页到当前页的层级关系，蜘蛛能顺着往上回到更重要的节点。
- 列表页里每条链接都有可区分的文本，蜘蛛能判断它们是不同内容，而不是同一批 URL 的重复入口。
- 正文中的内链如果出现在相关段落里，蜘蛛更容易把它和当前页面建立语义联系。
- 页脚链接数量多、文本重复时，蜘蛛仍会跟，但它们对主题判断的帮助有限。
这不是说页脚链接没有用。对于一个长期没有被链接到的页面，任何一条可爬取的入口都有价值。只是入口的位置和写法，会影响蜘蛛花多少精力去处理它。
从站点侧怎么检查
不需要把每个链接都改一遍，可以从几个抽样动作开始：
- 打开几个重要页面的 HTML 源码，屏蔽样式和脚本，只看链接和周围文字。
- 检查图片入口是否只有图片没有 alt，页面内的链接文本是否全是“更多”。
- 看日志或抓取工具里，目标 URL 是否被蜘蛛访问过。发现和抓取是两件事，链接存在不等于被抓。
- 对长期没有入口的页面，找一个主题相关的正文位置加链接，而不是只在页脚列一堆。
这些动作不会立刻改变抓取结果，但能让站点的链接结构更容易被读懂。
对蜘蛛来说，链接是一个入口，锚文本和上下文是一张标签。入口决定它能不能来，标签影响它先来哪、怎么理解。
把链接写清楚，最终受益的不只是蜘蛛。用户扫一眼链接文字，也能判断值不值得点。站内链接的可读性，本来就是同一件事。