蜘蛛发现新 URL，主要靠站内已有的链接。链接本身是路径，而链接上的文字和它周围的内容，则是蜘蛛理解这个 URL 的线索。很多站点把注意力放在提交 Sitemap 上，却忽略了内链里这两条最直接的信号。
锚文本：蜘蛛读到的第一层线索
锚文本就是链接上可点击的那几个字。蜘蛛抓取页面时，会把锚文本和目标 URL 关联起来。它不是排名开关，但能帮助蜘蛛判断目标页大致讲什么，以及这个链接是否值得跟进。
- 具体描述：如“抓取日志排查步骤”，比“点击这里”更能说明目标页内容。
- 泛词：大量“更多”“详情”“查看”会让蜘蛛难以区分不同 URL 的主题。
- 裸 URL：可读性差，但至少能传递地址信息，适合临时或工具类链接。
- 图片链接：蜘蛛主要依赖 alt 文本，alt 为空时线索会变弱。
不需要为了关键词刻意堆砌锚文本。自然、准确、和上下文一致，比重复某个词更有用。
周边文字：链接所在段落的上下文
蜘蛛不只看锚文本，还会把链接前后的句子纳入理解。一段介绍“服务器返回 503 时如何检查”的文字里放一个链接，比孤零零一行链接更容易让蜘蛛判断目标页的主题。
如果一段文字里放了多个链接，蜘蛛仍会分别处理，但上下文越模糊，链接目标之间的区分度就越低。把相关链接放在同一主题段落里，通常比全站随机散落更清晰。
链接位置也会影响抓取顺序
同一批 URL，放在正文里的链接往往比页脚、侧栏的链接更容易被优先处理。页脚全站链接数量大、重复度高，蜘蛛虽然会走，但不会把每个页脚链接都当成新发现。重要页面尽量从正文或栏目页给出入口。
内链结构：给蜘蛛一条能走通的路
内链不是越多越好，而是路径要通。蜘蛛从首页出发，沿着链接一层层走，如果某个重要页面只有孤零零一个入口，或者入口藏在深层页里，发现速度就会慢下来。
- 首页或核心栏目页保留重要页面的入口，避免只靠 Sitemap 兜底。
- 新页面发布后，从内容相关的老页面加一条正文链接，比只在页脚加链接更有效。
- 列表页和详情页之间保持稳定链接，不要全部依赖 JS 点击后才生成。
- 定期检查孤岛 URL，看看是否有页面没有任何内链指向。
链接可抓取性：别让线索断在中间
锚文本和上下文写得再好，如果链接本身抓不到，蜘蛛也走不过去。常见断点包括：链接由 JS 事件生成、a 标签缺少 href、被 robots.txt 屏蔽、nofollow 属性误用、以及多次重定向后落地地址不可达。
- 用 a 标签加 href，是最稳妥的写法。
- nofollow 只用在确实不想传递抓取信号的链接上，不要全站滥用。
- 重定向链路尽量短，避免循环或跳到已删除页面。
- 链接指向的 URL 返回 200，且内容与锚文本描述一致。
用日志验证内链是否被走到
内链改完后，可以看服务器日志里蜘蛛的访问路径：新 URL 是否在发布后几天内出现，来源页面是哪一个，返回状态码是什么。如果长时间没有出现，先检查入口页是否被抓取、链接是否可解析、以及是否被规则挡住。
内链优化的目标不是让蜘蛛立刻抓完所有页面，而是让它在有限的抓取次数里，更容易走到真正重要的 URL 上。锚文本、上下文和链接位置三者一致时，蜘蛛的判断成本最低。