网站收录

URL 里该放什么:slug 命名对发现、抓取与收录的实际影响

URL 是爬虫看到页面的第一段文本。本文说明 slug 命名对发现与去重的影响,对比数字 ID、拼音、中文和日期目录几种方式,指出换址、关键词堆砌、大小写混用等常见隐患,并给出统一的命名规则与改址处理建议。

网站收录

URL 里该放什么:slug 命名对发现、抓取与收录的实际影响

URL 是页面在站内的唯一标识,也是爬虫最先看到的一段文本。它不会直接决定页面能不能被收录,但会影响发现效率、去重判断和后续的维护成本。很多收录问题回头看,源头只是一个命名混乱的链接。

slug 会被爬虫当作什么信号

爬虫处理一条新链接时,URL 本身能提供的信息很有限:域名、目录结构、参数,以及一段可读的词。这段词不会让低质量页面变成高质量,但它能帮助判断页面主题是否和链接上下文一致。当内链锚文本、页面标题和 URL 里的词彼此矛盾时,反而会给归类增加噪音。

更现实的影响在于稳定性。URL 一旦被收录并被引用,就变成一份长期契约,改一次就要付一次重定向和重新抓取的成本。

几种常见的命名方式

  • 数字 ID(/article/10231):稳定,不会因为标题修改而变化,但无法从 URL 读出主题,内链和分享场景下可读性差。
  • 拼音或英文 slug(/wangzhan-shoulu):可读,但要避免把标题整句塞进去,过长且容易堆词。
  • 中文 slug:浏览器里看着正常,实际会被编码成一长串百分号字符,复制、日志分析和手工核对都更麻烦。
  • 日期目录(/2024/06/xxx):适合新闻归档,不适合长期更新的教程类内容,跨年改版时容易出现新旧路径并存。

哪些做法容易埋下收录隐患

同一页面换过多次 URL

早期用 ID,中期换成拼音,后期又想加目录层级。每一次改动都会留下一批旧地址。如果重定向链条过长,或者部分旧地址没有做 301,就会出现多个 URL 指向同一内容,把本该集中在一处的信号拆散。

slug 里塞满关键词

把标题拼接成 /shouji-shoulu-zenmeban-shoulu-jiaocheng-2024 这类长串,并不会提高相关性,只会让链接更难复制和引用。命名点到主题即可,细节交给标题和正文。

大小写、下划线与尾斜杠混用

部分服务器会把 /Page 和 /page 当成不同地址,下划线和短横线在不同系统里也可能产生歧义。站内统一一种写法,比事后靠重定向收拾更省事。

可以照着执行的几条规则

  1. 先定结构再定内容:栏目用目录,条目用 slug,层级尽量控制在两到三层。
  2. 只用小写字母、数字和短横线,避免中文、空格、下划线和大写字母。
  3. slug 长度控制在三到六个词,去掉 the、and、的、了这类无意义的词。
  4. 发布前确认一次 URL,发布后尽量不要改;必须改时用 301 指向新地址,并更新站内所有内链。
  5. 保留旧 URL 的重定向记录,定期抽查是否仍能正常跳转。
URL 命名不是收录的开关。它更像地基:做得好时没人注意,做得乱时,问题会在改版、迁移和日志排查时集中冒出来。

如果站点已经有大量命名混乱的历史 URL,不必一次性全部改掉。优先处理那些有稳定流量、有外链,或者正反复出现在抓取日志里的页面,其余保持现状即可。收录的核心仍然是内容质量和站内结构,URL 只是让这两件事更容易被读懂。