做蜘蛛池入口页时，有人为了在页面上多放几条“不同”的链接，会给同一个目标地址加上不同的 # 锚点片段，例如 /page#a、/page#b、/page#c，希望搜索蜘蛛把它们分别抓取，从而发现更多 URL。这个做法实际效果很有限，原因在于 URL 片段本身的工作方式。
一、片段不会随 HTTP 请求发给服务器
URL 中 # 后面的内容叫片段标识符，它只在浏览器端使用，不会随 HTTP 请求发送给服务器。当搜索蜘蛛尝试访问 /page#a 时，它发出的请求实际是 /page；服务器返回的内容也只对应 /page。因此，/page#a、/page#b、/page#c 在抓取层面是同一个资源。
在去重和索引层面，主流搜索引擎通常也会把带片段的地址归一化为基础 URL。也就是说，你在入口页写多个不同片段，蜘蛛大概率只把 /page 抓取一次，而不是按片段数量抓多次。
二、这对 URL 发现意味着什么
如果你的目标是让搜索蜘蛛发现更多不同的 URL，用 # 片段基本达不到目的：
- 目标地址只有片段不同时，蜘蛛去重后的 URL 数量等于基础 URL 的数量，而不是锚点数量。
- 基础 URL 返回正常内容，蜘蛛仍能顺着里面的真实链接继续发现 URL，但这不是片段的功劳。
- 基础 URL 如果本身返回 404、403 或 5xx，加什么片段结果都一样，仍然抓不到有效内容。
- 入口页看起来链接很多，实际有效 URL 可能只有几条，容易误判蜘蛛池的覆盖面。
三、两种容易混淆的情况
1. 带 #! 的 hashbang 写法
早期单页应用用 #!/path 形式组织路由，搜索引擎曾有针对性的处理方案。但这属于历史包袱，现代站点更推荐使用真实的路径和 History API。即使是 hashbang，也不能保证每个片段都被当成独立 URL 收录，用它来扩充入口页的 URL 数量并不可靠。
2. 页面内锚点跳转
入口页里用 # 跳到本页不同区块，属于正常导航用法，不会产生新的 URL，也不会让蜘蛛多抓几次。蜘蛛抓取的是入口页本身，片段只是帮助用户定位内容。
四、更实际的替代做法
如果确实需要让更多 URL 被搜索蜘蛛发现，建议把重点放在真实可请求的地址上：
- 不同目标使用不同路径，例如 /a、/b、/c，而不是 /page#a、/page#b。
- 需要用参数区分时，使用服务器能识别的查询参数，并注意参数不要滥用到产生大量近似重复页面。
- 入口页输出的链接尽量是基础 URL，不要依赖片段来“凑数”。
- 提交 sitemap 时去掉片段，只保留基础 URL，避免给蜘蛛制造无意义的变体。
- 用服务器日志或抓取统计核对蜘蛛实际请求的 URL，不要只看页面上写了多少条链接。
片段是浏览器行为，不是抓取入口。把 # 当成 URL 发现工具，会高估入口页的实际效果，也会让后续的抓取分析失真。
总结一下：入口页链接带 # 锚点片段，搜索蜘蛛通常按基础 URL 处理，同一地址不会因为片段不同而被多次抓取。想让 URL 发现更有效，还是回到真实路径、可访问内容和合理的内部链接结构上。是否被收录、何时被收录，仍由搜索引擎根据自身规则决定，任何入口页手法都不能保证结果。