做蜘蛛池入口頁时，有人為了在頁面上多放几條“不同”的連結，會给同一個目标地址加上不同的 # 锚点片段，例如 /page#a、/page#b、/page#c，希望搜尋蜘蛛把它們分別抓取，從而發現更多 URL。這個做法實际效果很有限，原因在于 URL 片段本身的工作方式。
一、片段不會随 HTTP 請求發给服務器
URL 中 # 後面的内容叫片段标识符，它只在浏览器端使用，不會随 HTTP 請求發送给服務器。当搜尋蜘蛛尝试訪問 /page#a 时，它發出的請求實际是 /page；服務器返回的内容也只對應 /page。因此，/page#a、/page#b、/page#c 在抓取层面是同一個资源。
在去重和索引层面，主流搜尋引擎通常也會把带片段的地址归一化為基础 URL。也就是说，你在入口頁寫多個不同片段，蜘蛛大概率只把 /page 抓取一次，而不是按片段數量抓多次。
二、這對 URL 發現意味着什么
如果你的目标是让搜尋蜘蛛發現更多不同的 URL，用 # 片段基本達不到目的：
- 目标地址只有片段不同时，蜘蛛去重後的 URL 數量等于基础 URL 的數量，而不是锚点數量。
- 基础 URL 返回正常内容，蜘蛛仍能顺着里面的真實連結繼續發現 URL，但這不是片段的功劳。
- 基础 URL 如果本身返回 404、403 或 5xx，加什么片段结果都一样，仍然抓不到有效内容。
- 入口頁看起来連結很多，實际有效 URL 可能只有几條，容易誤判蜘蛛池的覆盖面。
三、两種容易混淆的情况
1. 带 #! 的 hashbang 寫法
早期單頁應用用 #!/path 形式组织路由，搜尋引擎曾有针對性的處理方案。但這属于歷史包袱，現代站点更推荐使用真實的路径和 History API。即使是 hashbang，也不能保證每個片段都被当成獨立 URL 收錄，用它来扩充入口頁的 URL 數量並不可靠。
2. 頁面内锚点跳轉
入口頁里用 # 跳到本頁不同区块，属于正常導航用法，不會产生新的 URL，也不會让蜘蛛多抓几次。蜘蛛抓取的是入口頁本身，片段只是帮助用戶定位内容。
四、更實际的替代做法
如果确實需要让更多 URL 被搜尋蜘蛛發現，建议把重点放在真實可請求的地址上：
- 不同目标使用不同路径，例如 /a、/b、/c，而不是 /page#a、/page#b。
- 需要用參數区分时，使用服務器能识別的查询參數，並注意參數不要滥用到产生大量近似重复頁面。
- 入口頁輸出的連結尽量是基础 URL，不要依赖片段来“凑數”。
- 提交 sitemap 时去掉片段，只保留基础 URL，避免给蜘蛛制造無意义的變体。
- 用服務器日誌或抓取統計核對蜘蛛實际請求的 URL，不要只看頁面上寫了多少條連結。
片段是浏览器行為，不是抓取入口。把 # 当成 URL 發現工具，會高估入口頁的實际效果，也會让後續的抓取分析失真。
總结一下：入口頁連結带 # 锚点片段，搜尋蜘蛛通常按基础 URL 處理，同一地址不會因為片段不同而被多次抓取。想让 URL 發現更有效，還是回到真實路径、可訪問内容和合理的内部連結结构上。是否被收錄、何时被收錄，仍由搜尋引擎根據自身規則决定，任何入口頁手法都不能保證结果。