在网站运营中，搜索蜘蛛能否顺利发现新页面，决定了内容能否尽快进入索引。很多站点在重新设计或开发时，会采用单页应用（SPA）的hash路由，比如把链接写成 https://example.com/#/news/123 的形式。这种写法对用户也许能正常跳转，但搜索蜘蛛在抓取URL时往往只把#之前的部分视为有效地址，#之后的内容不会作为独立URL请求。于是，真正的页面内容就成了“看不见的角落”，抓取路径被重新定向到一个入口页面上，后续的链接和价值流动也会受阻。
hash片段是URL的一部分吗？
根据HTTP协议，片段标识符（即#）后面的一切内容，都不会被发送到服务器。这意味着服务器收到的请求只有 https://example.com/ 的路径，至于 #/news/123，只是浏览器内部使用的参数。搜索引擎蜘蛛无论是直接请求，还是从内链中提取地址，通常都会截断#后的部分。所以，如果站内所有实质页面的URL都建立在hash之上，那么蜘蛛能提取到的只有那一个入口URL，而无法形成多个独立页面。
对抓取路径的影响
当蜘蛛无法识别独立URL时，整个站点的链接结构就退化成一层：所有“页面”都依赖入口页的脚本来展示。如果蜘蛛不执行JavaScript，它就得不到任何子链接，更谈不上URL发现。即便有些蜘蛛具备一定的渲染能力，它们也倾向把带hash的链接视为同一页面内的锚点，不会当作新的抓取目标。于是，站点里哪怕有几千篇内容，对蜘蛛来说可能只是一张白纸。
典型表现
- 所有内容都写在同一个html文档里，用hash切换显示；
- 内链中的URL形如 /#/category/product，其中关键字不是独立路径；
- 通过服务器日志发现，蜘蛛只请求了首页或少量路由，其余页面从未被抓取。
让URL恢复可发现性
根治的办法是让每个内容拥有真实、独立的URL。如果是传统多页站，直接去掉hash路由，改为形如 /news/123 的静态路径。如果是单页应用，建议使用History API（HTML5的 pushState 和 replaceState），这样浏览器地址栏会显示标准路径，但需要注意：服务器必须对用户访问的路径返回正确的页面，至少对蜘蛛请求要返回预渲染的HTML。否则蜘蛛依然只能拿到空的Shell，种子页面里可能没有任何指向具体内容的链接。
落地清单
- 放弃hash控制业务视图，仅将hash用于页面内定位，例如 #comments、#tab1，不要让它承载内容状态。
- 每个内容都应有一个可独立访问的URL，并确保该URL直接返回对应内容，而不是跳回首页。
- 用普通标签构建站内链，并避免使用 onclick 跳转。让链接的 href 指向真实地址，蜘蛛才能顺着抓取。
- 在Sitemap中列出规范URL，使用不受hash影响的地址。
- 为SPA增加服务端渲染或预渲染方案，至少在入口HTML中输出主要内容链接，给蜘蛛提供线索。
验证你的抓取路径是否畅通
改造之后，可以用模拟蜘蛛的工具去抓取一个入口页面，查看返回的HTML中是否包含文字链接。如果看到 href="/news/123" 这样的真实地址，且不带 #/，那就说明链接可以被正常提取。也可以借助爬虫日志观察蜘蛛请求的URL集合，确认新页面的请求次数在提高。蜘蛛池运营者可以把这种测试方法纳入日常巡检，用低成本抓取来发现URL发现的盲区。
重要提示：不要依赖hash做内容切换，也不要为了让链接“看起来变化”而滥用hash。真实、可访问的URL才是持续获得抓取的基础。
合理规划URL结构、减少对前端框架剪影的依赖，是运维健康站点的一份持续工作。当蜘蛛能准确发现每一个独立页面时，你的站内信息才有机会走得更远。