做入口页的时候，很多人只关心链接放几条、放在页面什么位置，却忽略了一个更基础的问题：这段链接地址本身写得对不对。URL 里出现中文、空格、引号、方括号等字符时，浏览器通常能“猜”出你想指向哪里，但搜索蜘蛛拿到的是一串原始字符，解析方式不一定和浏览器一致。
为什么 URL 里的特殊字符会被区别对待
按照 URL 规范，只有一部分 ASCII 字符可以直接出现在地址中，其他字符需要先做百分号编码（percent-encoding）。比如中文“产品”通常要写成 %E4%BA%A7%E5%93%81，空格要写成 %20。
如果入口页里直接写未编码的地址，不同解析器可能出现两种结果：一种是自动按页面编码转换处理，另一种是在遇到非法字符时提前截断。后者最麻烦——蜘蛛可能只拿到前半段地址，后半段被当成页面上的普通文本丢掉。
常见的几种写法问题
- 中文路径或参数：直接写 /标签/搜索 这类地址，没有做编码。多数现代蜘蛛会尝试转换，但转换后的形式和服务器实际响应的形式可能对不上。
- 空格未处理：href="/a b.html" 这种写法，空格会被当作属性分隔符，实际解析出的地址可能只剩下 /a。
- & 未用实体形式：带参数的地址在 HTML 属性里应写成实体形式，写裸字符时部分解析器会与实体引用混淆。
- 引号不配对：属性值用双引号开头、单引号结尾，属性边界错乱，后面的内容可能被一起吞掉。
- 编码不统一：页面声明是 UTF-8，文件实际存成 GBK，中文地址在解析时变成乱码字符。
对蜘蛛池入口页意味着什么
入口页的作用是让目标 URL 被看见。地址写错时，蜘蛛要么拿不到完整地址，要么拿到一个服务器根本不认识的地址。对应的表现是：入口页本身有被抓取记录，但目标 URL 从头到尾没进过抓取队列，日志里也找不到一次请求。
排查这类问题时，先看服务器日志里有没有目标 URL 的请求记录。如果入口页有访问、目标 URL 一条记录都没有，多半是链接地址没被正确解析，而不是抓取配额不够。
检查和处理的具体做法
- 把入口页源码里的 href 逐个复制出来，做一次解码和编码检查，确认地址与期望的目标地址完全一致。
- 用浏览器开发者工具或抓取模拟工具查看“最终解析出的链接列表”，这比肉眼看源码更可靠。
- 统一页面编码，HTML 头部声明和文件实际编码保持一致，中文地址尽量先做百分号编码再写入。
- 地址中作为参数分隔符的符号改用 HTML 实体形式，属性值统一用双引号包裹，避免出现半个引号的情况。
- 如果目标 URL 本身包含中文，优先改成拼音或英文路径；改不了就确保编码后的形式在服务器端能正常返回 200。
几个容易忽略的细节
- URL 里 # 之后的内容不会发给服务器，蜘蛛请求的是 # 之前的部分，不要把关键参数放在锚点里。
- 大小写敏感：/Page 和 /page 在某些服务器上是两个地址，只在入口页写其中一种，另一种就不会被发现。
- 末尾斜杠：/dir 和 /dir/ 可能返回不同结果，写成跳转会多一次 301，最好和站内其他链接保持统一。
这些问题都不复杂，但属于“错了很难从表面看出来”的类型。入口页发布前花几分钟做一次链接解析检查，比事后翻日志找原因省事得多。需要说明的是，链接能被正确解析只是让目标 URL 有机会被纳入抓取范围，是否抓取、什么时候抓取，仍然由搜索引擎自己决定。