做蜘蛛池入口页，多数人把精力放在链接结构、模板差异和域名资源上，字符集这类“地基”问题往往被排到最后。可一旦出问题，蜘蛛抓到的标题、正文里的关键词，可能和你后台看到的内容完全是两回事，前面铺的入口页也就白做了。
字符集声明：内容和位置都得对
不管是静态生成的 HTML，还是模板动态渲染，都应该在 head 的前部尽早声明字符集，并保证声明与实际文件的字节编码一致。常见的踩坑有三类：
- 声明与文件不符：明明写的是 UTF-8，文件却用 GBK 保存，中文直接变成问号或方块。
- 声明缺失：浏览器和爬虫只能靠猜测，不同来源的抓取结果可能并不一致。
- 声明位置太靠后：head 前面已经输出了中文，等声明生效时，前面的内容已经按错误编码解析完了。
还有一种更隐蔽的情况：多个模板输出的编码不统一。A 模板是 UTF-8，B 模板是 GBK，拼在同一个入口页里，或者互链时互相读取，就会出现局部乱码。
乱码会怎样影响抓取
蜘蛛解析页面时，第一步就是把字节流按某个编码还原成文本。这一步错了，后续的分词、锚文本提取、主题判断都会跟着错。表现上大致有几种：
- 抓取日志里能看到页面被访问了，但提取到的链接数量明显偏低；
- 入口页的链接文字变成一串乱码，蜘蛛即使顺着爬，也无法把锚文本和目标页对应起来；
- 页面容易被当成异常页面处理，抓取频次慢慢降下来。
需要说明的是，这些影响是间接的，并不代表编码一定决定收录。它更像是“能不能被正确理解”的前提条件。
排查顺序：从源头一路查到输出
- 看原始响应：用 curl 或浏览器查看“查看源代码”，确认返回的字节流本身是否正常，排除渲染层造成的错觉。
- 看响应头：Content-Type 里的 charset 有没有写，写的是不是和 HTML 里的 meta 声明冲突。两者冲突时，不同客户端的处理优先级并不完全一致，最好保持一致。
- 看文件本身：本地打开源文件确认真实编码，注意编辑器“另存为”时是否悄悄改了编码。
- 看链路中间：CDN、反向代理、压缩模块有没有做转码，这类问题往往只在特定节点上出现。
几个容易漏掉的细节
BOM 头
部分编辑器保存 UTF-8 时会自动加上 BOM，这个不可见字符出现在文件开头，可能让页面顶部多出一小段空白甚至乱码，也可能干扰某些解析逻辑。能用无 BOM 就尽量用无 BOM。
URL 里的中文
路径和参数里带中文时，编码要统一成百分号形式，并且前后端保持一致。同一批入口页里有的转码有的没转，互链时就会出现打不开的链接。
数据库与导出环节
内容从数据库导出再生成静态页时，连接字符集、导出工具、生成脚本三处的编码都要对齐，任何一处用了不同的默认值，都会在最终页面上留下痕迹。
字符集不会直接带来排名，但它决定了蜘蛛读到的是你写的内容，还是一堆需要重新猜的符号。把它设为入口页的基础检查项，比事后逐页返工划算得多。