【字符编码】记事本测试乱码思路

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

      • 一、 为什么你的操作没有出现乱码?
      • 二、 能稳定复现乱码的测试思路
        • 方案 1:使用 **GBK 不支持的字符**(最简单)
        • 方案 2:手动破坏编码(字节层面,最直观)
        • 方案 3:跨系统/编码测试(ASCII 编码场景)
      • 三、 关键补充:记事本的编码识别逻辑

我想使用电脑的记事本测试一下不同编码的乱码显示效果,但是我新建一个txt,设置为utf-8编码,在里面写了汉字保存,然后再把这个文件设为ansi编码,可是为什么没有显示乱码,我想测试一下乱码效果,解释下原因,并提供一个测试思路

一、 为什么你的操作没有出现乱码?

核心原因是:你做的是「编码转换」,而非「编码不匹配解析」,且常用汉字在中文系统的UTF-8ANSI编码中存在兼容映射。

我们先明确两个关键概念:

  1. 编码的本质:字符(如“你”)和二进制字节的对应规则。
  2. 乱码的本质用错误的编码规则解析二进制字节→ 字节无法映射到正确字符,出现或无意义字符。

你的操作流程(UTF-8 存汉字 → 另存为 ANSI)中,记事本做了主动的字符转码,而非直接用 ANSI 解析 UTF-8 字节:

  1. 中文 Windows 系统中,ANSI编码等价于GBK(兼容 GB2312),覆盖了绝大多数常用汉字。
  2. 当你选择「另存为 → ANSI」时,记事本会将原 UTF-8 编码的汉字转换为 GBK 编码的字节,再保存。
  3. 再次打开时,用 ANSI(GBK)解析 GBK 字节,自然不会乱码。

只有当字符不在目标编码的字符集内,或直接用错误编码解析原字节时,才会触发乱码。

二、 能稳定复现乱码的测试思路

要复现乱码,核心是制造「字节内容」和「解析编码」的不匹配,绕开记事本的自动转码功能。以下提供 3 种可落地的测试方案:

方案 1:使用GBK 不支持的字符(最简单)

利用「UTF-8 支持全 Unicode 字符,而 GBK 仅支持常用汉字」的特性,选择 GBK 字符集外的字符测试。

  1. 新建记事本,输入GBK 不支持的字符,例如:
    • 生僻汉字:𠀀、𠑳(扩展区汉字,不在 GBK 字符集内)
    • 特殊符号:😀(Emoji)、𝄞(音乐符号)、ℤ(数学符号)
  2. 选择「另存为 → 编码选 UTF-8 → 保存」。
  3. 再次打开文件,选择「另存为 → 编码选 ANSI → 保存」。
  4. 重新打开这个 ANSI 编码的文件:GBK 不支持的字符会变成或方块乱码,常用汉字依然正常。
方案 2:手动破坏编码(字节层面,最直观)

用十六进制编辑器直接修改文件字节,制造编码不匹配,彻底绕开记事本的自动转码。
工具:Windows 自带的WinHex(需安装)或在线十六进制编辑器。

  1. 新建记事本,输入简单内容:测试编码乱码另存为 UTF-8(带 BOM)
    • UTF-8 带 BOM 的文件开头有 3 个字节:EF BB BF,记事本靠这个识别 UTF-8 编码。
  2. 用十六进制编辑器打开这个 txt 文件,删除开头的EF BB BF字节,保存文件。
  3. 用记事本打开修改后的文件:
    • 记事本无法识别 UTF-8 编码,会默认用 ANSI(GBK)解析 UTF-8 字节 → 直接出现乱码(例如:娴嬭瘯缂栫爜闅忔剰)。
方案 3:跨系统/编码测试(ASCII 编码场景)

ANSI 在英文系统中是ASCII 编码(仅支持 0-127 的字符),中文在 ASCII 中无对应字节,必然乱码。

  1. 在中文 Windows 中,新建记事本输入中文测试另存为 UTF-8 编码(不带 BOM,可通过 Notepad++ 设置)。
  2. 将文件拷贝到英文 Windows 系统(或在中文系统中用记事本强制选择 ASCII 编码打开)。
  3. 用记事本打开文件并选择ASCII 编码→ 所有中文都会变成乱码(ASCII 无法解析中文多字节)。

三、 关键补充:记事本的编码识别逻辑

记事本打开文件时,优先级如下:

  1. 先检测BOM:有EF BB BF→ 识别为 UTF-8;有FF FE→ 识别为 UTF-16 LE。
  2. 无 BOM → 默认用ANSI编码解析(中文系统=GBK,英文系统=ASCII)。
    这也是方案 2 中删除 BOM 就能触发乱码的核心原因。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1161458.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度解析:GEA架构——生成与进化技术的融合

在当今数字化转型的浪潮中,企业面临着前所未有的挑战和机遇。为了在激烈的市场竞争中立于不败之地,企业需要借助先进的技术手段来提升自身的竞争力。GEA架构(Generative and Evolutionary Architecture)作为一种新兴的技术架构&am…

Qwen3-4B-Instruct-2507实战指南

Qwen3-4B-Instruct-2507实战指南 1. UI-TARS-desktop简介 1.1 Agent TARS 核心定位与多模态能力 Agent TARS 是一个开源的多模态 AI Agent 框架,致力于通过融合视觉理解(Vision)、图形用户界面操作(GUI Agent)以及现…

PDF-Extract-Kit跨语言解析:云端支持20种语言,一键切换

PDF-Extract-Kit跨语言解析:云端支持20种语言,一键切换 在跨境电商日益全球化的今天,商家每天都要处理来自不同国家的商品说明书、技术文档和合规文件。这些文档往往格式复杂、语言多样——德文的电器说明书、日文的化妆品成分表、法文的食品…

Windows 7还能用!VxKex实现Edge浏览器及现代应用兼容方案

作为后端开发工程师或长期使用旧系统的运维人员,你是否常被“软件启动报dll错误”“Win7无法运行新版应用”“老旧系统生态支持弱”等问题影响效率?今天分享的这款技术工具,能针对性解决这些实操难题。 【VxKex】「适配环境:Wind…

2026 AI语音落地实战:开源ASR模型+弹性GPU部署趋势详解

2026 AI语音落地实战:开源ASR模型弹性GPU部署趋势详解 1. 引言:中文语音识别的工程化落地挑战 随着大模型与智能硬件的深度融合,语音交互正成为人机沟通的核心入口。在客服、会议记录、教育转写等场景中,高精度、低延迟的自动语…

通义千问2.5编程辅助:日常开发效率提升

通义千问2.5编程辅助:日常开发效率提升 1. 引言 1.1 技术背景与应用场景 在当前快速迭代的软件开发环境中,开发者对高效、智能的编程辅助工具需求日益增长。传统的代码补全工具(如 IntelliSense)虽然能提供基础语法提示&#x…

工地安全姿势监控:7×24小时AI巡检,成本比人工低80%

工地安全姿势监控:724小时AI巡检,成本比人工低80% 在建筑工地,尤其是高层施工项目中,高空作业是常态。但随之而来的安全风险也极高——工人是否佩戴安全带、是否站在防护栏外、是否有违规攀爬行为,这些都需要实时监控…

SGLang在金融报告生成中的应用,效率翻倍

SGLang在金融报告生成中的应用,效率翻倍 1. 引言:金融报告生成的挑战与SGLang的机遇 在金融行业,定期生成结构化、高准确性的分析报告是投研、风控和合规等核心业务的重要支撑。传统流程依赖人工整理数据、撰写摘要并校验格式,耗…

自走清淤设备,亲测效果分享

自走清淤设备亲测效果分享:技术革新如何重塑水下清淤作业在水下清淤领域,传统人工作业方式因其高风险、低效率的弊端,正逐渐被以“自走清淤设备”为代表的智能化解决方案所取代。这类设备,尤其是先进的【清淤机器人】,…

Wan2.2-I2V-A14B冷启动问题:首次加载模型的耗时优化

Wan2.2-I2V-A14B冷启动问题:首次加载模型的耗时优化 1. 背景与挑战 Wan2.2是由通义万相开源的高效文本到视频生成模型,拥有50亿参数,属于轻量级视频生成架构,专为快速内容创作场景设计。该模型支持480P分辨率视频生成&#xff0…

亲测煤矿专用井下清淤设备:效率提升超预期

亲测煤矿专用井下清淤设备:效率提升超预期——从技术突破到安全升级的行业实践一、煤矿井下清淤的行业痛点与传统困境煤矿井下清淤是保障矿井排水系统通畅、避免巷道积水坍塌的关键环节,但长期以来面临多重挑战:密闭空间内瓦斯等有毒气体积聚…

NewBie-image-Exp0.1 vs Stable Diffusion Anime实战对比:生成质量与GPU利用率评测

NewBie-image-Exp0.1 vs Stable Diffusion Anime实战对比:生成质量与GPU利用率评测 1. 引言:为何需要高质量动漫图像生成方案? 随着AIGC在内容创作领域的深入应用,动漫风格图像生成已成为游戏设计、插画创作和虚拟角色开发中的关…

通义千问3-Embedding-4B性能优化:批量处理提速技巧

通义千问3-Embedding-4B性能优化:批量处理提速技巧 1. 引言 随着大模型在检索增强生成(RAG)、跨语言语义匹配和长文档理解等场景中的广泛应用,高效、精准的文本向量化能力成为系统性能的关键瓶颈。Qwen3-Embedding-4B 作为阿里云…

MinerU智能文档理解教程:合同风险点自动识别方法

MinerU智能文档理解教程:合同风险点自动识别方法 1. 引言 在企业日常运营中,合同审查是一项高频且高风险的任务。传统人工审阅方式效率低、易遗漏关键条款,尤其面对大量非结构化PDF或扫描件时更为棘手。随着AI技术的发展,基于视…

YOLOv10官方镜像打造标准化AI视觉解决方案

YOLOv10官方镜像打造标准化AI视觉解决方案 1. 引言:从算法创新到工程落地的全链路升级 在人工智能视觉应用日益普及的今天,目标检测技术正面临前所未有的挑战——如何在保证高精度的同时实现低延迟、可部署性强的端到端推理。YOLO系列作为实时目标检测…

阿里通义Z-Image-Turbo光影控制:通过提示词实现明暗层次调节

阿里通义Z-Image-Turbo光影控制:通过提示词实现明暗层次调节 1. 技术背景与核心价值 近年来,AI图像生成技术在内容创作、设计辅助和视觉表达领域取得了显著进展。阿里通义实验室推出的 Z-Image-Turbo 模型,作为一款高效能的文生图&#xff…

开箱即用!Fun-ASR-MLT-Nano多语言语音识别Docker镜像体验

开箱即用!Fun-ASR-MLT-Nano多语言语音识别Docker镜像体验 1. 项目背景与技术价值 随着全球化内容消费的快速增长,跨语言语音交互需求持续攀升。传统语音识别系统往往局限于单一语种支持,难以满足国际会议、跨境电商、多语种客服等复杂场景的…

YOLOv9模型导出ONNX?后续推理格式转换路径

YOLOv9模型导出ONNX?后续推理格式转换路径 1. 镜像环境说明 核心框架: pytorch1.10.0 CUDA版本: 12.1 Python版本: 3.8.5 主要依赖: torchvision0.11.0,torchaudio0.10.0,cudatoolkit11.3, numpy, opencv-python, pandas, matplotlib, tqdm…

避坑指南:Qwen3-4B-Instruct-2507部署常见问题全解

避坑指南:Qwen3-4B-Instruct-2507部署常见问题全解 1. 引言:为何选择 Qwen3-4B-Instruct-2507? 随着大模型在实际业务场景中的广泛应用,轻量级、高效率的推理模型成为开发者关注的重点。阿里云推出的 Qwen3-4B-Instruct-2507 凭…

YOLO11环境配置太难?这个镜像帮你解决

YOLO11环境配置太难?这个镜像帮你解决 在深度学习和计算机视觉领域,YOLO(You Only Look Once)系列模型因其高效、准确的目标检测能力而广受欢迎。随着YOLO11的发布,开发者们迎来了更先进的架构与更高的性能表现。然而…