FST ITN-ZH长文本处理：复杂中文文本标准化解决方案

1. 简介与背景

在自然语言处理（NLP）的实际应用中，语音识别系统输出的原始文本通常包含大量非标准表达形式。例如，“二零零八年八月八日”或“早上八点半”这类口语化、文字化的表述，难以直接用于结构化数据处理、信息抽取或数据库存储。因此，逆文本标准化（Inverse Text Normalization, ITN）成为语音识别后处理的关键环节。

FST ITN-ZH 是一个基于有限状态转导器（Finite State Transducer, FST）架构的中文逆文本标准化工具，专注于将中文中的数字、时间、日期、货币等复杂表达转换为统一的标准格式。本文介绍的是由开发者“科哥”进行 WebUI 二次开发后的版本，极大提升了易用性和工程落地效率。

该系统支持多种常见语义类别的转换，包括： - 数字（如：一百二十三 → 123） - 时间（如：早上八点半 → 8:30a.m.） - 日期（如：二零一九年九月十二日 → 2019年09月12日） - 货币（如：一点二五元 → ¥1.25） - 分数、度量单位、数学符号、车牌号等

其核心优势在于对长文本多类型混合表达的精准识别与并行转换能力，适用于智能客服、语音助手、录音转写、OCR 后处理等多个场景。

2. 系统部署与运行方式

2.1 启动与重启指令

本系统通过脚本封装实现一键启动，用户无需手动配置环境依赖或服务进程。

/bin/bash /root/run.sh

执行上述命令后，系统将自动加载模型、初始化 FST 转换规则，并启动基于 Gradio 的 WebUI 服务，默认监听端口为7860。

提示：首次运行可能需要 3–5 秒完成模型加载，后续请求响应速度极快，平均延迟低于 100ms。

2.2 访问地址

服务启动成功后，在浏览器中访问以下地址即可使用：

http://<服务器IP>:7860

界面采用紫蓝渐变风格设计，简洁直观，适合非技术人员快速上手。

3. 核心功能详解

3.1 功能一：单文本转换

使用流程

1. 打开 WebUI 页面
2. 切换至「📝 文本转换」标签页
3. 在输入框中填写待转换的中文文本
4. 点击「开始转换」按钮
5. 查看输出框中的标准化结果

示例演示

输入: 二零零八年八月八日早上八点半 输出: 2008年08月08日 8:30a.m.

此功能适用于交互式调试、小批量数据验证和实时测试。

3.2 功能二：批量文件转换

对于大规模数据处理任务，系统提供「📦 批量转换」功能，支持.txt文件上传与结果下载。

操作步骤

1. 准备纯文本文件，每行一条原始语句
2. 进入「批量转换」页面
3. 点击「上传文件」选择本地.txt文件
4. 点击「批量转换」触发处理流程
5. 转换完成后点击「下载结果」获取标准化文本

输入文件示例

二零一九年九月十二日 一百二十三 早上八点半 一点二五元 二十五千克 京A一二三四五

输出结果

2019年09月12日 123 8:30a.m. ¥1.25 25kg 京A12345

建议：批量处理时确保每行仅包含一个完整语义单元，避免跨行断句影响解析准确性。

4. 高级参数配置说明

系统提供三项关键开关，允许用户根据业务需求灵活调整转换行为。

4.1 转换独立数字

适用场景：当“一百”作为比喻或文化表达（如“百事可乐”）时，应关闭此项以保留原意。

4.2 转换单个数字 (0–9)

注意点：开启后可能导致某些固定搭配失真（如“三六九等”变为“369等”），需结合上下文判断是否启用。

4.3 完全转换'万'

推荐策略： - 数据分析、数值计算场景建议开启 - 可读性优先的应用（如新闻播报稿）建议关闭

5. 支持的转换类型与实例

5.1 日期转换

输入: 二零零八年八月八日 输出: 2008年08月08日 输入: 二零二四年十月一日 输出: 2024年10月01日

支持年月日全称及省略格式，自动补零对齐。

5.2 时间表达

输入: 早上八点半 输出: 8:30a.m. 输入: 下午三点十五分 输出: 3:15p.m.

区分上午/下午，并采用英文缩写 a.m./p.m. 表示时段。

5.3 数字转换

输入: 一百二十三 输出: 123 输入: 壹仟玖佰捌拾肆 输出: 1984

兼容简体、大写、方言变体（如“幺”代表“一”，“两”代表“二”）。

5.4 货币表示

输入: 一点二五元 输出: ¥1.25 输入: 一百美元 输出: $100

自动添加对应货币符号，支持人民币、美元、欧元等主流币种。

5.5 分数与度量单位

输入: 五分之一 输出: 1/5 输入: 二十五千克 输出: 25kg

分数转为斜杠形式；度量单位使用国际标准缩写。

5.6 数学表达式

输入: 负二 输出: -2 输入: 正五点五 输出: +5.5

支持正负号显式标注，便于后续数学运算处理。

5.7 车牌号码

输入: 京A一二三四五 输出: 京A12345 输入: 沪B六七八九零 输出: 沪B67890

保留汉字前缀，仅将数字部分转换为阿拉伯数字。

6. 实际应用场景与技巧

6.1 长文本混合表达处理

系统具备强大的上下文感知能力，可在同一段落中准确识别并转换多种类型的表达。

输入: 这件事发生在二零一九年九月十二日的晚上，大概八点半左右，涉及金额为一万二千元。 输出: 这件事发生在2019年09月12日的晚上，大概8:30左右，涉及金额为12000元。

技术亮点：FST 模型通过构建多层状态机网络，实现了不同语义类别之间的无冲突匹配与替换。

6.2 大规模数据批处理技巧

针对每日需处理数万条语音转写结果的企业用户，推荐如下工作流：

1. 将 ASR 输出按行写入.txt文件
2. 使用定时脚本调用 WebAPI 或手动上传至 WebUI
3. 下载标准化结果并导入下游系统（如 CRM、BI 平台）

性能参考：单次可处理上千行文本，总耗时控制在 10 秒以内（取决于硬件配置）。

6.3 结果保存与追溯

点击「保存到文件」按钮，系统会将当前输出内容写入带时间戳的文本文件，命名格式如下：

result_20250405_143022.txt

便于后期归档、审计或与其他系统对接。

7. 常见问题与解决方案

7.1 转换结果不准确？

排查方向： - 检查输入文本是否存在歧义（如“十一月”是“11月”还是“十 一月”？） - 确认高级设置是否符合预期 - 尝试拆分长句为短句再分别处理

7.2 是否支持方言或特殊表达？

目前主要支持普通话标准表达，但已涵盖以下常见变体：

暂不支持粤语、吴语等区域性口语表达。

7.3 转换速度慢？

• 首次转换存在模型加载延迟（约 3–5 秒），属正常现象
• 后续请求响应迅速，若持续卡顿请检查服务器资源占用情况（CPU、内存）

7.4 版权与使用声明

本项目承诺永久开源免费使用，但必须保留以下版权信息：

webUI二次开发 by 科哥 | 微信：312088415 承诺永远开源使用 但是需要保留本人版权信息！

违反者将失去技术支持资格。

8. 界面操作指南

8.1 主要按钮功能说明

8.2 快速示例按钮

页面底部提供多个预设示例按钮，点击即可自动填充典型输入：

极大提升测试效率。

9. 总结

FST ITN-ZH 中文逆文本标准化系统凭借其基于有限状态转导器的强大底层架构，结合科哥开发的友好 WebUI 界面，实现了从“技术可用”到“产品易用”的跨越。

其核心价值体现在： - ✅ 支持九大类中文表达的高精度标准化 - ✅ 提供图形化界面与批量处理能力，降低使用门槛 - ✅ 兼容多种数字表达变体，适应真实语音场景 - ✅ 可部署于私有服务器，保障数据安全与隐私

无论是个人研究、企业集成还是教育用途，该系统都提供了稳定、高效且可持续维护的解决方案。

未来可进一步扩展方向包括： - 增加更多方言支持 - 接入 RESTful API 接口 - 支持自定义规则注入

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。