FST ITN-ZH核心功能解析｜附WebUI批量转换实战案例

在日常处理中文文本时，我们常常会遇到大量非标准化的表达形式：比如“二零零八年八月八日”、“早上八点半”、“一百二十三”等。这些口语化或书面变体虽然便于人类理解，但在数据清洗、信息提取和系统对接中却带来了不小的麻烦。

有没有一种工具，能自动把这些五花八门的表达统一成标准格式？答案是肯定的——FST ITN-ZH 中文逆文本标准化（ITN）系统正是为此而生。它不仅能精准识别并转换各类中文数字、时间、货币等表达，还配备了直观易用的WebUI界面，支持单条输入与批量处理，极大提升了文本规整效率。

本文将带你深入解析FST ITN-ZH的核心功能，并通过一个完整的WebUI批量转换实战案例，展示如何高效利用这一工具完成大规模文本标准化任务。

1. 什么是逆文本标准化（ITN）

1.1 概念通俗讲

你可能听说过“文本标准化”（Text Normalization），它的作用是把标准数字写成中文，比如2008年→二零零八年。而逆文本标准化（Inverse Text Normalization, ITN）则是反过来：
把中文读法还原为机器可计算的标准数字或符号。

举个例子：

输入：京A一二三四五的车在二零一九年跑了二十五万千米，花了六万三千元 输出：京A12345的车在2019年跑了250000km，花了63000元

这个过程对语音识别后处理、OCR结果清洗、日志分析等场景至关重要。

1.2 技术实现原理

FST ITN-ZH 基于有限状态转换器（Finite State Transducer, FST）构建规则引擎，结合中文语言习惯设计了多类转换模板。相比纯神经网络模型，FST的优势在于：

• 高精度：规则明确，不易出错
• 低延迟：无需加载大模型，响应迅速
• 可解释性强：每一步转换逻辑清晰可见

系统覆盖了日期、时间、数字、货币、分数、度量单位、数学表达式、车牌号等多种常见类型，几乎涵盖了所有需要标准化的中文表达场景。

2. WebUI核心功能详解

2.1 界面概览

启动服务后，在浏览器访问http://<服务器IP>:7860即可进入主界面。整体布局简洁明了，采用紫蓝渐变标题栏，顶部标注开发者信息：“webUI二次开发 by 科哥”。

主要功能分为两大模块：

• ** 文本转换**：适用于少量文本快速测试
• 📦 批量转换：适合处理成百上千行数据

下方还设有「 快速示例」按钮组，方便一键填充典型用例进行体验。

2.2 功能一：单条文本转换

这是最基础也是最常用的使用方式，适合调试参数或验证效果。

使用流程如下：

1. 点击「 文本转换」标签页
2. 在左侧输入框中填写待转换文本
3. 点击「开始转换」按钮
4. 右侧输出框即时显示标准化结果

实际演示：

输入: 今天是二零二四年十月一日，气温二十五摄氏度，我花了三百五十块买了三公斤苹果。 输出: 今天是2024年10月01日，气温25℃，我花了350块买了3kg苹果。

整个过程毫秒级响应，无需等待，非常适合边写边看。

2.3 功能二：批量文件转换

当面对大量数据时，手动逐条输入显然不现实。此时应使用「📦 批量转换」功能。

支持的操作步骤：

1. 准备一个.txt文件，每行一条原始文本
2. 点击「上传文件」选择该文件
3. 点击「批量转换」触发处理
4. 完成后点击「下载结果」获取标准化后的文本文件

输入文件示例（input.txt）：

二零零八年八月八日 早上八点半 一百二十三 一点二五元 五分之一 二十五千克 负二 京A一二三四五

输出结果（自动命名带时间戳）：

2008年08月08日 8:30a.m. 123 ¥1.25 1/5 25kg -2 京A12345

这种方式特别适用于以下场景：

• 清洗历史文档中的非标日期
• 统一口语录音转写稿中的金额表达
• 标准化客服对话记录中的数字描述

2.4 高级设置详解

系统提供了三项关键开关，允许用户根据实际需求灵活调整转换行为。

提示：若处理的是文学类文本（如小说、诗歌），建议关闭“转换单个数字”，以免将“一见钟情”误改为“1见钟情”。

3. 支持的转换类型全解析

3.1 日期转换

将中文年月日自动转为YYYY年MM月DD日格式，补全前导零。

输入: 二零一九年九月十二日 输出: 2019年09月12日 输入: 二一年元旦 输出: 2021年01月01日

支持简写形式（如“二一”代表“2021”），也兼容“初一”、“十五”等农历表述（需开启对应选项）。

3.2 时间表达

区分上午/下午，统一为HH:MM a.m./p.m.或HH:MM格式。

输入: 早上八点半 输出: 8:30a.m. 输入: 下午三点十五分 输出: 3:15p.m.

也可配置为24小时制输出，满足不同业务需求。

3.3 数字与数量词

涵盖从个位数到“亿”的完整中文数字体系。

输入: 一千九百八十四 输出: 1984 输入: 三万五千六百七十八 输出: 35678

支持“两”代替“二”、“幺”代替“一”等方言变体。

3.4 货币单位

智能识别人民币、美元、欧元等，并添加相应符号。

输入: 一点二五元 输出: ¥1.25 输入: 一百美元 输出: $100

对于“块”、“毛”、“分”等口语说法也能正确映射。

3.5 分数与比例

将“几分之几”结构转换为/表达式。

输入: 五分之一 输出: 1/5 输入: 百分之七十 输出: 70%

3.6 度量单位

常见物理量单位自动缩写并前置数值。

输入: 三十公里 输出: 30km 输入: 五十平方米 输出: 50㎡

支持长度、重量、面积、体积、温度等多种单位。

3.7 数学表达式

处理正负号、小数点等数学相关词汇。

输入: 负二 输出: -2 输入: 正五点五 输出: +5.5

3.8 特殊标识：车牌号

专为车牌设计的转换逻辑，保留汉字部分，仅数字化字母后的编号。

输入: 京A一二三四五 输出: 京A12345 输入: 沪B六七八九零 输出: 沪B67890

避免将“京A”误认为“10A”，确保地域代码不变。

4. WebUI批量转换实战案例

下面我们通过一个真实工作场景，完整演示如何使用FST ITN-ZH完成一次高效的批量文本标准化任务。

4.1 场景背景

某电商平台需要整理过去三年的客服聊天记录，其中包含大量非标准表达，例如：

• “订单是二零二三年双十一下的”
• “退款金额为两千五百元”
• “预计三天后送达”

目标是将这些文本统一为标准格式，便于后续导入数据库进行数据分析。

4.2 准备工作

1. 登录服务器，确认服务已启动：

   /bin/bash /root/run.sh

2. 浏览器打开http://<服务器IP>:7860

3. 准备待处理文件customer_chat_samples.txt，内容如下：

用户说他的订单是二零二三年十一月十一日下的 总共付了一千二百三十四元五角 预计两天后收到货 他说电话号码是一三八一二三四五六七 房间号是八零二 今天的气温有三十五度 他希望退款五百元 这笔交易发生在下午四点二十分

4.3 执行批量转换

1. 点击「📦 批量转换」标签页
2. 点击「上传文件」按钮，选择本地customer_chat_samples.txt
3. 检查高级设置：
   • 转换独立数字
   • 转换单个数字
   • ❌ 完全转换'万'（当前无“万”字）
4. 点击「批量转换」按钮

等待约2秒，页面提示“转换完成”，出现「下载结果」按钮。

4.4 查看与验证结果

下载生成的文件（如output_20250405_142312.txt），内容如下：

用户说他的订单是2023年11月11日下的 总共付了1234.5元 预计2天后收到货 他说电话号码是1381234567 房间号是802 今天的气温有35度 他希望退款500元 这笔交易发生在4:20p.m.

可以看到：

• 所有日期、时间、金额均已标准化
• “八零二”被正确识别为房间号而非“八百零二”
• “一三八”作为电话号码未被拆解为“138”，但数字已转为阿拉伯形式

结果符合预期，可直接用于下游系统处理。

4.5 进阶技巧：自动化脚本配合

为了实现长期自动化处理，可以编写简单Shell脚本定期执行清理任务：

#!/bin/bash # 自动化批量处理脚本 INPUT_DIR="/data/raw_texts" OUTPUT_DIR="/data/normalized" TIMESTAMP=$(date +"%Y%m%d_%H%M%S") for file in $INPUT_DIR/*.txt; do if [ -f "$file" ]; then # 模拟WebUI操作（需接口支持或前端自动化） echo "正在处理: $file" python3 simulate_upload.py --file "$file" --output "$OUTPUT_DIR/${TIMESTAMP}_$(basename $file)" fi done

注：若系统开放API接口，可通过POST请求直接调用转换服务，进一步提升效率。

5. 常见问题与使用建议

5.1 转换不准怎么办？

首先检查是否开启了合适的高级设置。例如：

• 若发现“十一”被转为“11”，但你想保留原意，可能是误触了“转换单个数字”
• “一万”变成“10000”而非“1万”，请关闭“完全转换'万'”

其次确认输入文本是否符合普通话规范。系统目前主要支持标准汉语表达，对方言俚语的支持有限。

5.2 转换速度如何？

首次加载模型需3~5秒（因需初始化FST状态机），之后每条文本处理时间小于50ms。实测表明，一台普通云服务器可轻松应对每秒上百条的转换请求。

5.3 是否支持其他语言？

当前版本专注于中文逆文本标准化。如需处理英文数字（如“one hundred”→“100”），需额外集成英文ITN模块。

5.4 版权与使用声明

本项目由“科哥”二次开发并开源，承诺永久免费使用，但必须保留以下版权信息：

webUI二次开发 by 科哥 | 微信：312088415 承诺永远开源使用 但是需要保留本人版权信息！

这不仅是对开发者劳动的尊重，也有助于社区持续维护与更新。

6. 总结

FST ITN-ZH 是一款极具实用价值的中文逆文本标准化工具，凭借其高准确率、低延迟、易部署的特点，已成为许多数据处理流程中不可或缺的一环。

无论是个人用户想快速规整笔记内容，还是企业需要清洗海量客服记录、OCR输出或语音转写稿，它都能提供稳定可靠的解决方案。

通过本文的详细解析与实战演示，相信你已经掌握了它的核心功能与使用方法。现在就可以动手试试，把你手头那些“乱糟糟”的中文文本，一键变成整齐划一的标准格式。

记住，好的工具不只是省时间，更是帮你把注意力从机械劳动转移到真正有价值的思考上。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。