FST ITN-ZH大模型镜像解析｜赋能中文ITN批量处理与WebUI交互应用

1. 背景与核心价值

在语音识别（ASR）和自然语言处理（NLP）的实际应用中，一个常被忽视但至关重要的环节是逆文本标准化（Inverse Text Normalization, ITN）。原始ASR输出通常为贴近发音的口语化表达，如“二零零八年八月八日”或“一百二十三”，这类形式虽便于听觉理解，却不适合直接用于文档撰写、数据分析或系统录入。

FST ITN-ZH 镜像正是为解决这一问题而生。它基于有限状态转换器（Finite State Transducer, FST）技术，专为中文设计了一套高效、精准的逆文本标准化方案，并通过二次开发的 WebUI 界面实现了低门槛的人机交互。该镜像不仅支持单条文本的实时转换，还具备批量处理能力，显著提升了从语音转写到正式文本生成的效率。

其核心价值体现在三个方面： -语义还原：将口语化的数字、时间、货币等表达自动转换为标准书面格式。 -工程可用性：提供一键部署的Docker镜像，开箱即用，无需复杂配置。 -交互友好性：图形化界面降低使用门槛，非技术人员也能快速上手。

本镜像由开发者“科哥”进行WebUI二次开发，在保留底层FST高精度转换能力的同时，增强了用户体验与实用性，适用于会议纪要整理、法律文书预处理、金融数据清洗等多个场景。

2. 技术架构与工作原理

2.1 整体架构概览

FST ITN-ZH 的系统架构分为三层：前端交互层、服务控制层和核心引擎层。

┌─────────────────┐ │ WebUI 前端 │ ← 用户操作入口（HTML + JavaScript） └────────┬────────┘ ↓ ┌────────┴────────┐ │ Flask 服务端 │ ← 接收请求，调用ITN模块（Python） └────────┬────────┘ ↓ ┌────────┴────────┐ │ FST 核心引擎 │ ← 基于OpenFST构建的规则转换系统 └─────────────────┘

整个流程如下： 1. 用户在浏览器中输入文本或上传文件； 2. WebUI通过HTTP请求将数据发送至后端Flask服务； 3. 服务调用本地FST模型执行ITN转换； 4. 结果返回前端展示，或打包为文件供下载。

所有组件均封装在一个Docker镜像中，确保环境一致性与部署便捷性。

2.2 FST核心机制解析

FST（有限状态转换器）是一种经典的自动机模型，广泛应用于语音识别中的词典建模与文本规整任务。其本质是一个带有输入/输出标签的状态转移图，能够实现从一种符号序列到另一种符号序列的映射。

以“一百二十三” → “123”为例，FST的工作过程可分解为：

输入流: 一 → 百 → 二 → 十 → 三 ↓ ↓ ↓ ↓ ↓ 输出流: 1 + 100 + 2 + 10 + 3 → 总和 = 123

具体来说，FST内部维护多个子网络，分别对应不同类型的转换规则： -NumNet：处理基数、序数、小数、分数等数字结构 -DateNet：解析年月日、星期、节气等日期表达 -TimeNet：转换上午/下午、几点几分、a.m./p.m.等时间格式 -MoneyNet：识别元、美元、欧元等货币单位并添加符号 -MeasureNet：处理千克、公里、摄氏度等度量单位

这些子网络通过组合（Composition）和连接（Concatenation）操作形成完整的ITN管道，能够在一次遍历中完成多类型混合表达的同步转换。

例如：

输入：“二零一九年九月十二日早上八点半花费一百二十五元”
输出：“2019年09月12日 8:30a.m. 花费¥125”

这种模块化设计使得系统既保持高性能（平均响应时间 < 100ms），又具备良好的可扩展性，便于后续新增规则或适配特定领域需求。

3. 功能详解与实践应用

3.1 文本转换功能实现

文本转换是FST ITN-ZH最基础也是最常用的功能，适用于即时校对、短文本处理等场景。

使用流程

启动容器后访问http://<IP>:7860
切换至「📝 文本转换」标签页
在输入框中填写待转换内容
点击「开始转换」按钮
查看输出结果并可选择复制或保存

示例代码调用逻辑

虽然主要通过WebUI操作，但其后端接口也可编程调用。以下为模拟的Python请求示例：

import requests def itn_convert(text: str) -> str: url = "http://localhost:7860/api/convert" payload = {"input_text": text} response = requests.post(url, json=payload) return response.json().get("output_text") # 示例调用 result = itn_convert("京A一二三四五号车于早上八点出发") print(result) # 输出: 京A12345号车于8:00a.m.出发

该接口可用于集成到自动化流水线中，实现与其他系统的无缝对接。

3.2 批量转换工程实践

对于大规模数据处理任务（如历史档案数字化、客服录音转写归档），批量转换功能尤为重要。

文件格式要求

文件类型：.txt纯文本
编码格式：UTF-8
每行一条独立记录，不可跨行

示例文件input.txt：

二零二四年一月一日 下午四点十五分到达 总金额为三千六百元整 车牌号码是沪B六七八九零

批量处理步骤

准备好符合格式的文本文件
进入「📦 批量转换」页面
点击「上传文件」选择文件
点击「批量转换」触发处理
完成后点击「下载结果」获取output_<timestamp>.txt

后端处理逻辑（简化版）

def batch_itn_process(file_path: str, output_path: str): with open(file_path, 'r', encoding='utf-8') as f_in, \ open(output_path, 'w', encoding='utf-8') as f_out: for line in f_in: text = line.strip() if not text: continue converted = apply_fst_itn(text) # 调用FST引擎 f_out.write(converted + '\n')

此模式下，系统可稳定处理数千行文本，内存占用可控，适合在普通服务器上运行。

3.3 高级设置与参数调优

为了适应多样化应用场景，FST ITN-ZH 提供了三项关键的高级设置选项，允许用户根据实际需求调整转换行为。

设置项	开启效果	关闭效果	适用场景
转换独立数字	`幸运一百`→`幸运100`	保持原样	数据报表、财务文档
转换单个数字(0-9)	`零和九`→`0和9`	保持原样	编程术语、密码提示
完全转换'万'	`六百万`→`6000000`	`600万`	数学计算、数据库导入

这些开关直接影响FST解码路径的选择，体现了规则系统的灵活性。例如，在财经新闻中，“GDP突破一百万亿元”更宜保留“100万亿”的简洁表达；而在统计分析中，则可能需要完全展开为“100000000000000”以便数值运算。

建议在正式使用前通过示例测试不同配置下的输出效果，确定最优参数组合。

4. 应用技巧与最佳实践

4.1 长文本多类型混合处理

FST ITN-ZH 支持在同一段文本中识别并转换多种实体类型，这是其实用性的关键体现。

典型示例：

输入: “公司于二零二三年十二月三十一日下午三点召开年终会议， 讨论了全年营收达到五亿六千万元人民币，同比增长百分之七点八的情况。” 输出: “公司于2023年12月31日 3:00p.m.召开年终会议， 讨论了全年营收达到5.6亿元人民币，同比增长7.8%的情况。”

该能力依赖于FST网络的上下文感知机制，能准确区分“十二月”作为月份而非数字、“百分之七点八”作为百分比而非普通数字等细微差别。

4.2 自动化脚本集成建议

尽管WebUI提供了直观的操作方式，但在生产环境中建议结合Shell或Python脚本实现自动化调度。

示例：定时批量处理脚本

#!/bin/bash # cron_job_itn.sh INPUT_DIR="/data/raw_texts" OUTPUT_DIR="/data/processed_texts" TIMESTAMP=$(date +"%Y%m%d_%H%M%S") for file in $INPUT_DIR/*.txt; do filename=$(basename "$file" .txt) curl -X POST http://localhost:7860/api/batch_convert \ -H "Content-Type: application/json" \ -d "{\"file_path\": \"$file\"}" \ -o "$OUTPUT_DIR/${filename}_itn_${TIMESTAMP}.txt" done

配合Linuxcron定时任务，可实现每日凌晨自动处理前一天新增的数据文件。