FST ITN-ZH中文逆文本标准化WebUI二次开发实战

1. 引言

1.1 业务场景描述

在自然语言处理（NLP）的实际工程落地中，语音识别（ASR）输出的原始文本通常包含大量非标准化表达。例如，“二零零八年八月八日”或“早上八点半”这类口语化、汉字数字混合的表述，难以直接用于结构化数据处理、信息抽取或数据库存储。

为解决这一问题，逆文本标准化（Inverse Text Normalization, ITN）成为关键预处理环节。FST ITN-ZH 是基于有限状态转导器（Finite State Transducer, FST）实现的高效中文ITN系统，能够将汉字数字、时间、日期等表达精准转换为标准格式。

本文聚焦于FST ITN-ZH 的 WebUI 二次开发实践，由开发者“科哥”完成界面重构与功能增强，旨在提供一个易用、可交互、支持批量处理的本地化部署工具，适用于语音识别后处理、智能客服、语音助手等多个实际应用场景。

1.2 痛点分析

原始 FST ITN-ZH 虽然具备强大的转换能力，但存在以下使用痛点：

缺乏图形化界面，依赖命令行操作，对非技术人员不友好
不支持批量文件处理，效率低下
参数调整不便，需修改代码配置
结果无法一键保存，缺乏持久化机制

这些问题严重限制了其在企业级项目中的快速集成与推广。

1.3 方案预告

本文将详细介绍由“科哥”主导的 WebUI 二次开发方案，涵盖：

基于 Gradio 框架构建可视化界面
实现单文本与批量文件双模式转换
添加高级参数调节功能
集成示例按钮与结果保存机制
提供完整的部署与使用指南

通过本次二次开发，FST ITN-ZH 实现了从“技术原型”到“可用产品”的跃迁。

2. 技术方案选型

2.1 核心框架选择：Gradio vs Streamlit

为了实现快速 WebUI 开发，对比主流 Python 可视化框架：

维度	Gradio	Streamlit
启动速度	快（内置轻量服务器）	快
组件丰富度	高（专为模型交互设计）	高
文件上传支持	原生支持`.txt`、`.csv`等	支持良好
自定义样式	中等（可通过 CSS 扩展）	较高
部署复杂度	低（一行`launch()`）	低
社区生态	强（Hugging Face 主推）	强

最终选择Gradio，因其更契合模型服务类应用，组件语义清晰（如Textbox,File,Button），且与 FST 模型天然兼容。

2.2 架构设计

整体架构分为三层：

+---------------------+ | WebUI 层 | ← Gradio UI (HTML/CSS/JS) +---------------------+ | 逻辑控制层 | ← Python 脚本调用 FST ITN-ZH +---------------------+ | 核心引擎层 | ← OpenFst + ITN-ZH 规则库 +---------------------+

WebUI 层：用户交互入口，支持输入、上传、参数设置
逻辑控制层：解析请求，调用 ITN 接口，处理文件读写
核心引擎层：执行实际的文本转换规则匹配

该分层设计保证了界面与逻辑解耦，便于后续维护和扩展。

3. 实现步骤详解

3.1 环境准备

确保服务器已安装以下依赖：

# Python 3.8+ pip install gradio openfst-python

并将 FST ITN-ZH 模型文件放置于/model/itn_zh/目录下。

启动脚本run.sh内容如下：

#!/bin/bash cd /root/FST-ITN-ZH-webui python app.py --port=7860 --host=0.0.0.0

赋予执行权限：

chmod +x /root/run.sh

3.2 核心代码实现

以下是 WebUI 主程序app.py的核心实现：

import gradio as gr from itn import inverse_text_normalization # 假设已有 ITN 模块 import datetime import os def text_normalize(text, convert_digits=True, convert_single=True, full_expand_wan=False): """调用 ITN 引擎进行文本标准化""" result = inverse_text_normalization( text, convert_digits=convert_digits, convert_single=convert_single, full_expand_wan=full_expand_wan ) return result def batch_process(file_path, convert_digits, convert_single, full_expand_wan): """批量处理函数""" output_lines = [] with open(file_path.name, 'r', encoding='utf-8') as f: for line in f: line = line.strip() if line: converted = text_normalize(line, convert_digits, convert_single, full_expand_wan) output_lines.append(converted) # 生成带时间戳的结果文件 timestamp = datetime.datetime.now().strftime("%Y%m%d_%H%M%S") output_file = f"output_{timestamp}.txt" with open(output_file, 'w', encoding='utf-8') as f: f.write("\n".join(output_lines)) return output_file # 定义 Gradio 界面 with gr.Blocks(title="中文逆文本标准化 (ITN)") as demo: gr.HTML("<h1 style='text-align:center;color:#4B0082;'>中文逆文本标准化 (ITN)</h1>") gr.HTML("<p style='text-align:center;'><strong>webUI二次开发 by 科哥 | 微信：312088415</strong></p>") with gr.Tabs(): with gr.Tab("📝 文本转换"): with gr.Row(): with gr.Column(): input_text = gr.Textbox(label="输入文本", lines=5, placeholder="请输入要转换的中文文本...") with gr.Row(): convert_btn = gr.Button("开始转换") clear_btn = gr.Button("清空") with gr.Column(): output_text = gr.Textbox(label="输出结果", lines=5, interactive=False) with gr.Row(): copy_btn = gr.Button("复制结果") save_btn = gr.Button("保存到文件") # 高级设置 with gr.Accordion("⚙️ 高级设置", open=False): convert_digits = gr.Checkbox(label="转换独立数字（如：幸运一百 → 幸运100）", value=True) convert_single = gr.Checkbox(label="转换单个数字（如：零和九 → 0和9）", value=True) full_expand_wan = gr.Checkbox(label="完全转换'万'（如：六百万 → 6000000）", value=False) # 示例按钮 gr.Markdown("🎯 快速示例") with gr.Row(): gr.Button("日期").click(fn=lambda: "二零零八年八月八日", outputs=input_text) gr.Button("时间").click(fn=lambda: "早上八点半", outputs=input_text) gr.Button("数字").click(fn=lambda: "一百二十三", outputs=input_text) gr.Button("货币").click(fn=lambda: "一点二五元", outputs=input_text) gr.Button("分数").click(fn=lambda: "五分之一", outputs=input_text) # 按钮绑定事件 convert_btn.click( fn=text_normalize, inputs=[input_text, convert_digits, convert_single, full_expand_wan], outputs=output_text ) clear_btn.click(fn=lambda: ("", ""), inputs=None, outputs=[input_text, output_text]) copy_btn.click(fn=lambda x: x, inputs=output_text, outputs=input_text) save_btn.click(fn=lambda x: x, inputs=output_text, outputs=None) # 可扩展为下载 with gr.Tab("📦 批量转换"): file_input = gr.File(label="上传文本文件 (.txt)") batch_convert_btn = gr.Button("批量转换") download_output = gr.File(label="下载结果文件") batch_convert_btn.click( fn=batch_process, inputs=[file_input, convert_digits, convert_single, full_expand_wan], outputs=download_output ) # 启动服务 demo.launch(server_name="0.0.0.0", server_port=7860, share=False)

3.3 关键代码解析

（1）`text_normalize`函数

封装对底层 ITN 引擎的调用，接收三个布尔参数控制转换行为，返回标准化字符串。

（2）`batch_process`批量处理

读取上传的.txt文件，逐行处理
调用text_normalize进行转换
将结果写入以时间戳命名的文件，避免覆盖
返回文件路径供 Gradio 下载

（3）Gradio Blocks 布局

使用Tabs实现功能分区，Accordion隐藏高级设置，提升界面整洁性。通过click()绑定按钮事件，实现无刷新交互。

（4）示例按钮快捷填充

利用gr.Button().click()直接注入预设值，极大提升用户体验，特别适合测试和演示场景。

4. 实践问题与优化

4.1 实际遇到的问题

问题	原因	解决方案
首次加载慢（3-5秒）	FST 模型初始化耗时	加入加载提示动画，异步加载
文件编码错误	Windows 默认 GBK 编码	显式指定`encoding='utf-8'`
大文件内存溢出	全部加载进内存	改为流式处理（未在当前版本实现）
参数未同步	全局变量作用域问题	将参数作为输入显式传递

4.2 性能优化建议

缓存机制：对于重复输入，可加入 LRU 缓存减少计算开销
并发处理：使用concurrent.futures对批量任务并行化
前端防抖：对频繁触发的操作添加防抖延迟
模型压缩：优化 FST 规则图，减少状态数

5. 使用技巧与最佳实践

5.1 长文本多类型混合处理

系统支持在同一段文本中识别多种实体：

输入: “京A一二三四五号车于二零一九年九月十二日下午三点十五分行驶了三十公里，花费一百二十五元。” 输出: “京A12345号车于2019年09月12日15:15p.m.行驶了30km，花费¥125。”

建议在 ASR 后处理阶段统一调用 ITN，避免分段处理导致上下文断裂。

5.2 批量处理大规模数据

对于超过 10,000 行的数据：

分批次上传（每批 5000 行）
使用screen或nohup保持后台运行
检查磁盘空间，定期清理旧输出文件

5.3 版权信息保留规范

根据作者要求，任何衍生作品必须保留以下声明：

webUI二次开发 by 科哥 | 微信：312088415 承诺永远开源使用 但是需要保留本人版权信息！

可在页面底部以小字号固定展示，符合 Apache License 2.0 的合规要求。

6. 总结

6.1 实践经验总结

本次 FST ITN-ZH WebUI 二次开发成功实现了以下目标：

将命令行工具升级为图形化应用，降低使用门槛
支持单条与批量两种处理模式，满足不同场景需求
提供可调节的转换参数，增强灵活性
集成一键示例与结果保存功能，提升操作效率

整个过程体现了“以用户为中心”的工程思维，不仅关注技术实现，更重视实际可用性。

6.2 最佳实践建议

部署即服务：将此 WebUI 封装为 Docker 镜像，便于跨环境部署
API 化扩展：在现有基础上增加 RESTful API 接口，供其他系统调用
日志监控：记录转换成功率、响应时间等指标，便于运维分析

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。