Youtu-2B语音对话系统集成：ASR+LLM联合部署教程

1. 引言

1.1 场景背景与技术需求

随着边缘计算和端侧AI的快速发展，轻量化大语言模型（LLM）在实际业务场景中的应用价值日益凸显。尤其是在智能客服、语音助手、本地化知识问答等对延迟敏感、算力受限的环境中，如何实现低资源消耗、高响应速度、强语义理解的对话系统成为关键挑战。

Youtu-LLM-2B作为腾讯优图实验室推出的20亿参数级轻量大模型，在保持较小体积的同时，在数学推理、代码生成和中文逻辑对话方面表现出色，非常适合部署于消费级GPU甚至高性能CPU设备上。然而，仅具备文本交互能力的LLM难以满足真实场景中“语音输入→语义理解→语音输出”的完整闭环需求。

因此，本文将围绕Youtu-2B 模型镜像，详细介绍如何将其与自动语音识别（ASR）模块集成，构建一个完整的语音对话系统，并实现从语音输入到智能回复生成的全流程自动化部署。

1.2 教程目标与前置知识

本教程旨在帮助开发者： - 掌握 Youtu-2B 模型的服务调用方式 - 集成开源 ASR 组件实现语音转文字 - 构建完整的语音对话流水线 - 完成前后端联调与服务封装

前置知识要求： - 基础 Python 编程能力 - 熟悉 HTTP API 调用机制 - 了解 Flask 或 FastAPI 框架基本用法 - 具备 Docker 镜像运行经验（非必须）

2. 系统架构设计

2.1 整体架构概览

我们设计的语音对话系统采用分层架构，主要包括以下四个核心模块：

1. 前端语音采集模块：通过浏览器或移动端麦克风获取用户语音输入。
2. ASR语音识别模块：将语音流转换为可读文本，供LLM处理。
3. LLM语义理解与生成模块：基于 Youtu-LLM-2B 提供智能回复。
4. TTS语音合成模块（可选扩展）：将文本回复转化为语音输出。

数据流向如下：

[语音输入] → ASR → [文本] → LLM → [回复文本] → (TTS) → [语音输出]

本教程重点实现前三步，即完成ASR + LLM的联合部署与集成。

2.2 技术选型说明

📌 决策依据：优先考虑端侧可用性、中文支持能力和资源占用。WeNet 在中文语音识别任务中表现优异且完全开源；Whisper.cpp 则适合更通用的跨语言场景。

3. 实践部署步骤

3.1 准备工作：启动Youtu-2B服务

假设您已通过 CSDN 星图平台或其他渠道获取Youtu-LLM-2B镜像，请按以下命令启动服务：

docker run -d --gpus all -p 8080:8080 your-youtu-image:latest

等待容器启动后，访问http://localhost:8080可打开 WebUI 界面。同时，其提供的 API 接口为：

• 地址：http://localhost:8080/chat
• 方法：POST
• 参数：{"prompt": "你的问题"}
• 返回：{"response": "AI的回答"}

建议先使用 curl 测试连通性：

curl -X POST http://localhost:8080/chat \ -H "Content-Type: application/json" \ -d '{"prompt": "请用中文介绍你自己"}'

预期返回类似内容：

{"response": "我是Youtu-LLM-2B，由腾讯优图实验室研发……"}

3.2 集成ASR模块：语音转文本

我们选用WeNet开源项目进行语音识别集成。WeNet 是一款专为工业级语音识别设计的端到端框架，支持流式识别，适用于实时对话场景。

安装 WeNet（Python 版本）

git clone https://github.com/wenet-e2e/wenet.git cd wenet pip install -r requirements.txt

下载预训练中文模型（推荐chs_wenetspeech）：

wget https://github.com/wenet-e2e/wenet/releases/download/v2.0.0/wenetspeech_model.tar.gz tar -xzf wenetspeech_model.tar.gz

编写 ASR 封装接口

创建asr_server.py文件，提供一个简单的 HTTP 接口用于接收音频并返回识别结果：

# asr_server.py from flask import Flask, request, jsonify import os import soundfile as sf from wenet.utils.file_utils import read_symbol_table from wenet.bin.asr_infer import AsrInfer app = Flask(__name__) # 初始化 ASR 模型 model_dir = "./wenetspeech_model" am_model_path = os.path.join(model_dir, 'final.pt') cmvn_file = os.path.join(model_dir, 'global_cmvn') dict_file = os.path.join(model_dir, 'units.txt') infer_engine = AsrInfer( model_dir=model_dir, am_model_path=am_model_path, cmvn_file=cmvn_file, dict_file=dict_file, beam_size=5 ) @app.route('/asr', methods=['POST']) def transcribe(): if 'audio' not in request.files: return jsonify({'error': 'No audio file provided'}), 400 file = request.files['audio'] audio_path = "/tmp/temp.wav" file.save(audio_path) # 读取音频 wav, sample_rate = sf.read(audio_path) # 执行识别 try: result = infer_engine(wav) return jsonify({'text': result}) except Exception as e: return jsonify({'error': str(e)}), 500 if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)

启动 ASR 服务：

python asr_server.py

测试接口：

curl -X POST http://localhost:5000/asr \ -F 'audio=@test.wav'

3.3 构建语音对话主控服务

接下来，我们将编写主控服务，串联 ASR 和 LLM 模块。

创建voice_chat.py：

# voice_chat.py import requests import json from flask import Flask, request, jsonify import base64 app = Flask(__name__) # 外部服务地址 ASR_URL = "http://localhost:5000/asr" LLM_URL = "http://localhost:8080/chat" @app.route('/voice_chat', methods=['POST']) def voice_chat(): if 'audio' not in request.files: return jsonify({'error': 'No audio input'}), 400 # Step 1: 调用 ASR 获取文本 files = {'audio': request.files['audio']} asr_response = requests.post(ASR_URL, files=files) if asr_response.status_code != 200: return jsonify({'error': 'ASR failed'}), 500 asr_result = asr_response.json() user_text = asr_result.get('text', '') if not user_text.strip(): return jsonify({'reply': '未识别出有效语音内容，请重试。'}) # Step 2: 调用 LLM 生成回复 llm_payload = {"prompt": user_text} llm_headers = {"Content-Type": "application/json"} llm_response = requests.post(LLM_URL, data=json.dumps(llm_payload), headers=llm_headers) if llm_response.status_code != 200: return jsonify({'error': 'LLM service error'}), 500 llm_result = llm_response.json() bot_reply = llm_result.get('response', '抱歉，我无法回答这个问题。') # 返回结构化响应 return jsonify({ 'input_text': user_text, 'reply_text': bot_reply }) if __name__ == '__main__': app.run(host='0.0.0.0', port=9000)

启动主控服务：

python voice_chat.py

此时系统结构如下：

[客户端] ↓ (上传音频) [voice_chat.py:9000] ↓ (提取音频 → 发送至ASR) [asr_server.py:5000] ↓ (返回识别文本) [voice_chat.py] → 调用 LLM → 返回最终回复

3.4 前端简易测试页面（可选）

创建index.html实现简单语音对话界面：

<!DOCTYPE html> <html> <head> <title>Youtu-2B 语音对话系统</title> </head> <body> <h2>语音对话测试</h2> <button onclick="startRecording()">开始录音</button> <button onclick="stopRecording()">结束并发送</button> <div id="output"></div> <script> let mediaRecorder; let audioChunks = []; async function startRecording() { const stream = await navigator.mediaDevices.getUserMedia({ audio: true }); mediaRecorder = new MediaRecorder(stream); audioChunks = []; mediaRecorder.ondataavailable = event => { audioChunks.push(event.data); }; mediaRecorder.start(); document.getElementById("output").innerHTML = "正在录音..."; } async function stopRecording() { mediaRecorder.stop(); mediaRecorder.stream.getTracks().forEach(track => track.stop()); setTimeout(async () => { const audioBlob = new Blob(audioChunks, { type: 'audio/wav' }); const formData = new FormData(); formData.append('audio', audioBlob, 'record.wav'); const res = await fetch('http://localhost:9000/voice_chat', { method: 'POST', body: formData }); const data = await res.json(); document.getElementById("output").innerHTML = ` <p><strong>你说：</strong>${data.input_text}</p> <p><strong>AI回复：</strong>${data.reply_text}</p> `; }, 500); } </script> </body> </html>

放置在静态目录下并通过Flask提供访问即可完成端到端测试。

4. 性能优化与常见问题

4.1 显存与延迟优化建议

• LLM服务优化：
• 使用--quantize参数启用模型量化（如 INT4），显著降低显存占用。

• 设置合理的max_length和temperature参数控制生成长度与随机性。

• ASR性能提升：

• 对长语音采用分段识别策略，避免内存溢出。

• 使用.safetensors格式加载模型加快初始化速度。

• 服务并发处理：

• 使用 Gunicorn + gevent 部署 Flask 应用，提高多请求处理能力。
• 添加 Redis 缓存机制，缓存高频问答对以减少重复推理。

4.2 常见问题与解决方案

5. 总结

5.1 核心收获回顾

本文详细介绍了如何基于Youtu-LLM-2B镜像构建一个完整的语音对话系统，涵盖以下关键技术点：

1. 服务调用：掌握了 Youtu-2B 提供的标准 API 接口使用方法；
2. ASR集成：成功接入 WeNet 实现高质量中文语音识别；
3. 流程编排：通过主控服务串联 ASR 与 LLM，形成语音对话闭环；
4. 前端验证：搭建简易 Web 页面完成端到端功能测试；
5. 工程优化：提出了显存、延迟、稳定性等方面的改进方向。

该方案特别适用于需要在低算力设备上运行智能语音助手的场景，例如嵌入式终端、教育机器人、本地客服系统等。

5.2 下一步实践建议

• 集成TTS模块：使用 VITS 或 PaddleSpeech 实现语音输出，完成全双工语音交互。
• 增加对话记忆：引入conversation history机制，使 AI 记住上下文。
• 安全过滤机制：添加敏感词检测与内容审核模块，保障输出合规。
• 打包为Docker组合服务：使用 Docker Compose 统一管理多个容器，提升部署效率。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。