阿里Qwen3-TTS是开源语音合成模型，具备三大核心功能：3秒音色克隆、自然语言音色设计和预设音色。模型支持10种语言，首包延迟仅97ms，适合实时对话。提供多种部署方式，包括在线Demo、本地部署、vLLM和ComfyUI集成。有1.7B和0.6B参数版本，适应不同显存需求。技术亮点包括自研语音表征系统和双轨道架构，确保高质量合成和高效生成。

Qwen 团队又搞了个大动作——Qwen3-TTS 开源了。

这货不是普通的语音合成模型，而是一个能让 AI「开口说人话」的全能选手。3 秒音频就能克隆任意声音，用自然语言就能设计全新音色，首包延迟只有97ms。

一句话总结：音色克隆 + 音色设计 + 流式生成 + 10 种语言，开源 TTS 领域的全家桶来了。

下图展示了 Qwen3-TTS 的核心能力和技术亮点：

核心能力：三大玩法

Qwen3-TTS 提供三种模式，覆盖了绝大多数语音生成场景：

1. 音色克隆（Voice Clone）

给模型一段 3 秒左右的参考音频，它就能学会这个声音的特征，然后用这个声音说任何内容。

代码长这样：

import torchimport soundfile as sffrom qwen_tts import Qwen3TTSModelmodel = Qwen3TTSModel.from_pretrained( "Qwen/Qwen3-TTS-12Hz-1.7B-Base", device_map="cuda:0", dtype=torch.bfloat16, attn_implementation="flash_attention_2",)ref_audio = "你的参考音频.wav"ref_text = "参考音频对应的文本内容"wavs, sr = model.generate_voice_clone( text="你想让 AI 说的话", language="Chinese", ref_audio=ref_audio, ref_text=ref_text,)sf.write("output.wav", wavs[0], sr)

参考音频可以是本地文件、URL、base64 字符串，甚至是 numpy 数组，很灵活。

2. 音色设计（Voice Design）

这是我最感兴趣的功能。不需要任何参考音频，用自然语言描述你想要的声音风格，模型就能「创造」出来：

model = Qwen3TTSModel.from_pretrained( "Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign", device_map="cuda:0", dtype=torch.bfloat16, attn_implementation="flash_attention_2",)wavs, sr = model.generate_voice_design( text="哥哥，你回来啦，人家等了你好久好久了，要抱抱！", language="Chinese", instruct="体现撒娇稚嫩的萝莉女声，音调偏高且起伏明显，营造出黏人、做作又刻意卖萌的听觉效果。",)sf.write("output.wav", wavs[0], sr)

instruct 参数支持的描述非常丰富：

• 「用海盗那种粗犷的嗓音说话」
• 「用特别愤怒的语气说」
• 「17岁男性，男高音，说话时有点紧张」

说白了，你脑子里想象什么声音，用文字描述出来，模型就帮你生成。这打破了传统 TTS 只能选预设音色的限制。

如何写出高质量的音色描述？

官方 API 文档给出了详细指南。好的音色描述要遵循五个原则：

1. 具体，不含糊：用「低沉」「清脆」「语速快」等明确描述，避免「好听」「普通」这种主观词
2. 多维度，不单一：结合性别、年龄、情感等多个维度，单说「女声」太宽泛了
3. 客观，不主观：描述声音本身的特征，不要说「我最喜欢的声音」
4. 原创，不模仿：描述音色特征，不要要求模仿某某明星（版权风险）
5. 简洁，不冗余：每个词都要有意义，不要「非常非常好听的女声」

官方推荐的描述维度：

正反示例对比：

✅ 推荐：「年轻活泼的女声，语速快，音调明显上扬，适合介绍时尚产品」

• 分析：结合了年龄、性格、语速、音调和使用场景

❌ 不推荐：「好听的声音」

• 问题：太模糊，缺少可操作的特征
• 改进：加上具体维度，比如「音色清亮的年轻女声，音调温柔」

✅ 推荐：「沉稳的中年男声，语速慢，音调低沉磁性，适合新闻播报或纪录片旁白」

• 分析：明确了性别、年龄段、语速、音色特质和应用领域

❌ 不推荐：「像某某明星的声音」

• 问题：版权风险，模型不支持直接模仿
• 改进：描述声音特征，比如「成熟磁性的男声，语调稳重」

3. 预设音色（Custom Voice）

不想折腾的同学，官方提供了多个高质量预设音色，开箱即用：

支持10 种语言：中文、英语、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语、意大利语。

技术亮点

从技术报告里挖出几个重点：

Qwen3-TTS架构概览

1. 自研的语音表征系统

Qwen3-TTS 实际上有两个 tokenizer：

目前开源的模型使用12Hz tokenizer，首包延迟只有 97ms。关键是它完整保留了副语言信息和声学环境特征，这是很多开源 TTS 做不到的。

2. 双轨道架构的妙处

采用离散多码本语言模型架构，完全绕开了传统 LM+DiT 方案的信息瓶颈和级联误差。翻译成人话就是：合成质量更高，生成效率更快。

3. 双轨道混合流式生成

单模型同时支持流式和非流式生成。首包延迟97ms，这意味着在对话场景里，AI 几乎能做到实时响应。

性能对比

官方给的 benchmark 数据：

延迟对比（越低越好）：

首字延迟 97ms，综合延迟 1.5 秒，目前开源方案里最快的那一档。

训练数据量：500 万小时语音数据，覆盖 10 种语言。这个数据量级，决定了它的基础能力下限够高。

快速上手

方式一：在线 Demo（零门槛）

打开 Hugging Face Demo，上传一段录音，输入想说的文字，点击生成——几秒钟后就能听到效果。

国内用户也可以用 ModelScope Demo，速度更快。

方式二：本地部署

# 创建环境conda create -n qwen3-tts python=3.12 -yconda activate qwen3-tts# 安装pip install -U qwen-tts# 可选：安装 FlashAttention 2 减少显存占用pip install -U flash-attn --no-build-isolation

启动本地 Web UI：

# 预设音色qwen-tts-demo Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice --ip 0.0.0.0 --port 8000# 音色设计qwen-tts-demo Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign --ip 0.0.0.0 --port 8000# 音色克隆qwen-tts-demo Qwen/Qwen3-TTS-12Hz-1.7B-Base --ip 0.0.0.0 --port 8000

访问http://localhost:8000即可使用。

方式三：vLLM 部署

vLLM 官方第一时间宣布 day-0 支持 Qwen3-TTS——语音克隆、语音设计、自然语言控制情感与语调，全部原生适配。

vLLM-Omni 已经支持：

git clone https://github.com/vllm-project/vllm-omni.gitcd vllm-omni/examples/offline_inference/qwen3_tts# 预设音色python end2end.py --query-type CustomVoice# 音色设计python end2end.py --query-type VoiceDesign# 音色克隆python end2end.py --query-type Base --mode-tag icl

目前只支持离线推理，在线服务还在开发中。

方式四：ComfyUI 集成（玩可视化工作流的福音）

对于 ComfyUI 用户来说，有个好消息——现在可以用拖拽节点的方式玩 Qwen3-TTS 了。

有开发者做了一个 ComfyUI-Qwen-TTS 插件，把 Qwen3-TTS 的三大功能全部封装成节点：

ComfyUI节点示例

为什么推荐这个方案？

• 可视化流程：不用写代码，拖拽节点就能搭建语音生成工作流
• 无需单独安装：不用pip install qwen-tts，插件自带了所有依赖
• 兼容性好：专门处理了 transformers 版本冲突问题（官方包要求 4.57.3，可能和其他节点冲突）
• Apple Silicon 支持：Mac M 系列芯片用 MPS 加速，不需要 CUDA

三个核心节点：

安装方式：

cd ComfyUI/custom_nodesgit clone https://github.com/flybirdxx/ComfyUI-Qwen-TTS.gitcd ComfyUI-Qwen-TTSpip install torch torchaudio transformers librosa accelerate

然后重启 ComfyUI，在节点菜单里就能找到 Qwen3-TTS 系列节点了。

使用技巧：

1. 声音克隆节点：参考音频建议 5-15 秒，太短效果不稳定，太长也没必要
2. 显存优化：用 bf16 精度可以省一半显存，效果基本不掉
3. 本地模型：提前把权重下载到ComfyUI/models/qwen-tts/，可以避免 HuggingFace 连接超时

典型工作流示例：

如果你在做视频配音，可以这样组合：

文本节点 → Qwen3-TTS声音设计 → 音频输出 → Qwen3-TTS预设声音 → 音频输出 → Qwen3-TTS声音克隆 → 音频输出

一次性生成多个角色的声音，然后在视频剪辑软件里直接用。

模型选择指南

显卡不够的同学，0.6B 系列是个不错的选择，效果略有损失但可接受。

进阶玩法：先设计后克隆

一个实用的工作流：

1. 用 VoiceDesign 模型合成一段符合目标角色的参考音频
2. 用这段音频创建可复用的克隆 prompt
3. 后续生成时直接复用，不需要每次重新提取特征

# 先用 VoiceDesign 创建参考音频design_model = Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign", ...)ref_instruct = "17岁男性，男高音，说话时会有点紧张"ref_wavs, sr = design_model.generate_voice_design(text="参考文本", instruct=ref_instruct)# 再用 Base 模型创建可复用的克隆 promptclone_model = Qwen3TTSModel.from_pretrained("Qwen/Qwen3-TTS-12Hz-1.7B-Base", ...)voice_clone_prompt = clone_model.create_voice_clone_prompt(ref_audio=(ref_wavs[0], sr), ...)# 后续可以反复使用wavs, sr = clone_model.generate_voice_clone(text="新台词", voice_clone_prompt=voice_clone_prompt)

这个玩法适合小说朗读、游戏配音等需要保持角色一致性的场景。

总结

Qwen3-TTS 是目前开源 TTS 领域最完整的方案：

• 3 秒音色克隆，效果自然
• 自然语言控制音色，想象力 = 生产力
• 97ms 首包延迟，适合实时对话
• 10 种语言支持，覆盖面广
• vLLM day-0 支持，部署友好
• 官方提供微调指南

AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓