HeartMuLa是一个开源的本地离线AI音乐生成器，包含音乐语言模型、编解码器、歌词转录模型和音频-文本对齐模型。支持多语言输入歌词和标签生成完整音乐，无需依赖云端，不限使用次数。文章提供了详细的环境准备、本地部署、命令行和ComfyUI可视化生成教程，适合创作者和研究者进行二次开发。

你将获得什么？

• 一个真正开源、可本地离线运行的AI音乐生成器
• 不依赖云端、不限次数、不怕封号
• 支持「歌词 + 标签 → 完整音乐」
• 同时提供命令行版+ComfyUI可视化版

本文严格按官方原始步骤整理，不改命令、不改顺序，照做即可跑通。

HeartMuLa是什么？

HeartMuLa是一系列开源音乐基础模型，包括：

• HeartMuLa：音乐语言模型，可根据歌词和标签生成音乐，支持多语言（英语、中文、日语、韩语、西班牙语等）
• HeartCodec：高重建保真度的12.5Hz音乐编解码器
• HeartTranscriptor：基于Whisper的歌词转录模型
• HeartCLAP：音频-文本对齐模型，用于音乐描述和跨模态检索

View on Github：https://github.com/HeartMuLa/heartlib

下图为oss-3B版本与其他基线模型的实验对比结果。

图1｜HeartMuLa-oss-3B 与现有音乐基础模型的总体性能对比[1]。

环境准备

1）Git：

https://git-scm.com/

2）Python 3.10：

https://www.python.org/downloads/release/python-3100/

3）Conda：

https://www.anaconda.com/docs/getting-started/miniconda/main

注意事项：

• 不要选最新的Python 3.13
• 建议选择3.10~3.12
• 安装完成后记得添加到系统环境变量

测试是否安装成功：

conda --version

本地部署

1）克隆仓库并安装到本地

git clone https://github.com/HeartMuLa/heartlib.git

cd heartlib

conda create -n heartmula python=3.10 # 创建虚拟环境

conda init

conda activate

conda activate heartmula# 激活并进入虚拟环境

pip install -e .

2）下载预训练模型（HuggingFace）

国内请务必开启 全局 VPN + Tun 模式，否则下载极易失败。

在 heartlib 根目录下创建ckpt文件夹，然后执行：

hf download HeartMuLa/HeartMuLaGen --local-dir ./ckpt

hf download HeartMuLa/HeartMuLa-oss-3B --local-dir ./ckpt/HeartMuLa-oss-3B

hf download HeartMuLa/HeartCodec-oss --local-dir ./ckpt/HeartCodec-oss

下载完成后，目录结构应为：

./ckpt/

├── HeartCodec-oss/

├── HeartMuLa-oss-3B/

├── gen_config.json

└── tokenizer.json

用法示例

生成音乐命令：

python ./examples/run_music_generation.py --model_path=./ckpt --version=“3B”

默认情况下，此命令将根据文件夹中提供的歌词和标签生成一段音乐./assets。输出的音乐将保存在./assets/output.mp3.

所有参数说明

–model_path（必填）：模型检查点路径

–lyrics：歌词文件路径（默认 ./assets/lyrics.txt）

–tags：标签文件路径（默认 ./assets/tags.txt）

–save_path：输出音频路径（默认 ./assets/output.mp3）

–max_audio_length_ms：最大音频长度（毫秒，默认 240000）

–topk：Top-k 采样参数（默认 50）

–temperature：采样温度（默认 1.0）

–cfg_scale：无分类器指导等级（默认 1.5）

–version：模型版本（3B / 7B，7B 尚未发布）

Windows 用户必装：triton 模块

否则在生成阶段会报错提示模块未加载。

下载地址：
https://huggingface.co/madbuda/triton-windows-builds

ComfyUI可视化生成

1）安装最新版ComfyUI：

https://www.comfy.org/zh-cn/

2）安装HeartMuLa自定义节点

进入ComfyUI/custom_nodes：

git clone https://github.com/benjiyaya/HeartMuLa_ComfyUI

cd HeartMuLa_ComfyUI

pip install -r requirements.txt

若提示缺少模块（Windows 建议管理员模式）：

pip install soundfile

pip install torchtune

pip install torchao

3）下载模型文件（ComfyUI使用）

进入 ComfyUI/models：

hf download HeartMuLa/HeartMuLaGen --local-dir ./HeartMuLa

hf download HeartMuLa/HeartMuLa-oss-3B --local-dir ./HeartMuLa/HeartMuLa-oss-3B

hf download HeartMuLa/HeartCodec-oss --local-dir ./HeartMuLa/HeartCodec-oss

hf download HeartMuLa/HeartTranscriptor-oss --local-dir ./HeartMuLa/HeartTranscriptor-oss

4）加载工作流（如果有需要可后台私我）

工作流 → 导入 ComfyUI → 填写歌词和标签即可生成AI音乐了！

总结

HeartMuLa的价值不只是“能生成音乐”，而是它真正做到了：

• 开源
• 可本地离线
• 可二次开发
• 对创作者和研究者都友好

如果你一直在找一个不受平台限制的AI音乐方案，那HeartMuLa非常值得你亲手跑一次。

AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓