AI数字人| Fay开源项目、UE5数字人、本地大模型

数字人实践教程

本教程主要是讲如何在本地UE部署Fay数字人的开源框架。

最终效果可以与人进行自然语言的对话,花了大概10个h的时间到,踩了很多坑,同样想实现的朋友可以作为参考
参考文档:Fay 数字人开源框架 - 飞书云文档
官方的教程已经讲的相对详细了,我在官方教程的基础上补充几点。

在这里插入图片描述

主流程

一、环境安装

1、下载安装 python 3.12

访问: https://www.python.org/downloads/release

2、安装 python 3.12

这里必须是python3.12,我试过python3.13会遇见很多错误,如果你有能力解决就当我没说~~

3、下载 Visual Studio 2019 Installer(windows)

下载地址:https://learn.microsoft.com/zh-cn/visualstudio/releases/2019/release-notes

在这里插入图片描述

4、Visual Studio 2019 安装(windows)

在这里插入图片描述

二、工程下载

1、工程下载

在这里插入图片描述

2、解压到当前目录

在这里插入图片描述

3、安装运行依赖库

在安装依赖库之前需要把仓库中的gevent改成23.9.1或23.10.1,不然会出现依赖报错。(截止今天25.3.7)版本

在这里插入图片描述

选中导行栏输入“cmd”回车,在命令提示符窗口输入”pip install -r requirements.txt”回车,等待安装完成

在这里插入图片描述

4、 安装启动funasr

1、进入Fay/asr/funasr代码目录

在这里插入图片描述

2、安装依赖

在终端或cmd中分别执行以下命令
pip install torch
pip install modelscope
pip install testresources
pip install websockets
pip install torchaudio
pip install FunASR

3、终端或cmd启动funasr服务端(保持启动)

python -u ASR_server.py --host "0.0.0.0" --port 10197 --ngpu 0 

在这里插入图片描述

三、控制器运行

在启动Fay之前需要配置一些东西:

1. 阿里元的服务秘钥

选择开通并购买,前3个月免费智能语音交互_语音识别系统_自然语言处理-阿里云

在这里插入图片描述

在这里插入图片描述

选择试用立即开通

点击全部项目

在这里插入图片描述

在这里插入图片描述

复制项目功能配置后面的appKey很重要,之后要填入配置文件。

在这里插入图片描述

然后点击后面的在这里插入图片描述

点击我以及知晓,然后使用云账号

在这里插入图片描述

接下来创建key,通过手机号验证

在这里插入图片描述

让后就是复制AccessKeyID以及AccessKey Secret里面的字符串。

在这里插入图片描述

找到项目中的system.conf文件,然后填入刚刚我们申请的ID,Key和secret。

在这里插入图片描述

2.本地大模型下载

打开ollama官网:Ollama Search,先傻瓜式安装软件。

然后选择模型

在这里插入图片描述

在这里插入图片描述

在本地启动命令行,并在命令行输入命令

ollama run deepseek-r1:1.5b

在这里插入图片描述

3.启动Fay

1)、进入Fay根代码目录

在这里插入图片描述

2)、运行命令

在终端或者cmd运行命令并回车
python main.py

在这里插入图片描述

3)、访问管理

浏览器访问 http://127.0.0.1:5000

在这里插入图片描述

四、接入虚幻

写到这没啥时间了,把上面完成之后基本打开虚幻运行就可以了。下次有时间在把虚幻的补上~~

虚幻就主要是插件不好找以及插件收费的问题了。

github源码仓库:https://github.com/xszyou/Fay
UE5工程请git仓库里面找,里面有他们的百度网盘链接。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/897299.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网络版汉译英服务(muduo)

文章目录 网络版汉译英服务(muduo)muduo库muduo 库是什么muduo 库常见接口介绍muduo::net::EventLoopmuduo::net::TcpConnectionmuduo::net::TcpServermuduo::net::TcpClientmuduo::net::Buffer 汉译英服务服务端客户端 网络版汉译英服务(mud…

在ArcMap中通过Python编写自定义工具(Python Toolbox)实现点转线工具

文章目录 一、需求二、实现过程2.1、创建Python工具箱(.pyt)2.2、使用catalog测试代码2.3、在ArcMap中使用工具 三、测试 一、需求 通过插件的形式将点转线功能嵌入ArcMap界面,如何从零开始创建一个插件,包括按钮的添加、工具的实…

C++之序列容器(vector,list,dueqe)

1.大体对比 在软件开发的漫长历程中,数据结构与算法始终占据着核心地位,犹如大厦的基石,稳固支撑着整个程序的运行。在众多编程语言中,数据的存储与管理方式各有千秋,而 C 凭借其丰富且强大的工具集脱颖而出&#xff…

【学习笔记】【DeepSeek AI 医生】2-2 AI家庭医生课程内容介绍

【DeepSeek AI 医生】2-4 项目详细分析及DeepSeek适用场景 一、Ollama部署二、可视化UI三、构建项目环境四、搭建项目架构五、Spring Al六、SSE服务端推送事件七、数据持久化八、线上部署 一、Ollama部署 Mac部署windows 部署ollama脚本、常用命令DeepSeek 提示词、角色、适用…

STM32 I2C驱动开发全解析:从理论到实战 | 零基础入门STM32第五十步

主题内容教学目的/扩展视频I2C总线电路原理,跳线设置,I2C协议分析。驱动程序与调用。熟悉I2C总线协议,熟练调用。 师从洋桃电子,杜洋老师 📑文章目录 引言一、I2C驱动分层架构二、I2C总线驱动代码精析2.1 初始化配置&a…

Vercel Serverless

1. 引言 现代应用程序是为适应当前技术环境需求而设计的软件,采用现代开发工具和实践,针对云部署和可扩展性优化。它们由多个模块化小组件组成,便于集成和缩放,具有高度的敏捷性和适应性,能快速响应用户或业务需求变化…

国产操作系统之系统分区及分区的作用

国产操作系统之系统分区及分区的作用和挂载 Linux的系统分区跟Windows有着本质区别,在windows中大家知道c盘一般为系统盘,除c盘系统盘外,我们再分为D、E等文件存储盘,而在Linux中虽然是以文件目录著称的系统,但思路也一样的,比如针对系统分区中 /home、/var 和 /opt 等文…

字节码是由什么组成的?

Java字节码是Java程序编译后的中间产物,它是一种二进制格式的代码,可以在Java虚拟机(JVM)上运行。理解字节码的组成有助于我们更好地理解Java程序的运行机制。 1. Java字节码是什么? 定义 Java字节码是Java源代码经过…

微前端框架 Qiankun 的应用及问题分析

一、Qiankun 的核心应用场景与优势 多技术栈共存与灵活集成 Qiankun 支持主应用与子应用使用不同技术栈(如 Vue、React、Angular 等),通过 HTML Entry 方式接入子应用,无需深度改造子应用即可实现集成,降低了技术迁移成…

function uuid_generate_v4()不存在(二)

说明:之前代码里用到了postgresql内嵌函数uid_generate_v4()生成记录的主键,提示该函数不存在,写了下面这篇博客记录了一下,今天又发现了新的问题,于是补充了这篇博客。 function uuid_generate_v4()不存在&#xff0…

6. 机器人实现远程遥控(具身智能机器人套件)

1. 启动控制脚本 远程作到 Raspberry Pi 中,并运行以下脚本: conda activate lerobotpython lerobot/scripts/control_robot.py \--robot.typelekiwi \--control.typeremote_robot登录笔记本电脑上,同时运行以下脚本: conda ac…

【简单的C++围棋游戏开发示例】

C围棋游戏开发简单示例&#xff08;控制台版&#xff09; ‌核心代码实现‌ #include <iostream> #include <vector> #include <queue> using namespace std;const int SIZE 9; // 简化棋盘为9x9‌:ml-citation{ref"1" data"citationList&…

RK3568平台(音频篇)audio_policy_volumes_drc.xml解析

audio_policy_volumes_drc.xml 是 Android 系统中用于配置音频策略和音量的 XML 文件。它定义了音频流的音量曲线、动态范围控制(DRC)参数以及音频设备的音量设置。该文件通常位于 /vendor/etc/ 或 /system/etc/ 目录下,是 Android 音频框架的重要组成部分。 以下是对 audi…

如何下载安装 PyCharm?

李升伟 整理 一、下载 PyCharm 访问官网 打开 PyCharm 官网&#xff0c;点击 "Download" 按钮25。 版本选择&#xff1a; 社区版&#xff08;Community&#xff09;&#xff1a;免费使用&#xff0c;适合个人学习和基础开发。 专业版&#xff08;Professional&#…

leetcode day27 455+376

455 分发饼干 假设你是一位很棒的家长&#xff0c;想要给你的孩子们一些小饼干。但是&#xff0c;每个孩子最多只能给一块饼干。 对每个孩子 i&#xff0c;都有一个胃口值 g[i]&#xff0c;这是能让孩子们满足胃口的饼干的最小尺寸&#xff1b;并且每块饼干 j&#xff0c;都有…

HPC超算系列2——新手指南1

一&#xff0c;平台简介&#xff1a; 主要是官方手册指南、B站视频&#xff08;培训视频、软件视频&#xff09; 1&#xff0c;超算平台架构&#xff1a; 和普通的家用电脑的架构不同&#xff0c; 主要区别在于&#xff1a;层次化的结构 &#xff08;1&#xff09;超算是有…

K8S单机部署

主线 :部署简单的单节点k8s - sowler - 博客园 学习网址&#xff1a;为什么我不能获取到镜像&#xff0c;ImagePullBackoff | Kuboard docker镜像源&#xff1a;https://chuxia.blog.csdn.net/article/details/145090710?spm1001.2101.3001.6650.3&utm_mediumdistribute…

web3区块链

Web3 是指下一代互联网&#xff0c;也被称为“去中心化互联网”或“区块链互联网”。它是基于区块链技术构建的&#xff0c;旨在创建一个更加开放、透明和用户主导的网络生态系统。以下是关于 Web3 的一些关键点&#xff1a; ### 1. **核心概念** - **去中心化**&#xff1…

SQL Server核心知识总结

SQL Server核心知识总结 &#x1f3af; 本文总结了SQL Server核心知识点,每个主题都提供实际可运行的示例代码。 一、SQL Server基础精要 1. 数据库核心操作 -- 1. 创建数据库&#xff08;核心配置&#xff09; CREATE DATABASE 学生管理系统 ON PRIMARY (NAME 学生管理系统…

android 支持自定义布局、线程安全、避免内存泄漏的 Toast 工具类

支持自定义布局&#xff1a;可以灵活地显示自定义样式的 Toast。 线程安全&#xff1a;确保在主线程中显示 Toast&#xff0c;避免崩溃。 避免内存泄漏&#xff1a;使用 ApplicationContext 和取消机制&#xff0c;防止内存泄漏问题。 工具类&#xff1a;作为一个通用的工具…