Live Avatar数字人模型部署教程：ulysses_size参数详解
1. Live Avatar阿里联合高校开源的数字人模型
Live Avatar是由阿里巴巴与多所高校联合推出的开源数字人生成模型，基于14B参数规模的DiT（Diffusion Transformer）架构，支持从文本、图像和音频输入生成高质量、高保真的动态人物视频。该模型具备表情自然、口型同步精准、动作流畅等特点，适用于虚拟主播、AI客服、内容创作等多个场景。
由于模型体量庞大，对硬件资源要求较高。目前官方镜像需要单张80GB显存的GPU才能顺利运行。测试表明，即便使用5张NVIDIA 4090（每张24GB显存），在FSDP（Fully Sharded Data Parallel）模式下仍无法完成实时推理任务。根本原因在于FSDP在推理阶段需要将分片参数“unshard”重组到单卡上，导致瞬时显存需求超过可用容量。
例如：
- 模型加载时每GPU显存占用为21.48 GB
- 推理过程中额外需要4.17 GB用于参数重组
- 总需求达25.65 GB，超出24GB显卡的实际可用空间（约22.15 GB）
因此，在当前版本中，若想稳定运行完整配置，建议采用以下方案之一：
- 接受现实：24GB显卡不支持此配置下的全功能运行
- 使用单GPU + CPU offload：虽可运行但速度极慢
- 等待官方后续优化：预计会推出针对24GB级显卡的轻量化或分步推理方案
2. 快速开始部署流程
前提条件
确保已完成以下准备工作：
- 安装CUDA 12.x及对应驱动
- 配置PyTorch 2.4+环境
- 克隆项目仓库并安装依赖
- 下载模型权重至
ckpt/目录
选择合适的运行模式
根据你的GPU数量和显存大小，选择对应的启动脚本：
| 硬件配置 | 推荐模式 | 启动命令 |
|---|---|---|
| 4×24GB GPU | 4 GPU TPP | ./run_4gpu_tpp.sh |
| 5×80GB GPU | 5 GPU TPP | bash infinite_inference_multi_gpu.sh |
| 单张80GB GPU | 单GPU模式 | bash infinite_inference_single_gpu.sh |
启动CLI推理
以4 GPU为例，执行默认推理任务：
./run_4gpu_tpp.sh该脚本内部调用主程序，并设置了一系列关键参数。你可以直接编辑脚本来修改输入内容和生成选项。
启动Gradio Web界面
如需图形化操作，可运行Web UI版本：
./run_4gpu_gradio.sh服务启动后，打开浏览器访问http://localhost:7860即可上传素材、调整参数并实时预览结果。
3. 运行模式详解
3.1 CLI 推理模式
CLI模式适合批量处理、自动化脚本集成以及高级用户自定义控制。
特点：
- 支持完整的参数定制
- 易于集成进CI/CD流程
- 可记录日志便于调试
常用参数示例：
python infer.py \ --prompt "A cheerful dwarf in a forge, laughing heartily, warm lighting" \ --image "examples/dwarven_blacksmith.jpg" \ --audio "examples/dwarven_blacksmith.wav" \ --size "704*384" \ --num_clip 50 \ --sample_steps 4你可以在run_4gpu_tpp.sh等脚本中修改这些参数以适应不同需求。
3.2 Gradio Web UI 模式
Web界面更适合新手快速上手和交互式体验。
使用步骤：
- 执行
./run_4gpu_gradio.sh启动服务 - 浏览器访问
http://localhost:7860 - 上传参考图（JPG/PNG）和语音文件（WAV/MP3）
- 输入描述性提示词
- 调整分辨率、片段数、采样步数等参数
- 点击“生成”按钮等待输出
- 下载生成的视频文件
界面直观易用，无需命令行知识即可完成基本操作。
4. 核心参数说明
4.1 输入类参数
--prompt：文本提示词
用于描述人物特征、动作、场景氛围和视觉风格。建议包含：
- 外貌细节（发型、服装、年龄）
- 动作状态（说话、微笑、挥手）
- 场景设定（办公室、森林、夜晚）
- 光照与艺术风格（电影感、卡通、写实）
示例：
"A young woman with long black hair, wearing a red dress, standing by the window in soft sunlight, cinematic style"--image：参考图像路径
提供人物外观依据，应为正面清晰人像，推荐512×512以上分辨率，避免侧脸或遮挡。
--audio：驱动音频文件
用于同步口型和表情，支持WAV/MP3格式，采样率建议16kHz以上，语音清晰无杂音。
4.2 生成控制参数
--size：视频分辨率
格式为“宽*高”，注意是星号*而非字母x。常见组合包括：
704*384：推荐平衡分辨率384*256：低显存友好720*400：高画质输出480*832：竖屏适配手机
分辨率越高，显存消耗越大。
--num_clip：生成片段数量
每个片段默认48帧，总时长计算公式：
总秒数 = num_clip × 48 ÷ 16 (fps)例如100个片段 ≈ 300秒（5分钟）视频。
--infer_frames：每段帧数
默认48帧，增加可提升动作连贯性，但也会提高显存压力。
--sample_steps：扩散采样步数
默认值为4（DMD蒸馏模型）。数值越大理论上质量越高，但速度下降：
- 3步：速度快，适合预览
- 4步：默认平衡点
- 5~6步：高质量输出
--sample_guide_scale：引导强度
控制提示词遵循程度，默认为0（无分类器引导）。范围0~10：
- 0：最自然，响应快
- 5~7：较强语义控制
8：可能画面过饱和
一般保持默认即可。
4.3 模型结构相关参数
--load_lora与--lora_path_dmd
启用LoRA微调模块，路径指向HuggingFace仓库或本地文件夹。LiveAvatar通过LoRA优化了面部细节表现力。
--ckpt_dir
指定基础模型存放目录，默认为ckpt/Wan2.2-S2V-14B/，包含DiT、T5文本编码器、VAE解码器等组件。
4.4 硬件调度参数
--num_gpus_dit
指定用于运行DiT主干网络的GPU数量：
- 4 GPU系统：设为3
- 5 GPU系统：设为4
- 单GPU系统：设为1
其余GPU通常分配给T5和VAE模块。
--ulysses_size：序列并行分片数
这是本文重点解析的参数。
作用原理： Ulysses是一种序列维度上的张量并行策略。它将注意力机制中的QKV矩阵沿序列长度方向切分，多个GPU协同完成Attention计算，从而降低单卡内存负担。
配置规则：--ulysses_size必须等于--num_gpus_dit。例如：
- 若
--num_gpus_dit=3，则--ulysses_size=3 - 若
--num_gpus_dit=4，则--ulysses_size=4
为什么必须匹配？因为Ulysses并行依赖NCCL通信进行All-to-All交换，所有参与GPU构成一个通信组。若数量不一致，会导致进程阻塞或张量形状错误。
性能影响：
- 设置正确时：显著减少单卡显存占用，提升大模型可扩展性
- 设置错误时：出现
RuntimeError: invalid tensor size或NCCL死锁
重要提示：不要随意更改此参数！必须与实际使用的DiT GPU数量严格一致。
--enable_vae_parallel
是否启用VAE独立并行。多GPU环境下建议开启，单GPU时关闭。
--offload_model
是否将部分模型卸载至CPU。多GPU模式设为False；单GPU且显存不足时可设为True，但会大幅降低速度。
5. 典型使用场景配置
5.1 快速预览（低资源）
目标：快速验证效果
适用：开发调试、参数调优
--size "384*256" --num_clip 10 --sample_steps 3预期：
- 视频长度：约30秒
- 处理时间：2~3分钟
- 显存占用：12~15GB/GPU
5.2 标准质量输出
目标：日常使用级视频
适用：短视频制作、演示素材
--size "688*368" --num_clip 100 --sample_steps 4预期：
- 视频长度：约5分钟
- 处理时间：15~20分钟
- 显存占用：18~20GB/GPU
5.3 长视频生成
目标：超长内容输出
适用：直播回放、课程录制
--size "688*368" --num_clip 1000 --sample_steps 4 --enable_online_decode注意事项：
- 启用
--enable_online_decode防止中间缓存堆积导致OOM - 建议分批生成并拼接
- 预计耗时2~3小时
5.4 高分辨率输出
目标：极致画质
适用：影视级内容、广告宣传
--size "704*384" --num_clip 50 --sample_steps 4要求：
- 至少5×80GB GPU
- 更长等待时间
- 显存峰值达20~22GB/GPU
6. 常见问题排查
6.1 CUDA Out of Memory
现象：
torch.OutOfMemoryError: CUDA out of memory解决方法：
- 降低分辨率：
--size "384*256" - 减少帧数：
--infer_frames 32 - 减少采样步数：
--sample_steps 3 - 启用在线解码：
--enable_online_decode - 实时监控：
watch -n 1 nvidia-smi
6.2 NCCL 初始化失败
现象：
NCCL error: unhandled system error解决方案：
export NCCL_P2P_DISABLE=1 export NCCL_DEBUG=INFO lsof -i :29103检查端口占用和GPU可见性。
6.3 进程卡住无响应
检查项：
python -c "import torch; print(torch.cuda.device_count())" export TORCH_NCCL_HEARTBEAT_TIMEOUT_SEC=86400 pkill -9 python重启前确认所有Python进程已终止。
6.4 生成质量差
优化方向：
- 提升输入图像质量
- 使用更清晰的音频
- 优化提示词描述
- 尝试
--sample_steps 5 - 检查模型文件完整性
6.5 Gradio无法访问
排查命令：
ps aux | grep gradio lsof -i :7860 sudo ufw allow 7860也可尝试更换端口：--server_port 7861
7. 性能优化建议
7.1 加速生成
--sample_steps 3：提速25%--size "384*256"：提速50%--sample_guide_scale 0：保持默认最快- 使用Euler求解器：默认即启用
7.2 提升质量
--sample_steps 5~6：增强细节--size "704*384"：更高清输出- 编写详细提示词
- 使用高质量输入素材
7.3 显存管理
- 启用
--enable_online_decode：缓解长视频显存累积 - 分批生成：
--num_clip 100多次运行 - 监控工具：
watch -n 1 nvidia-smi nvidia-smi --query-gpu=memory.used --format=csv -l 1 > log.csv
7.4 批量处理脚本示例
#!/bin/bash for audio in audio_files/*.wav; do name=$(basename "$audio" .wav) sed -i "s|--audio.*|--audio \"$audio\" \\\\|" run_4gpu_tpp.sh ./run_4gpu_tpp.sh mv output.mp4 "outputs/${name}.mp4" done8. 最佳实践总结
8.1 提示词编写技巧
推荐写法：
A young woman with long black hair and brown eyes, wearing a blue business suit, standing in a modern office. She is smiling warmly and gesturing while speaking. Professional lighting, shallow depth of field, cinematic style.❌ 避免：
- 过于简略："a person talking"
- 冗长复杂：超过200词
- 自相矛盾："happy but crying"
8.2 素材准备标准
图像：
- 正面、清晰、中性表情
- ❌ 侧面、模糊、强阴影
音频：
- 16kHz+、清晰语音、适中音量
- ❌ 低采样率、背景噪音、断续录音
8.3 工作流建议
- 准备：收集素材 + 编写提示词
- 测试：低分辨率快速验证
- 生产：正式参数生成成品
- 归档：保存配置与输出
9. 获取帮助与资源
官方链接
- GitHub仓库：https://github.com/Alibaba-Quark/LiveAvatar
- 论文地址：https://arxiv.org/abs/2512.04677
- 项目主页：https://liveavatar.github.io/
社区支持
- 提交Issue获取技术支持
- 参与Discussions交流经验
- 查阅本地文档：
README.md,4GPU_CONFIG.md,CLAUDE.md
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
