9.3 万小时数据 8 节点 A100Nemotron-3-Diarization 训练内幕全解密【免费下载链接】Nemotron-3-Diarization项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Diarization说话人分离Speaker Diarization长期是语音工程里最难讲清楚的一环它不关心你说什么只关心谁、在什么时刻、开口说了话。传统方案把语音活动检测、说话人嵌入聚类、重排串成一条流水线误差层层叠加且几乎无法做到实时。NVIDIA 在 2026 年 9 月 23 日发布的开放权重模型 Nemotron-3-Diarization 直接把这条路走成了端到端单个 1 亿参数模型同时支持离线与流式推理最高跟踪 8 个说话人输入缓冲延迟最低压到 0.32 秒并在 DIHARD III、NOTSOFAR1 等基准上将说话人分离错误率DER砍掉四成以上。而支撑这一切的是约 9.3 万小时训练数据与 8 节点 A100 集群上的两阶段训练。本文基于 README.md 模型卡中公开的训练配方、数据清单与评估协议逐项拆解这 9.3 万小时是怎么凑出来的、两阶段训练为什么必要、以及这笔算力账最终如何转化为开箱即用的诚意。一张训练账单的全貌92,611 小时的构成模型卡在 Training and Evaluation Datasets 一节给出了清晰的数字约10,000 小时真实多人对话82,611 小时合成多说话人混音合计约9.26 万小时即社区俗称的9.3 万小时。这个结构本身就透露了核心设计哲学真实对话决定模型见过什么样的现实合成混音决定模型能把多说话人场景推到多极端。合成混音由 FastMSS 工具包模拟生成——把单说话人音频按 1–8 人组合混音并叠加噪声增强。值得注意的是用于合成的单说话人录音总量约 2.8 万小时而生成的混音总量却高达 8.2 万小时同一批干净素材通过不同的混音组合、说话人数量、噪声条件反复复用相当于把数据杠杆放大了三倍。这种素材少、组合多的策略大幅摊薄了真实采集成本同时保证了每个混音样本的标签谁在何时开口完全精确——这正是合成数据在 diarization 任务上最大的优势。数据配方拆解1 万小时真实对话的含金量清单真实对话部分并非简单堆量而是按语言、场景、说话人数量精心配比的。模型卡列出的来源包括数据集语言用途/切分Fisher English英语Training Part 1 2AMI Meeting Corpus英语Train Dev强制对齐标注ICSI英语全量VoxConverse v0.3多语种Dev TestAISHELL-4普通话TrainThird DIHARD Challenge多语种Dev2000 NIST SRECALLHOME Part 1多语种电话语音AliMeeting普通话Train强制对齐标注DiPCoDinner Party Corpus英语DevNOTSOFAR1英语Train Dev强制对齐标注DISPLACE 2024 / DISPLACE-M 2026英语、印地语、卡纳达语、泰卢固语、孟加拉语Dev EvalDavid AI [D2] Multispeaker英语协议授权3–4 人1,000 小时YODAS-v2多语种伪标注 5,000 小时子集这份清单覆盖了会议AMI/ICSI/AliMeeting、电话Fisher/CALLHOME、远场NOTSOFAR1/DiPCo、播客等多域场景横跨英、中、印地语等语系且包含经许可协议获得的 David AI 语料与伪标注的 YODAS-v2 子集。隐私子卡privacy.md同时确认训练使用了语音录音类个人数据均已获得同意并完成来源溯源输出仅为匿名说话人标签、不包含可还原的身份信息。合成混音侧的构成同样透明——6 个来源、合计 82,611 小时混音来源小时数LibriSpeech6,694AMI6,743AliMeeting6,745Fisher English6,755David AI English36,458David AI Multilingual19,216单个来源最大占比超过 44%David AI English其余四家LibriSpeech/AMI/AliMeeting/Fisher刻意保持约 6,700 小时的均量避免模型偏向单一音色或单一信道。真实对话与合成混音的比率约为 1:8.3——合成数据不是锦上添花而是多说话人能力的主体来源。两阶段策略先学会听清 8 人再学会实时不掉线训练配方在 README.md 的 Training 一节写得非常直白整个流程分两步跑在8 节点、每节点 8 张 NVIDIA A100-SXM4-80GB共 64 卡上离线预训练仅合成数据使用 NeMo Speech 的sortformer_diar_train.py与sortformer_offline_8spk.yaml配置。此阶段只喂合成混音模型学习的是把任意时长音频中的 1–8 个声源稳定分离的基本能力。离线模式可以用 30.4 秒的大输入缓冲编码器能看到足够长的上下文把 8 说话人分离的静态上限练满。流式微调真实 合成混合使用streaming_sortformer_diar_train.py与sortformer_streaming_8spk.yaml配置。在此阶段引入 Arrival-Order Speaker CacheAOSC与 FIFO 队列让模型学会在只看到局部音频块的前提下保持说话人身份不漂移同时混入真实对话数据把合成域的能力迁移回真实声学环境。为什么必须两阶段而不是一步到位关键在损失函数与训练目标的错位离线目标追求整段音频上的全局最优排列而流式目标要求每个 80 ms 帧都能独立、即时地给出归属判断。直接从头训流式模型优化器会在全局排列与局部即时性两个目标间反复震荡先离线收敛再流式微调则把第二个目标建立在第一个目标已解决的语义基础上。模型初始化还采用了基于 Transformer 的 NEST 自监督预训练 checkpoint相当于在进入这套两阶段流程前编码器已经具备通用的语音表征。从 64 卡算力到 0.32 秒实时AOSC 与 FIFO 的工程闭环两阶段训练落地的产物是一个 31 层 Transformer 编码器RoPE 位置编码输入 10 ms Mel 谱特征经 8 倍特征堆叠压成 80 ms 帧率输出再经 Conv1D 上采样回 10 ms 分辨率——总计1 亿参数。流式推理由两个关键数据结构支撑这在 README.md 的架构一节有精确描述AOSC到达顺序说话人缓存跨 chunk 保留已出现说话人的信息是身份持续性的长期记忆FIFO 队列为当前处理块拼接最近若干帧提供局部上下文。四个流式参数SPKCACHE_LEN、FIFO_LEN、CHUNK_LEN、RIGHT_CONTEXT配合UPDATE_PERIOD共同决定输入缓冲延迟(CHUNK_LEN RIGHT_CONTEXT) × 80 ms。模型卡给出了四档官方配置从离线到超低延迟一应俱全配置输入缓冲延迟CHUNK_LENRIGHT_CONTEXTFIFO_LENSPKCACHE_LENVery high离线30.4 s3404040264Low1.04 s94264264Very low0.64 s62264264Ultra-low0.32 s31264264注意 0.32 秒只是输入缓冲延迟不含计算耗时而 README 中给出的最低可行配置甚至可以低至 80 ms。切换配置只需要几行代码diar_model.sortformer_modules.chunk_len 3 diar_model.sortformer_modules.chunk_right_context 1 diar_model.sortformer_modules.fifo_len 264 diar_model.sortformer_modules.spkcache_update_period 222 diar_model._check_streaming_parameters()配合分块推理后音频时长上限不受限制——这也是流式模型天然具备的属性。性能证据DER 被砍掉的 40% 具体发生在哪里训练投入是否值得最终要看评估结果。模型卡以 4 说话人版本diar_streaming_sortformer_4spk-v2.1为基线在包含重叠语音、collar0 的严格协议下报告了 8 个测试集的多档延迟结果。先看最难的 DIHARD III1–9 说话人、11 域基准模型延迟DER1–4 人DER5–9 人DER全量4spk 基线30.4 s13.9840.2119.09Nemotron-3-Diarization30.4 s9.1327.5812.73Nemotron-3-Diarization0.32 s9.6929.4913.55全量 DER 从 19.09 降到 12.73降幅 33%而 5–9 人场景从 40.21 直落到 27.58。更夸张的是 NOTSOFAR15–7 说话人场景 DER 从 29.38 降至 7.86全量从 21.77 降至 6.77降幅约 70%CALLHOME 全量 SCA说话人计数准确率从 84.40% 提升到 91.60%计数 MAE 从 0.172 压到 0.084。多说话人场景的收益远大于 2–4 人场景——这正是 8 人模型相对 4 人模型的价值所在基线在说话人超过 4 个时几乎失效而新模型把人一多就崩变成了人越多优势越大。更值得注意的是延迟-精度权衡几乎被抹平0.32 秒超低延迟下 DIHARD III 全量 DER 仅比 30.4 秒离线配置上升 0.82 个百分点。这直接回答了流式微调会不会牺牲离线质量的疑问——AOSC 把跨块上下文损失压到了 1 个百分点以内。训练成本与开源诚意之间的账怎么算算这笔账要分两面。成本侧64 块 A100-SXM4-80GB、两阶段训练、9.3 万小时数据——这是一笔明确的重投入但模型卡也如实交代了摊薄手段合成混音把 2.8 万小时素材放大到 8.2 万小时NEST 自监督初始化缩短了从头训练的收敛路径两阶段设计中离线阶段只吃合成数据、流式阶段才动用真实数据也算好钢用在刀刃上。诚意侧则体现在三个可验证的细节上推理端门槛极低。模型仅 1 亿参数模型卡列出的推理速度显示30.4 秒离线配置下 RTFx实时倍率在 batch32 时高达 12,196eager/ 15,113compiled是基线3,204/2,619的 3.7–4.7 倍即便在最苛刻的 0.32 秒流式配置下也有 199/292 的实时倍率。实测硬件仅需一块 Blackwell RTX PRO 5000BF16而官方兼容列表覆盖 Ampere含 RTX 3090 与 A100、Ada、Hopper、Blackwell 全线——这意味着单张消费级或工作站显卡就能承载实时多人分离。权重视开放、许可可商用。模型遵循 OpenMDW License 1.1README 首页即声明ready for commercial or non-commercial use。权重文件以标准.nemo格式发布见仓库根目录 Nemotron-3-Diarization.nemo加载只需SortformerEncLabelModel.from_pretrained(nvidia/Nemotron-3-Diarization)一行。评估与集成协议完全透明。模型卡明确要求 DER 复现必须使用列出的参考 RTTM 标注与强制对齐协议否则数字不可比并给出了完整的复现脚本参数diarization_evaluation.md 进一步规定了报告 DER 必须附带 collar、overlap、参考标注来源、流式参数、精度、硬件的报告规范。这种防止别人拿错标准贬低或吹捧自己的严谨在开源模型圈相当少见。真正的闭环在于部署侧ASR_INTEGRATION_GUIDE.md 给出了与 Multitalker Parakeet、Nemotron 3.5 ASR 两套流式 ASR 的耦合方案max_num_of_spks8、cache_gatingtrue等参数让谁说了什么的端到端管线可以直接落地到会议转写、实时通话分析等生产场景。训练投入的回报因此不再停留在 benchmark 表格里而是变成了任何开发者都能在本地复现的工程能力。小结9.3 万小时数据、64 卡 A100、两阶段训练——这些数字组合在一起产出的并非一个秀肌肉的大模型而是一个刻意做小1 亿参数、做快0.32 秒延迟、做透明完整配方 严格评估协议的工程工具。合成数据的大规模复用、AOSC 流式机制的设计、以及离线打底 流式微调的训练范式这三者的组合拳值得每个做实时音频任务的团队借鉴。而 OpenMDW 商用许可与一行代码即可加载的.nemo权重则让这笔算力账最终变成了开源生态里人人可复用的公共资产。【免费下载链接】Nemotron-3-Diarization项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Diarization创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 9.3 万小时数据 + 8 节点 A100：Nemotron-3-Diarization 训练内幕全解密
9.3 万小时数据 8 节点 A100Nemotron-3-Diarization 训练内幕全解密【免费下载链接】Nemotron-3-Diarization项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Diarization说话人分离Speaker Diarization长期是语音工程里最难讲清楚的一环它不关心你说什么只关心谁、在什么时刻、开口说了话。传统方案把语音活动检测、说话人嵌入聚类、重排串成一条流水线误差层层叠加且几乎无法做到实时。NVIDIA 在 2026 年 9 月 23 日发布的开放权重模型 Nemotron-3-Diarization 直接把这条路走成了端到端单个 1 亿参数模型同时支持离线与流式推理最高跟踪 8 个说话人输入缓冲延迟最低压到 0.32 秒并在 DIHARD III、NOTSOFAR1 等基准上将说话人分离错误率DER砍掉四成以上。而支撑这一切的是约 9.3 万小时训练数据与 8 节点 A100 集群上的两阶段训练。本文基于 README.md 模型卡中公开的训练配方、数据清单与评估协议逐项拆解这 9.3 万小时是怎么凑出来的、两阶段训练为什么必要、以及这笔算力账最终如何转化为开箱即用的诚意。一张训练账单的全貌92,611 小时的构成模型卡在 Training and Evaluation Datasets 一节给出了清晰的数字约10,000 小时真实多人对话82,611 小时合成多说话人混音合计约9.26 万小时即社区俗称的9.3 万小时。这个结构本身就透露了核心设计哲学真实对话决定模型见过什么样的现实合成混音决定模型能把多说话人场景推到多极端。合成混音由 FastMSS 工具包模拟生成——把单说话人音频按 1–8 人组合混音并叠加噪声增强。值得注意的是用于合成的单说话人录音总量约 2.8 万小时而生成的混音总量却高达 8.2 万小时同一批干净素材通过不同的混音组合、说话人数量、噪声条件反复复用相当于把数据杠杆放大了三倍。这种素材少、组合多的策略大幅摊薄了真实采集成本同时保证了每个混音样本的标签谁在何时开口完全精确——这正是合成数据在 diarization 任务上最大的优势。数据配方拆解1 万小时真实对话的含金量清单真实对话部分并非简单堆量而是按语言、场景、说话人数量精心配比的。模型卡列出的来源包括数据集语言用途/切分Fisher English英语Training Part 1 2AMI Meeting Corpus英语Train Dev强制对齐标注ICSI英语全量VoxConverse v0.3多语种Dev TestAISHELL-4普通话TrainThird DIHARD Challenge多语种Dev2000 NIST SRECALLHOME Part 1多语种电话语音AliMeeting普通话Train强制对齐标注DiPCoDinner Party Corpus英语DevNOTSOFAR1英语Train Dev强制对齐标注DISPLACE 2024 / DISPLACE-M 2026英语、印地语、卡纳达语、泰卢固语、孟加拉语Dev EvalDavid AI [D2] Multispeaker英语协议授权3–4 人1,000 小时YODAS-v2多语种伪标注 5,000 小时子集这份清单覆盖了会议AMI/ICSI/AliMeeting、电话Fisher/CALLHOME、远场NOTSOFAR1/DiPCo、播客等多域场景横跨英、中、印地语等语系且包含经许可协议获得的 David AI 语料与伪标注的 YODAS-v2 子集。隐私子卡privacy.md同时确认训练使用了语音录音类个人数据均已获得同意并完成来源溯源输出仅为匿名说话人标签、不包含可还原的身份信息。合成混音侧的构成同样透明——6 个来源、合计 82,611 小时混音来源小时数LibriSpeech6,694AMI6,743AliMeeting6,745Fisher English6,755David AI English36,458David AI Multilingual19,216单个来源最大占比超过 44%David AI English其余四家LibriSpeech/AMI/AliMeeting/Fisher刻意保持约 6,700 小时的均量避免模型偏向单一音色或单一信道。真实对话与合成混音的比率约为 1:8.3——合成数据不是锦上添花而是多说话人能力的主体来源。两阶段策略先学会听清 8 人再学会实时不掉线训练配方在 README.md 的 Training 一节写得非常直白整个流程分两步跑在8 节点、每节点 8 张 NVIDIA A100-SXM4-80GB共 64 卡上离线预训练仅合成数据使用 NeMo Speech 的sortformer_diar_train.py与sortformer_offline_8spk.yaml配置。此阶段只喂合成混音模型学习的是把任意时长音频中的 1–8 个声源稳定分离的基本能力。离线模式可以用 30.4 秒的大输入缓冲编码器能看到足够长的上下文把 8 说话人分离的静态上限练满。流式微调真实 合成混合使用streaming_sortformer_diar_train.py与sortformer_streaming_8spk.yaml配置。在此阶段引入 Arrival-Order Speaker CacheAOSC与 FIFO 队列让模型学会在只看到局部音频块的前提下保持说话人身份不漂移同时混入真实对话数据把合成域的能力迁移回真实声学环境。为什么必须两阶段而不是一步到位关键在损失函数与训练目标的错位离线目标追求整段音频上的全局最优排列而流式目标要求每个 80 ms 帧都能独立、即时地给出归属判断。直接从头训流式模型优化器会在全局排列与局部即时性两个目标间反复震荡先离线收敛再流式微调则把第二个目标建立在第一个目标已解决的语义基础上。模型初始化还采用了基于 Transformer 的 NEST 自监督预训练 checkpoint相当于在进入这套两阶段流程前编码器已经具备通用的语音表征。从 64 卡算力到 0.32 秒实时AOSC 与 FIFO 的工程闭环两阶段训练落地的产物是一个 31 层 Transformer 编码器RoPE 位置编码输入 10 ms Mel 谱特征经 8 倍特征堆叠压成 80 ms 帧率输出再经 Conv1D 上采样回 10 ms 分辨率——总计1 亿参数。流式推理由两个关键数据结构支撑这在 README.md 的架构一节有精确描述AOSC到达顺序说话人缓存跨 chunk 保留已出现说话人的信息是身份持续性的长期记忆FIFO 队列为当前处理块拼接最近若干帧提供局部上下文。四个流式参数SPKCACHE_LEN、FIFO_LEN、CHUNK_LEN、RIGHT_CONTEXT配合UPDATE_PERIOD共同决定输入缓冲延迟(CHUNK_LEN RIGHT_CONTEXT) × 80 ms。模型卡给出了四档官方配置从离线到超低延迟一应俱全配置输入缓冲延迟CHUNK_LENRIGHT_CONTEXTFIFO_LENSPKCACHE_LENVery high离线30.4 s3404040264Low1.04 s94264264Very low0.64 s62264264Ultra-low0.32 s31264264注意 0.32 秒只是输入缓冲延迟不含计算耗时而 README 中给出的最低可行配置甚至可以低至 80 ms。切换配置只需要几行代码diar_model.sortformer_modules.chunk_len 3 diar_model.sortformer_modules.chunk_right_context 1 diar_model.sortformer_modules.fifo_len 264 diar_model.sortformer_modules.spkcache_update_period 222 diar_model._check_streaming_parameters()配合分块推理后音频时长上限不受限制——这也是流式模型天然具备的属性。性能证据DER 被砍掉的 40% 具体发生在哪里训练投入是否值得最终要看评估结果。模型卡以 4 说话人版本diar_streaming_sortformer_4spk-v2.1为基线在包含重叠语音、collar0 的严格协议下报告了 8 个测试集的多档延迟结果。先看最难的 DIHARD III1–9 说话人、11 域基准模型延迟DER1–4 人DER5–9 人DER全量4spk 基线30.4 s13.9840.2119.09Nemotron-3-Diarization30.4 s9.1327.5812.73Nemotron-3-Diarization0.32 s9.6929.4913.55全量 DER 从 19.09 降到 12.73降幅 33%而 5–9 人场景从 40.21 直落到 27.58。更夸张的是 NOTSOFAR15–7 说话人场景 DER 从 29.38 降至 7.86全量从 21.77 降至 6.77降幅约 70%CALLHOME 全量 SCA说话人计数准确率从 84.40% 提升到 91.60%计数 MAE 从 0.172 压到 0.084。多说话人场景的收益远大于 2–4 人场景——这正是 8 人模型相对 4 人模型的价值所在基线在说话人超过 4 个时几乎失效而新模型把人一多就崩变成了人越多优势越大。更值得注意的是延迟-精度权衡几乎被抹平0.32 秒超低延迟下 DIHARD III 全量 DER 仅比 30.4 秒离线配置上升 0.82 个百分点。这直接回答了流式微调会不会牺牲离线质量的疑问——AOSC 把跨块上下文损失压到了 1 个百分点以内。训练成本与开源诚意之间的账怎么算算这笔账要分两面。成本侧64 块 A100-SXM4-80GB、两阶段训练、9.3 万小时数据——这是一笔明确的重投入但模型卡也如实交代了摊薄手段合成混音把 2.8 万小时素材放大到 8.2 万小时NEST 自监督初始化缩短了从头训练的收敛路径两阶段设计中离线阶段只吃合成数据、流式阶段才动用真实数据也算好钢用在刀刃上。诚意侧则体现在三个可验证的细节上推理端门槛极低。模型仅 1 亿参数模型卡列出的推理速度显示30.4 秒离线配置下 RTFx实时倍率在 batch32 时高达 12,196eager/ 15,113compiled是基线3,204/2,619的 3.7–4.7 倍即便在最苛刻的 0.32 秒流式配置下也有 199/292 的实时倍率。实测硬件仅需一块 Blackwell RTX PRO 5000BF16而官方兼容列表覆盖 Ampere含 RTX 3090 与 A100、Ada、Hopper、Blackwell 全线——这意味着单张消费级或工作站显卡就能承载实时多人分离。权重视开放、许可可商用。模型遵循 OpenMDW License 1.1README 首页即声明ready for commercial or non-commercial use。权重文件以标准.nemo格式发布见仓库根目录 Nemotron-3-Diarization.nemo加载只需SortformerEncLabelModel.from_pretrained(nvidia/Nemotron-3-Diarization)一行。评估与集成协议完全透明。模型卡明确要求 DER 复现必须使用列出的参考 RTTM 标注与强制对齐协议否则数字不可比并给出了完整的复现脚本参数diarization_evaluation.md 进一步规定了报告 DER 必须附带 collar、overlap、参考标注来源、流式参数、精度、硬件的报告规范。这种防止别人拿错标准贬低或吹捧自己的严谨在开源模型圈相当少见。真正的闭环在于部署侧ASR_INTEGRATION_GUIDE.md 给出了与 Multitalker Parakeet、Nemotron 3.5 ASR 两套流式 ASR 的耦合方案max_num_of_spks8、cache_gatingtrue等参数让谁说了什么的端到端管线可以直接落地到会议转写、实时通话分析等生产场景。训练投入的回报因此不再停留在 benchmark 表格里而是变成了任何开发者都能在本地复现的工程能力。小结9.3 万小时数据、64 卡 A100、两阶段训练——这些数字组合在一起产出的并非一个秀肌肉的大模型而是一个刻意做小1 亿参数、做快0.32 秒延迟、做透明完整配方 严格评估协议的工程工具。合成数据的大规模复用、AOSC 流式机制的设计、以及离线打底 流式微调的训练范式这三者的组合拳值得每个做实时音频任务的团队借鉴。而 OpenMDW 商用许可与一行代码即可加载的.nemo权重则让这笔算力账最终变成了开源生态里人人可复用的公共资产。【免费下载链接】Nemotron-3-Diarization项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Diarization创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考