英伟达开源语音识别模型！0.6B 参数登顶 ASR 榜单，1 秒转录 60 分钟音频！

英伟达在5月1日发布了一款开源语音识别模型：Parakeet TDT 0.6B V2，其以 600M 参数登顶 Hugging Face Open ASR 榜单。

平均词错误率（WER）仅 6.05%，超越所有主流闭源模型。它能在 1 秒内转录 60 分钟高质量音频。

基于 FastConformer 架构和 TDT 解码器，仅用 600M 参数实现超低 WER 和极快推理速度。训练数据为 12 万小时 Granary 数据集（含 LibriSpeech、Common Voice 等）。

CC-BY-4.0 许可允许商业和非商业使用！

核心优势

• • 极致转录效率：60 分钟音频仅需 1 秒内完成转录（A100 推理）
• • OpenASR 榜首表现：超越 Whisper、Conformer、Wav2Vec 等主流闭源模型
• • 极小参数量：仅 0.6B（轻量级，适合边缘设备）
• • 高精度：平均 WER 6.05%（Hugging Face Open ASR 榜单），优于 Whisper-large-v3
• • 高鲁棒性：多语速、多口音、多录音环境下表现稳定（英文）

快速使用

Parakeet TDT 0.6B V2 需 NVIDIA NeMo 工具包。

官方建议在安装最新版本的PyTorch之后再进行安装 NVIDIA NeMo。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

安装 NVIDIA NeMo 工具包：

pip install -U nemo_toolkit['asr']

该模型可在NeMo工具包[3]中使用，可作为推理或用于在另一个数据集上进行微调的预训练检查点。

自动实例化模型：

import nemo.collections.asr as nemo_asr
asr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/parakeet-tdt-0.6b-v2")

使用方法

借助 Python 转录，先获取一个样本

wget https://dldata-public.s3.us-east-2.amazonaws.com/2086-149220-0033.wav

获取Text文本：

output = asr_model.transcribe(['2086-149220-0033.wav'])
print(output[0].text)

带有时间戳的转录：

output = asr_model.transcribe(['2086-149220-0033.wav'], timestamps=True)
# by default, timestamps are enabled for char, word and segment level
word_timestamps = output[0].timestamp['word'] # word level timestamps for first sample
segment_timestamps = output[0].timestamp['segment'] # segment level timestamps
char_timestamps = output[0].timestamp['char'] # char level timestamps

for stamp in segment_timestamps:
    print(f"{stamp['start']}s - {stamp['end']}s : {stamp['segment']}")

应用场景推荐

• • 实时会议转写
• • 手机/设备端语音助手
• • 视频字幕生成
• • 大模型音频输入预处理器
• • 教育/课程转录系统

技术构建说明

• • 架构：TDT（Time-Depth Transformer），专注于时间维度建模
• • 数据：英伟达自建 + 公共语音数据集大规模训练
• • 推理引擎优化：支持 TensorRT / ONNX Runtime 等高性能部署方案

写在最后

英伟达的 Parakeet-TDT-0.6B V2 模型不仅在参数规模小（仅 0.6B）的前提下超越了许多更大体量的闭源模型。

而且具备极高的推理效率和极低的词错误率（WER），尤其适合需要低延迟 + 高精度 + 商用许可的语音转写场景。

不过目前对于语言支持方面，仅支持英文，期待后续能够支持中文。

这个模型对于需要轻量部署 + 高精度语音识别的开发者来说，是当前最具性价比的选择之一。

HF 模型地址：https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2

ASR 排行：https://huggingface.co/spaces/hf-audio/open_asr_leaderboard