---

language:

• ar
• de
• en
• es
• fr
• hi
• it
• ja
• nl
• pt
• ru
• sv
• tr
• uk
• zh license: mit library_name: transformers datasets:
• fixie-ai/librispeech_asr
• fixie-ai/common_voice_17_0
• fixie-ai/peoples_speech
• fixie-ai/gigaspeech
• fixie-ai/multilingual_librispeech
• fixie-ai/wenetspeech
• fixie-ai/covost2 metrics:
• bleu pipeline_tag: audio-text-to-text

---

模型卡片：Ultravox

Ultravox 是一款基于预训练模型 Mistral-Nemo-Instruct-2407 和 whisper-large-v3-turbo 构建的多模态语音大语言模型。

更多信息及 GitHub 代码库请访问 https://ultravox.ai。

模型详情

模型描述

Ultravox 是一款多模态模型，能够同时接收语音和文本作为输入（例如文本系统提示和语音用户消息）。
模型输入以包含特殊伪标记 <|audio|> 的文本提示形式提供，模型处理器会将该魔法标记替换为从输入音频中提取的嵌入向量。
使用融合后的嵌入向量作为输入，模型将照常生成输出文本。

在 Ultravox 的后续版本中，我们计划扩展标记词汇表以支持生成语义和声学音频标记，这些标记可输入至声码器以产生语音输出。
当前版本尚未进行偏好调优。

• 开发团队： Fixie.ai
• 许可协议： MIT

模型来源

• 代码库： https://ultravox.ai
• 演示： 参见代码库

使用方式

可将本模型视为具备听觉与语音理解能力的大语言模型。因此，它既可用作语音代理，也能完成语音到语音翻译、口语音频分析等任务。

使用模型时请尝试以下方式：

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_4_1-mistral-nemo', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

训练详情

本模型采用预训练的 Mistral-Nemo-Instruct-2407 主干网络以及 whisper-large-v3-turbo 的编码器部分。

仅训练多模态适配器，Whisper 编码器和 Mistral 部分保持冻结状态。

我们采用知识蒸馏损失函数，使 Ultravox 尝试匹配基于文本的 Mistral 主干网络的逻辑输出。

训练数据

训练数据集混合了自动语音识别（ASR）数据集（通过 Mistral Nemo 生成的续写内容进行扩展）和语音翻译数据集，这些数据在翻译评估中带来了适度提升。

训练流程

通过知识蒸馏进行有监督的语音指令微调。更多信息请参阅 Ultravox 代码库中的训练代码。

训练超参数

• 训练模式： BF16 混合精度训练
• 使用硬件： 8×H100 GPU

速度、规模与耗时

当前版本的 Ultravox 在处理音频内容时，首令牌生成时间（TTFT）约为 150 毫秒，在使用 A100-40GB GPU 且基于 Mistral Nemo 主干网络时，每秒可生成约 50-100 个令牌。

请访问 TheFastest.ai 的音频板块查看每日基准测试结果及与其他现有模型的对比数据。

评估结果

	Ultravox 0.4.1 Mistral Nemo
英语-阿拉伯语	10.36
英语-德语	28.39
西班牙语-英语	37.49
俄语-英语	41.64
英语-加泰罗尼亚语	26.85
中文-英语	12.65