论文：LLaMA-Omni: Seamless Speech Interaction with Large Language Models
地址：https://arxiv.org/pdf/2409.06666
研究背景
研究问题：这篇文章要解决的问题是如何基于开源的大型语言模型（LLMs）构建低延迟高质量的语音交互模型。传统的基于文本的交互方式限制了LLMs在非理想文本输入输出场景中的应用，而实时语音交互可以显著提升用户体验。
研究难点：该问题的研究难点包括：如何消除语音转录的步骤，直接从头语音指令生成文本和语音响应；如何在保证极低延迟的同时，生成高质量的内容和风格响应。
相关工作：该问题的研究相关工作有：SpeechGPT和AudioPaLM等模型通过向LLMs的词汇表中添加语音标记并进行预训练来实现语音输入输出，但这些方法需要大量数据和计算资源。另外一些模型则在LLMs前添加语音编码器并进行微调，这些模型主要关注语音理解而非生成。
研究方法
这篇论文提出了LLaMA-Omni模型，用于解决低延迟高质量语音交互的问题。具体来说：
语音编码器：使用Whisper-large-v32的编码器作为语音编码器，提取语音指令的表示。公式如下： 其中，是长度为的语音表示序列。
语音适配器：语音适配器将语音表示序列下采样，并通过两层感知器将其转换为适合LLM输入的表示。公式如下：
大型语言模型（LLM）：使用Llama-3.1-8B-Instruct模型，将语音表示序列填充到对应的 位置，并直接基于语音指令生成文本响应。损失函数为：
语音解码器：语音解码器使用非自回归的Transformer层，通过连接时序分类（CTC）预测对应的离散单元序列。公式如下： 其中，和是线性层的权重和偏置，是空白标记。
实验设计
数据集构建：构建了一个名为InstructS2S-200K的数据集，包含200K条语音指令及其对应的语音响应。数据集通过重写现有文本指令数据并进行语音合成得到。
模型配置：使用Whisper-large-v3的编码器和Llama-3.1-8B-Instruct模型，语音适配器进行5倍下采样，语音解码器包含2层Transformer层。
训练过程：采用两阶段训练策略。第一阶段训练语音适配器和LLM，第二阶段训练语音解码器。整个训练过程在4个GPU上耗时约65小时。
结果与分析
ChatGPT评分：在S2TIF和S2SIF任务上，LLaMA-Omni在内容和风格评分上均优于之前的模型。S2TIF任务的风格评分为3.81，S2SIF任务的风格评分为3.12。
语音-文本对齐：LLaMA-Omni在ASR-WER和ASR-CER评分上均最低，分别为7.59和41.40，表明生成的语音和文本响应的对齐度较高。
语音质量：使用UTMOS评分评估生成的语音质量，结果显示随着单位块大小的增加，语音的自然度提高。
响应延迟：当设置为10时，系统的响应延迟低至226ms，显著低于GPT-4o的平均音频延迟320ms。
解码时间：LLaMA-Omni在S2TIF和S2SIF任务上的平均解码时间分别为1.49秒和1.92秒，显著低于其他模型。
总体结论
本文提出的LLaMA-Omni模型实现了低延迟高质量的语音交互，能够在极低的延迟下生成高质量的文本和语音响应。实验结果表明，LLaMA-Omni在多个评价指标上均优于现有的语音语言模型，并且训练成本低，便于基于最新的LLMs进行快速开发。未来工作将进一步增强生成语音响应的表达能力和实时交互能力。
本文由AI辅助人工完成。
备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群
id：DLNLPer，记得备注呦
总结
### 文章总结**论文标题**：LLaMA-Omni: Seamless Speech Interaction with Large Language Models
**研究背景**：
本文旨在解决当前大型语言模型（LLMs）在语音交互领域的低延迟、高质量响应难题。传统基于文本的LLMs交互方式在非理想文本输入输出场景下受限，实时语音交互能显著提升用户体验。然而，实现这一目标面临两大难点：一是如何在无语音转录步骤下直接从语音指令生成文本和语音响应；二是如何在保持极低延迟的同时，生成高质量的内容和风格响应。
**研究难点与现状**：
现有方法如SpeechGPT和AudioPaLM通过添加语音标记或语音编码器来处理语音输入，但需大量数据和计算资源。此外，这些模型多侧重于语音理解而非生成。
**研究方法**：
- **语音编码器**：采用Whisper-large-v32编码器提取语音指令表示。
- **语音适配器**：将语音表示下采样并转换为适合LLM的输入表示。
- **大型语言模型（LLM）**：利用Llama-3.1-8B-Instruct模型生成文本响应。
- **语音解码器**：基于非自回归Transformer层和CTC方法预测离散单元序列以生成语音。
**实验设计与结果**：
- **数据集**：构建InstructS2S-200K语音指令-响应数据集。
- **模型训练**：采用两阶段策略，总耗时约65小时。
- **性能指标**：
- **ChatGPT评分**：在S2TIF和S2SIF任务上，LLaMA-Omni在内容和风格上表现优于先前模型。
- **语音-文本对齐**：ASR-WER和ASR-CER低分表明高对齐度。
- **语音质量**：UTMOS评分显示生成语音的自然度随配置提升。
- **响应延迟**：系统响应时间低至226ms，明显快于GPT-4o。
- **解码时间**：在两项任务上均显著快于其他模型。
**总体结论**：
LLaMA-Omni模型实现了低延迟、高质量的语音交互。它在多个评价指标上均优于现有模型，且训练成本低，便于后续快速开发和扩展。未来方向将聚焦于进一步增强生成语音的表达能力和提升实时交互体验。
**备注**：
本文由AI辅助完成并提供加入技术交流群的提示和联系方式。