阿里开源Qwen2-Audio：全新大模型在语音识别与音频分析超越OpenAI的Whisper!

阿里巴巴推出全新语音模型 Qwen2-Audio：功能与技术解析

近期，阿里巴巴在原有Qwen-Audio基础上，发布了全新升级版语音模型——Qwen2-Audio。这款模型不仅在技术架构上进行了革新，还在功能上实现了突破性的进展，为语音识别和音频分析领域带来了新的可能性。

技术升级与功能拓展

Qwen2-Audio分为基础版和指令微调版，支持多语言和方言识别，包括中文、粤语、法语、英语、日语等，极大地方便了开发者进行翻译和情感分析等工作。该模型采用了自然语言提示的方法，取代了前一代复杂的分层标签系统，简化了训练流程，增强了模型的泛化能力。此外，它还具备了更精准的指令理解和执行能力，例如能够准确识别出音频中的情感倾向。

模型的两大操作模式

Qwen2-Audio支持语音聊天和音频分析两种模式。在语音聊天模式下，用户可以轻松地与模型进行自然流畅的对话；而在音频分析模式下，则能对各种音频文件进行深度分析，提供详尽的结果。为了进一步提高性能，Qwen2-Audio还引入了监督式微调（SFT）和直接偏好优化（DPO），确保了与人类交互时的自然度和准确性。

架构设计与核心组件

Qwen2-Audio采用了OpenAI开源的Whisper-large-v3作为音频编码器，并通过一系列技术手段优化了音频数据处理过程。例如，使用16kHz的采样频率和特定的窗口大小及跳帧设置，确保了音频特征的时间分辨率与频谱信息的完整性。此外，还加入了一个池化层来降低音频表示的长度，有助于捕捉音频信号的关键特征。

语言模型与综合评测

Qwen2-Audio集成了阿里自主研发的大规模语言模型Qwen-7B，能够高效处理音频和文本数据，生成准确的文本输出。经过在多个主流基准上的测试，如AIR-Bench、S2TT、ASR、Fleurs zh等，Qwen2-Audio展现出了卓越的性能表现。特别是在librispeech、Fleurs、CoVoST2等数据集上的测试结果表明，该模型在语音识别和翻译方面有着显著优势。

通过这些技术创新和功能增强，Qwen2-Audio不仅提升了用户体验，也为语音技术和自然语言处理领域的发展贡献了重要力量。

本文来源： ​ AIGC开放社区公众号【阅读原文】