小米声音理解大模型 MiDashengLM-7B 发布并全量开源，22 个公开评测集刷新最好成绩

【导语】8月4日，小米公司正式宣布推出自研声音理解大模型MiDashengLM-7B，并决定全量开源。该模型在速度和精度上实现了显著突破，刷新了多项评测记录。MiDashengLM-7B基于创新的音频描述训练策略，能够统一理解语音、环境声和音乐。作为小米“人车家全生态”战略的关键技术，MiDashengLM不仅提升了用户场景理解的泛化性，还通过自然语言交互提供了更人性化的沟通体验。小米正进一步优化该模型，以期在终端设备上实现离线部署，并拓展更多声音编辑功能。

　　8 月 4 日消息，小米自研声音理解大模型 MiDashengLM-7B 正式发布，并全量开源。

　　据小米官方介绍，MiDashengLM-7B 速度精度上实现双突破：单样本首 Token 延迟仅为同类模型 1/4、同显存下并发超 20 倍，在 22 个公开评测集上刷新多模态大模型最好成绩（SOTA）。

　　MiDashengLM-7B 基于 Xiaomi Dasheng 作为音频编码器和 Qwen2.5-Omni-7B Thinker 作为自回归解码器，通过(guò)创(chuàng)新(xīn)的(de)通(tōng)用(yòng)音(yīn)频(pín)描(miáo)述(shù)训(xun)练(liàn)策(cè)略(è)，实(shí)现(xiàn)了(le)对(duì)语(yǔ)音(yīn)、环(huán)境(jìng)声(shēng)音(yīn)和(hé)音(yīn)乐(lè)的(de)统(tǒng)一(yī)理(lǐ)解(jiě)。

　　2024 年(nián)，小(xiǎo)米(mǐ)发(fā)布(bù)的(de) Xiaomi Dasheng 声(shēng)音(yīn)基(jī)座(zuò)模(mó)型(xíng)在(zài)国(guó)际(jì)上(shàng)首(shǒu)次(cì)突(tū)破(pò) AudioSet 50+ mAP，在 HEAR Benchmark 环境声、语音、音乐三大领域建立领先优势并保持至今。

　　Xiaomi Dasheng 在小米的智能家居和汽车座舱等场景有超过 30 项落地应用。行(xíng)业(yè)首(shǒu)发(fā)的(de)车(chē)外(wài)唤(huàn)醒(xǐng)防(fáng)御(yù)、手(shǒu)机(jī)音(yīn)箱(xiāng)全天(tiān)候(hou)监(jiān)控(kòng)异(yì)常(cháng)声(shēng)音(yīn)、“打(dǎ)个(gè)响(xiǎng)指(zhǐ)”环(huán)境(jìng)音(yīn)关联(lián) IoT 控(kòng)制(zhì)能(néng)力(lì)，以(yǐ)及(jí)小(xiǎo)米(mǐ) YU7 上(shàng)搭(dā)载(zài)的(de)增(zēng)强(qiáng)哨(shào)兵(bīng)模(mó)式(shì)划(huà)车(chē)检(jiǎn)测(cè)等(děng)，背(bèi)后(hòu)都(dōu)有(yǒu) Xiaomi Dasheng 作为核心算法的赋能。

　　MiDashengLM 的训练数据由 100% 的公开数据构成，模型以宽松的 Apache License 2.0 发布，同时支持学术和商业应用。

　　小米表示，不同于 Qwen2.5-Omni 等未公开训练数据细节的模型，MiDashengLM 完整公开了 77 个数据源的详细配比，技术报告中详细介绍了从音频编码器预训练到指令微调的全流程。

　　作为小米“人车家全生态”战略的关键技术，MiDashengLM 通过统一理解语音、环境声与音乐的跨领域能力，不仅能听懂用户周围发生了什么事情，还能分析发现这些事情的隐藏含义，提高用户场景理解的泛化性。

　　基于 MiDashengLM 的模型通过自然语言和用户交互，为用户提更人性化的沟通和反馈，比如在用户练习唱歌或练习外语时提供发音反馈并制定针对性提升方案，又比如在用户驾驶车辆时实时对用户关于环境声音的提问做出解答。

　　MiDashengLM 以 Xiaomi Dasheng 音频编码器为核心组件，是 Xiaomi Dasheng 系列模型的重要升级。在当前版本的基础上，小米已着手对该模型做计算效率的进一步升级，寻求终端设备上可离线部署，并完善基于用户自然语言提示的声音编辑等更全面的功能。