清华大学联合字节跳动，开源听觉大语言模型SALMONN

发布时间：2023-08-23 15:13 编辑：来源：IT之家阅读量：15730

，清华大学电子工程系日前与字节跳动的火山语音团队携手合作，推出一款开源大语言模型 SALMONN。

图源SALMONN 的 GitHub 页面

IT之家经过查询得知，SALMONN 模型支持语音、音频以及音乐输入，它可以感知和理解不同类型的音频内容输入，并具备多语言语音识别和翻译以及语音推理等功能。

官方发布的模型解析图

官方表示，SALMONN 支持语音、音频以及音乐输入，它可以感知和理解不同类型的音频内容输入，并具备多语言语音识别和翻译以及语音推理等功能。

图源SALMONN 的 Demo 页面

官方同时表示，目前 SALMONN 能够胜任英语语音识别、英语到中文的语音翻译、情感识别、音频字幕生成、音乐描述等重要的语音和音频任务，同时又涌现出多种在模型训练中没有专门学习过的多语言和跨模态能力，涵盖非英语语音识别、英语到其他语言的语音翻译、对语音内容的摘要和关键词提取、基于音频的故事生成、音频问答、语音和音频联合推理等任务。

目前该模型已经发布于 GitHub 中，官方同时放出了项目的 Demo 链接，感兴趣的小伙伴们可以前往了解。

广告声明:文内含有的对外跳转链接，用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。

上一篇：飞利浦发布新款49M2C8900显示器：49英寸240HzOLED带鱼屏

下一篇：返回列表