清华大学联合字节跳动,开源听觉大语言模型 SALMONN
▲ 图源SALMONN 的 GitHub 页面
经过查询得知,SALMONN 模型支持语音、音频以及音乐输入,它可以感知和理解不同类型的音频内容输入,并具备多语言语音识别和翻译以及语音推理等功能。
▲ 官方发布的模型解析图
官方表示,SALMONN 支持语音、音频以及音乐输入,它可以感知和理解不同类型的音频内容输入,并具备多语言语音识别和翻译以及语音推理等功能。
▲ 图源SALMONN 的 Demo 页面
官方同时表示,目前 SALMONN 能够胜任英语语音识别、英语到中文的语音翻译、情感识别、音频字幕生成、音乐描述等重要的语音和音频任务,同时又涌现出多种在模型训练中没有专门学习过的多语言和跨模态能力,涵盖非英语语音识别、英语到(中文以外)其他语言的语音翻译、对语音内容的摘要和关键词提取、基于音频的故事生成、音频问答、语音和音频联合推理等任务。
目前该模型已经发布于 GitHub 中,官方同时放出了项目的 Demo 链接,感兴趣的小伙伴们可以前往了解。
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。