阿里云会议神器通义听悟如何炼成?达摩院自研AI模型立功

最佳答案:

南趣百科网6月1日消息,今天,阿里云正式公布了人工智能加持下的会议记录AI助手通义听悟。

阿里云会议神器通义听悟如何炼成?达摩院自研AI模型立功-图1

通义听悟的诞生,离不开阿里的通义千问大模型,但同时,阿里达摩院推出的自研语音识别基础模型Paraformer,以及说话人识别基础模型CAM++,也至关重要。

据悉,Paraformer是目前业界首个应用落地的非自回归端到端语音识别模型,在推理效率上,最高可较传统模型提升10倍之高,且准确度方面在多个权威数据集上位列榜首。

在通义听悟中,该模型的主要功劳,就是让AI能够“听清楚”会议中人们都说了什么。

根据此前达摩院Paraformer开发团队发布的论文提供的信息,该模型采用单轮非自回归模型,解决了自回归端到端模型Transformer存在的计算并行度低,无法高效结合GPU进行推理的问题。

同时,Paraformer通过创新的预测器设计,实现对目标文字个数及对应声学隐变量的高准确度预测,并引入机器翻译领域的浏览语言模型思路,显著增强了模型对上下文语义的建模。

阿里云会议神器通义听悟如何炼成?达摩院自研AI模型立功-图2

如果说Paraformer模型解决的是通义听悟“听清楚”的问题,那么CAM++说话人识别基础模型,就解决了通义听悟分辨“谁在说话”的问题。

在1953年,Colin Cherry提出了语音领域著名的“鸡尾酒会问题”,该问题用于讨论在酒会等嘈杂环境下,准确区分出不同说话人信号的问题。

显然,通义听悟面对的会议、课堂等主要应用场景,就是典型的“鸡尾酒会问题”场景。

为了解决这一问题,达摩院在CAM++说话人识别基础模型中,采用了基于密集型连接的时延网络(D-TDNN),每一层的输入均由前面所有层的输出拼接而成。

这种层级特征复用和时延网络的一维卷积,可以显著提高网络的计算效率。

阿里云会议神器通义听悟如何炼成?达摩院自研AI模型立功-图3

据悉,CAM++在行业主流的中英文测试集VoxCeleb和CN-Celeb上,均刷新了最优准确率,并且在计算效率和推理速度上有着明显优势。

不难看出,通义听悟之所以能够成为新一代的“音视频会议神器”,除了通义千问大模型作为负责思考理解“大脑”外,充当“耳朵”的Paraformer与CAM++,也至关重要。

可以说,在阿里达摩院于人工智能领域的大量研究与技术积累下,通义听悟的诞生并非空中楼阁,而是基础扎实,相当“水到渠成”的一件事。

同理,在此之后,我们也可以期待更多与之类似的,基于达摩院自研AI技术诞生的人工智能应用工具。

阿里云会议神器通义听悟如何炼成?达摩院自研AI模型立功-图4

以上就是南趣百科带来阿里云会议神器通义听悟如何炼成?达摩院自研AI模型立功为大家带来的解答,希望可以帮助到大家,如果有什么不懂,可以以下评论区评论,小编第一时间回复大家!
转载请说明出处 内容投诉内容投诉
南趣百科 » 阿里云会议神器通义听悟如何炼成?达摩院自研AI模型立功

南趣百科分享生活经验知识,是您实用的生活科普指南。

查看演示 官网购买