Soul App以领先AI技术能力,荣获多模态情感识别挑战赛冠军
创始人
2024-08-22 08:44:45
0

Soul 作为少有以虚拟人设提供即时交流互动体验的应用和 AI Native 的社交网络,自成立以来一直积极探索AI大模型及其应用落地,在此领域积累了丰富的经验和成果。近日,Soul App语音技术团队在第二届多模态情感识别挑战赛的半监督学习赛道荣获第一名,彰显了团队的前沿洞察和技术能力。

国际人工智能联合会议(International Joint Conference on Artificial Intelligence,IJCAI)是人工智能领域顶级的国际学术会议之一,也是中国计算机学会(CCF)推荐的A类会议。为促进情感计算在人机交互领域的发展,深入探讨该领域最新研究进展、未来发展方向和技术在真实场景中的落地应用,来自清华大学、中国科学院自动化研究所、帝国理工学院、奥卢大学、南洋理工大学等高校的多位专家学者联合在IJCAI2024上举办多模态情感识别挑战赛MER24,并在ACM国际多媒体会议(ACM International Conference on Multimedia,ACM MM 2024)上组织多模态与可靠性情感计算研讨会MRAC24(Multimodal, Generative and Responsible Affective Computing 2024)。

此次多模态情感识别挑战赛(MER24)上,设置了SEMI(半监督学习)、NOISE(噪声鲁棒性)、OV(开放式词汇情绪识别)三个赛道,共吸引了来自知名高校、科技企业等近百支参赛队伍。

其中,SEMI赛道旨在探索和改进半监督学习策略,以便更好地利用未标记数据来提高情绪识别的性能。因当前在实际应用中,获取大量带有情绪标签的数据是困难且成本高昂的,半监督学习是一种减少对标记数据依赖的方法,因此SEMI为大赛中颇受关注、参赛队伍最多且难度高的赛道,Soul语音技术团队凭借平台扎实的技术能力积累和创新技术方案在此赛道中获得第一名。

一直以来,多模态情感识别在人工智能领域都是一个活跃的研究课题,它的主要目标是整合多种模态来识别人类的情绪状态。特别是在社交领域,多模态情感识别技术更是重要的一环。社交的本质是情感的流动,只有能够实现情感的识别,才能让AI更好的理解人性、情绪和情感,实现理想的人机互动。

Soul定位为新型开放式社交平台,致力于用底层技术和产品模式创新持续提升用户的社交体验。自2016年上线,Soul便不断思考AI在社交场景的具体落地应用。2020年,Soul启动对AIGC的技术研发工作,系统推进在智能对话、图像生成、语音&音乐生成等AIGC关键技术能力研发工作。为了让AI更能理解情绪,为用户带来更好的情绪反馈和陪伴感,情感识别是Soul技术团队关注的焦点之一。

目前,Soul具备多模态情感识别能力的语言大模型 Soul X、语音大模型均已上线,并推出了“AI苟蛋”“狼人魅影”“异世界回响”等功能/产品,相关技术已在AI辅助社交、AI陪伴、AI游戏等多个创新场景中得到应用。

在第二届多模态情感识别挑战赛(MER24)上,基于目前平台自研大模型部分模块,Soul语音技术团队重新调整了创新方案参赛,包括提出微调模型EmoVCLIP,用于适应视频的情感识别;使用Self-training策略,通过循环对无标签数据打伪标签与训练模型之间相互迭代从而提升模型的泛化性能;针对模型不同模态之间融合存在的竞争效应,首次在多模态情感识别领域使用Modality Dropout,有效提高模型情感识别准确率等,最终凭借极高的准确性和泛化性能在比赛中获胜。

现阶段,让AI“理解”人、实现有情感的人机交互已经成为学界、科技领域关注的焦点。在近日举办的ChinaJoy AIGC大会上,Soul 副总裁及产品负责人车斌表示,相比“智商”,社交领域更需要有“情商”的大模型,即需要多模态的、具备拟人化属性,确保实现情感化、个性化和生活化。

在未来,Soul仍将积极推进AI在社交场景的应用落地,致力于更充分地利用多模态情感识别技术能力辅助社交,提高用户的社交体验,更好地与AI进行互动,进一步探索人与AI,人与人之间链接的可能性。

相关内容

高玩发布任天堂经典主机Wi...
日前有高玩在著名开源站上发布了关于任天堂经典主机Wii魔改版,尺寸...
2025-07-10 16:12:19
OpenAI的开源语言模型...
据报道,OpenAI的开源语言模型即将发布。
2025-07-10 15:12:37
八成受访消费企业今年拟引入...
7月10日下午,由南方都市报主办的“2025高品质消费品牌TOP1...
2025-07-10 11:43:05
“上岗”即用的AI客服、A...
目前,随着AI的大范围应用,各类AI Agent产品如雨后春笋般出...
2025-07-10 11:13:02
中国电信刘桂清:拥抱AI,...
瑞士时间7月9日,人工智能向善全球峰会(AI for Good S...
2025-07-10 11:12:36
美年健康:借助AI技术赋能...
证券之星消息,美年健康(002044)07月08日在投资者关系平台...
2025-07-09 22:13:52

热门资讯

原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...
骁龙本这么猛?联想YOGA A... 在人人都是自媒体的时代,一部手机可以解决出镜拍摄问题,而商务出差、大量码字、图像处理等需求用笔记本则...
5个AI模特生成软件推荐 当前AI模特生成软件市场提供了多样化的解决方案,以下是几款备受推崇的工具: 触站AI:强烈推荐!...
2023年CentOS与Ubu... CentOS与Ubuntu的市场格局与技术特性探讨 在服务器操作系统领域,CentOS与Ubuntu...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
原创 华... 在2024年这个被誉为"AI元年"的关键时刻,随着生成式AI的流行,各家手机厂商都在积极备战AI手机...