近日，在ACM 国际多媒体会议（ACM Multimedia 2021）上，第二届多模态情感识别挑战赛 MuSe 2021（The Multimodal Sentiment in Real-life Media Challenge 2021）竞赛结果正式揭晓，自动化所模式识别国家重点实验室智能交互团队在本次挑战赛中一举斩获多模态连续情感识别（MuSe-Wilder）、多模态离散情感识别（MuSe-Sent）、多模态生理唤醒分析（MuSe-Physio）三个任务冠军。 

　　本届多模态情感识别挑战赛面向自然场景下多模态高鲁棒细微情感分析，更加注重结合语义信息的多模态深度融合能力的评测，要求参赛者利用官方提供的自然场景下的音视频和文本数据有效预测情感状态。在三个竞赛任务中，自动化所智能交互团队利用循环神经网络和自注意力机制进行时序建模，结合多模态注意力机制等多种融合策略抽取跨模态信息, 并借助于数据增广和一致相关系数损失函数有效解决了小样本和鲁棒性问题，一系列工作对多模态情感分析技术的发展具有重要意义。 

　　据悉，MuSe 2021是ACM Multimedia 2021会议的特别挑战赛，共包含四个任务。由英国帝国理工学院、德国奥斯堡大学以及新加坡南洋理工大学等高校共同举办，吸引了来自全球的 61 支队伍参赛。该挑战赛源于情感计算领域著名的AVEC（Audio-Visual Emotion Challenge）竞赛。