2019年5月30日,听觉模型与认知计算团队在自动化所举办“面向复杂语音交互场景的听觉与语言认知机理”主题研讨会。自动化所徐波研究员,心理所杜忆研究员,浙江大学丁鼐研究员以及北京师范大学卢春明教授等六十余名师生参加此次报告会。
杜忆研究员在题为“言语理解中的预期机制”的学术报告中介绍了“鸡尾酒会”场景下的言语理解不仅是被动的、反应式加工,也包含主动的、预期式加工,大脑会基于已有信息预期下一个时刻将要出现的言语信息。预期加工是多时间尺度和层级式,同时来源于多感觉通道。在相关研究方向,杜忆介绍了自己研究团队已发表和正在开展的工作,希望通过神经机理的实验证据支持以及对人工智能自然语言理解可能的启发。
丁鼐研究员围绕“复杂声学场景中语音信号的神经表征”问题,介绍了自己团队如何通过脑电图、脑磁图等神经记录方法研究语音在大脑皮层的神经表征。丁鼐首先介绍连续自然语音的脑电、脑磁响应,随后介绍不同类型噪声对语音神经响应的影响。一系列实验表明,在不影响语音理解的前提下,背景声音所造成的能量掩蔽以及信息掩蔽对连续语音的神经响应的影响极其微弱。当背景声音造成语音可懂度下降时,语音的神经响应也发生变化。连续语音的神经响应与语音可懂度以及个体差异有关,而且声音信号中包络和精细结构信息对神经响应的影响不同。
卢春明教授以“语言交流的认知神经机制”为主题,介绍了团队在基于近红外光学成像(fNIRS)的多人脑扫描技术方面的工作以及如何测量自然情境下进行语言交流的多人的脑活动。卢春名提到,研究发现对话交流时左侧语言区出现了显著的脑活动同步,并且交流者之间的脑活动同步有助于交流者从复杂的背景噪声中选择感兴趣的对象,而将其他噪声过滤掉。最后,卢春明团队研究发现,在领导者形成过程中,领导者与追随者之间的脑活动同步显著高于追随者之间的脑活动同步。总之,脑活动同步可能是有效进行语言交流的重要神经基础。
本次研讨会为今后开展脑启发与可解释性人工智能方向的研究工作提供了诸多宝贵的实验证据和思路启发。
杜忆研究员做报告
丁鼐研究员做报告
卢春明教授做报告