近日,中国科学院自动化研究所曾毅研究员负责的类脑认知智能团队在《美国国家科学院院刊(Proceedings of the National Academy of Sciences, PNAS)》上发表了一篇题为脑启发神经环路演化赋能脉冲神经网络(Brain-inspired neural circuit evolution for spiking neural networks)”的新研究。他们受经过自然演化的生物脑神经环路结构呈现出的多样性以及脉冲时序依赖可塑性机制启发,提出了脑启发的神经环路演化策略, 助力研发更具生物合理性和高效性的类脑脉冲神经网络。  

  在生物神经系统中,不同类型的神经元能够自组织成连接模式各异的神经环路,以在结构上支持实现丰富的认知功能。人脑中不同类型的神经环路及其自适应能力促进了人类感知、学习、决策及其他高等认知功能的实现。然而,当前的脉冲神经网络设计范式大多基于深度学习领域的结构启发。这些结构主要由前馈连接占据主导地位,而没有考虑到不同类型的神经元,显著阻碍了脉冲神经网络在复杂任务上发挥其潜力。从计算视角挖掘生物神经环路的丰富动力学特性及其意义,并应用于当前类脑脉冲神经网络的结构从而提升人工智能系统的能力,仍然是一个深刻而具有开放性的挑战。  

  曾毅研究员团队以前馈和反馈连接与兴奋性和抑制性神经元结合为基础,为智能演化的计算建模提供了更具生物合理性的演化空间。研究利用神经元的局部脉冲行为,通过脉冲时序依赖可塑性的局部规则,自适应地演化出通过自然演化生成的功能性神经环路,如前向兴奋、前向抑制、反馈抑制和侧向抑制,并结合全局误差信号更新突触权重。通过融入演化生成的神经环路,本研究构建了用于图像分类和强化学习与决策任务的类脑脉冲神经网络。利用受脑启发的神经环路演化策略(NeuEvo)以及演化出的丰富的类神经环路类型,演化后的类脑脉冲神经网络极大地增强了感知、强化学习与决策能力。  

  NeuEvoCIFAR10DVS-CIFAR10DVS-GestureN-Caltech101数据集上取得了投稿时已知结果的最先进性能,并在ImageNet上取得了脉冲神经网络上代表性的准确率。结合在线和离线深度强化学习算法,它实现了与人工神经网络相媲美的性能。演化后的类脑脉冲神经环路为具有复杂功能的网络演化与认知能力涌现奠定了基础。  

  曾毅研究员表示:我们团队长期聚焦类脑认知智能的研究,其基础理论就是类脑可塑性理论体系,这也是我们研制并发布的类脑认知智能引擎智脉BrainCog”的理论核心。这个体系具有多尺度和多维度的特征。在空间尺度视角而言就是大家更为熟知的微观尺度离子通道到神经元之间的交互,介观主要讲神经微环路。宏观主要是脑区尺度的协同;而在时间尺度,主要是学习、发育与演化的协同。时间尺度和空间尺度的深度融合塑造了生物大脑和类脑智能的低能耗、高性能、高智能。团队在学习、发育和演化融合方面近年来取得一系列进展与认知,这次研究成果使我们更好地完善了这个体系。此次研究以计算建模的方式模拟了自然结构演化中的用进废退,并以此为基础自主演化出了丰富的神经环路类型,最有意思的是这些环路类型在自然生物的大脑中都是存在的,而且我们的实验证明了这些结构能够更好地帮助解决学习与决策等智能相关的核心问题,自然演化中存在即合理,这给未来的通用类脑认知智能的研究无限启发。”  

  中国科学院自动化研究所博士生申国斌、赵东城助理研究员为本论文共同第一作者,曾毅研究员为通讯作者,博士生董一廷为共同作者。  

利用脑启发神经演化构建的类脑脉冲神经网络  

 A.  神经环路结构的演化过程. B. 不同神经环路的示意图. C. NeuEvo 获得的复杂环路的示例.

      论文地址:https://www.pnas.org/doi/10.1073/pnas.2218173120

附件: