自动化所自主研发的极低比特量化神经处理芯片（QNPU）。 丁典摄

    深度学习近些年来迅猛发展，在人工智能（AI）领域显现出了强大的威力。然而这一切是有代价的。为了完成日益复杂的AI任务，神经网络模型体量暴增，对服务器的储存和算力要求也水涨船高，由此产生的经济成本、耗费的电量、对环境的污染正困扰着这个行业。

　　AI这场“游戏”正变得越来越“笨拙”，也越来越奢侈。于是，轻量化人工智能（Tiny AI）被寄予厚望，通过对AI模型及其计算载体的“瘦身”，提升效率、降低能耗。2020年，《麻省理工科技评论》将“Tiny AI”列为“全球十大突破性技术”。

　　中科院自动化研究所（以下简称自动化所）是国际上最早开展AI轻量化设计的机构之一。“十三五”期间，自动化所研究团队在“AI芯片—平台—算法”全栈轻量化AI技术中取得了一系列成果，成为新一代AI的“先行者”。

　　降低AI应用门槛 

　　2014年左右，自动化所研究员、主要从事图像和视频内容分析的程健在利用日益活跃的神经网络模型进行图像与视频的智能识别、搜索时，感受到了一种前所未有的“慢”。

　　识别和搜索是一项对速度、效率要求非常高的任务。但随着神经网络模型的体形越来越大、参数越来越多、计算越来越复杂，必须依靠专门的服务器或者连接云端才能运行模型，它是以牺牲效率为代价的。

　　自动化所研究员张一帆表示，这也抬高了AI应用普及的门槛。由于与人们日常生活息息相关的一些低配置、低成本的终端平台根本无法支撑庞大的神经网络模型的运行，因此很难实现AI赋能。

　　尽管模型越大意味着性能越强，但程健想到，也许应该换一种思路，在确保精度接近无损的前提下，给AI模型及其计算载体“瘦身”，比如减少计算量、降低模型复杂度等，从而提升终端运行的效率。但这是一个极具挑战性的任务。

　　2015年，程健带领团队进行了第一次尝试，把此前无法在手机端搭载的庞大的深度卷积神经网络VGG，压缩了20多倍，使之在手机上完成了快速运行。借助经过轻量化“加工”的神经网络模型，研究人员加载了一个图像分类识别的应用，当时智能化程度还较低的手机就已经可以实现对日常生活中1000多类物体的快速识别，而不需要依靠云端计算。

　　这次成功的尝试让程健相信，Tiny AI这条路不仅走得通，而且很有可能成为未来AI发展的主干道。因为，它可以使AI应用的门槛大大降低，使之成为普惠民生的智能生态。

　　在此之后，自动化所研究团队在国际AI会议发表了多篇神经网络模型轻量化领域的重要论文，成为国际上最早开始Tiny AI研究的团队之一。“选择这个方向，既是问题驱动的，也是社会需求推动的。”程健表示。

　　软硬件协同设计 

　　Tiny AI是以一系列轻量化技术为驱动提高算法、平台和芯片的效率，在更紧密的物理空间上实现低功耗的AI训练和应用部署，不需要依赖于云端交互就能实现智能化操作，被视为AI的重要应用方向。自动化所团队在“十三五”期间，分别从软件和硬件两方面进行攻关。

　　自动化所副研究员王培松介绍，研究团队首先从最上层的算法入手，提出了稀疏表示、量化计算等一系列技术手段，把神经网络的计算复杂度以及存储复杂度大大降低。

　　但问题随之而来。“我们发现，要使推理和算法从云端迁移到终端成为可能，需要一个合适的工具或者框架提供支撑，因此必须在移动端或设备端定制一个推理框架。”自动化所博士胡庆浩提到，研究团队用一年半时间自主设计开发出了一个Tiny AI平台QEngine。

　　而后，研究人员对模型进行轻量化设计，辅以合适的平台提供支持，但运行速度依然不达标，这才让他们下定决心从底层硬件寻求突破。AI芯片作为AI的硬件载体，要能达到更高的性能、更高的效率、更低的功耗和更小的体积，最大化发掘硬件的能力。

　　让王培松信心倍增的是，2019年，在国际神经信息处理系统大会（NeurIPS）上举行的神经网络压缩与加速竞赛中，团队与国际一流高校、芯片公司同场竞技，其设计的轻量化神经网络架构获得了图像类赛道双料冠军。2020年，自动化所自主研发的极低比特量化神经处理芯片（QNPU）也成功流片。

　　新一代AI逐浪者 

　　自动化所软硬协同轻量化的技术研究一直走在国际前列。Tiny AI平台QEngine及轻量化算法已经在数十万终端上部署。国内的很多企业产品都应用了自动化所的Tiny AI技术。

　　比如，基于Tiny AI研制的自主巡检无人机、缺陷识别分析便携终端、通道可视化智能感知摄像头等，具备多种智能识别、检测和分析功能，可有效保障输配电线路的安全和电力系统稳定；在消费电子行业，轻量化的算法及轻量化神经网络计算架构可有效实现暗光增强、超分辨率等，为手机终端、安防终端提供了影像增强效果；在教育终端的人机互动领域，“轻量化指尖点读解决方案”赋予了低端硬件平台高端AI算力……

　　程健表示，Tiny AI一直默默地服务于人们日常生活中很多AI应用需求，但远远没有走到头。特别是在计算性能极弱的单片机，以及在各种空调、冰箱等家电中算力较弱的计算芯片上，实现比较复杂的AI任务任重道远。除此之外，目前Tiny AI基于的软件和硬件平台，大多还是针对大模型、云端开发来搭建的。未来要能最大化实现极致效率，还要进一步完善软硬件的协同设计。

　　博士阶段就跟着程健初涉Tiny AI领域的王培松和胡庆浩是与这一前沿领域共同成长起来的，目前已经是团队的核心成员。“能赶上新一代AI的历史潮流，并勇立潮头，对我们年轻科研人员来说是一件很幸运且自豪的事。”

　　胡庆浩也坦言，新一代AI的角逐中，国际竞争激烈，特别是在轻量化算法设计和AI芯片领域，谁能突出重围，谜底有待揭晓。

《中国科学报》 (2022-12-22 头版要闻)

新闻链接：https://paper.sciencenet.cn/sbhtmlnews/2021/12/367311.shtm