6月23日，记者从中科院自动化所获悉，由该所牵头的“大规模多模态预训练模型的研发与行业应用”项目入围工信部“2021年人工智能产业创新任务揭榜挂帅项目”立项名单。 

　　据了解，该项目聚焦大规模多模态预训练模型的研发与行业应用，以自主可控基础软硬件平台为基础，突破不同领域的共性平台技术，实现万亿级参数量规模的大模型分布式训练，构建覆盖多语种文本、语音、图像、视频的多模态预训练大模型，通过在工业、医疗、城市、金融、物流、科学研究等行业领域开展典型应用示范，改变当前单一模型对应单一任务的人工智能研发范式，推动我国人工智能研发规则产生重大变革。 

　　此前，自动化所已经以昇腾AI基础软硬件平台为基础，与武汉市东湖高新区深度合作，依托武汉人工智能计算中心，研发了面向超大规模模型的高效分布式训练架构，在图、文、音三个基础模型上加入跨模态编码和解码网络，利用昇思MindSpore？AI框架打造了全球首个千亿参数三模态大模型“紫东太初”。 

　　“紫东太初”大模型开拓性地实现了图-文-音语义统一表达，首次实现了“语音生成视频”的功能，迈出朝向人工智能通用化的关键一步。并依托紫东太初大模型研发了跨模态通用人工智能平台，打造了多模态人机对话机器人“小初”，兼具图文音的理解、推理和生成能力，具有图像生成、智能问答、语音识别、文字识别、视频生成、视频描述、智能翻译等 30多项功能。目前，“紫东太初”已经与浙江移动、长安汽车、魏桥创业、爱奇艺、新华社技术局和美亚大千等行业领军企业合作，共同探索了丰富的应用落地场景。 

　　基于“紫东太初”大模型、昇腾AI基础软硬件平台开发的手语多模态模型及手语教考一体机也于近日正式亮相。该应用开创性地连通了手语动作与示意图片、对应文字，可以实现文本到图像的自动生成，具备实时手语词汇识别、表情及唇语识别等能力，并且还可实现新事物词汇的及时学习与更新，打造手语学习新模式，让手语理解和学习更加简单。目前，该一体机已在湖南数十个学校陆续上线，一定程度上缓解了手语师资短缺问题。 

　　原文链接：http://www.stdaily.com/index/kejixinwen/202206/7c2a288b98924e8fb879351253bf1fd2.shtml