125日,第九届中国新兴媒体产业融合发展大会在海南博鳌举行。中国科学院自动化研究所、新华社技术局、媒体融合生产技术与系统国家重点实验室联合发布“全媒体多模态大模型研发计划”,将在媒体科技领域进行全新合作,通过技术创新推动媒体融合发展。 

  此次计划研发的“全媒体多模态大模型”,将基于中科院自动化所闻海多模态媒体大数据和紫东太初三模态大模型核心技术积累,面向新华社技术局、媒体融合生产技术与系统国家重点实验室等部门的业务领域模型,构建大数据+大模型+多模态”的多任务统一学习体系,以及知识与数据混合驱动的可信建模方式,从而实现对全媒体数据理解与生成的统一建模,打造全栈国产化媒体人工智能平台。 

  中国科学院自动化研究所王金桥研究员在会上分享了紫东太初三模态大模型与媒体业务融合方面的新进展,介绍了内容理解、图像生成、视频生成等方面的性能提升,展示了多模态对话虚拟人“小初”在高清图片生成、新闻续写和热点新闻发现等方面的强大能力。 

  “紫东太初”三模态大模型兼具跨模态理解和生成能力,结合新华社在海量全媒体数据积累和媒体融合业务场景,共同打造“全媒体多模态大模型”,将加速推动AI在如视频配音、语音播报、标题摘要、海报创作等更多元媒体业务场景的应用。 

  当前,媒体融合已经迈入深水区,“全媒体多模态大模型”的联合研发计划,是主流媒体与科研院所合作的有益尝试,也是高性能算力、算法赋能媒体业务创新的积极实践,对我国实现媒体领域科技创新具有重要的战略意义。未来,中国科学院自动化研究所、新华社技术局、媒体融合生产技术与系统国家重点实验室将充分发挥各自科研积累、传播渠道、网络资源、领域人才等优势,进一步探索全媒体时代科研创新的协作链条与合作模式,以跨界融合之力推动媒体融合智能化发展。 

附件: