个人主页

https://zeroqiaoba.github.io/Homepage/

个人简历

连政博士，现为中国科学院自动化研究所多模态人工智能系统全国重点实验室副研究员。近年来已在情感计算、人机交互等领域开展大量研究工作。目前已累计发表论文70余篇（包括TPAMI、TNNLS、TAC、TASLP、NeurIPS等中国计算机推荐会议和期刊）；作为“多模态高鲁棒细微情感分析关键技术与系统”的主要完成人之一，获得2021年中国电子学会技术发明一等奖；多次获得国际多模态情感识别比赛冠军；联合清华大学、帝国理工、南洋理工、奥卢大学等国际知名情感计算团队，发布了规模最大的汉语多模态情感识别数据库MER，并围绕该数据库在ACM MM 和 IJCAI 上组织了多模态情感识别挑战赛和研讨会，累计吸引百余人参加；现任中国中文信息学会情感计算专委会执行委员、中国计算机学会语音对话与听觉专委会执行委员、中国图象图形学学会情感计算与理解专委会委员、中国人工智能学会情感智能专委会委员；担任情感计算会刊IEEE Transactions on Affective Computing 副主编，以及ICML、ICLR、NeurIPS等会议以及TPAMI、IJCV等期刊审稿人。

教育和工作经历

1. 2024.09-至今      中国科学院自动化研究所 副研究员
2. 2021.07-2024.09   中国科学院自动化研究所 助理研究员
3. 2016.09-2021.06   中国科学院自动化研究所 博士
4. 2012.09-2016.06   北京邮电大学 学士

研究方向

情感计算、多模态大模型、人机交互

承担科研项目情况

1.     国家自然科学基金青年项目，面向交互场景的情感识别方法研究，2023.01 - 2025.12，30万元，负责人

2.     多模态人工智能系统全国重点实验室优青项目，大模型与知识驱动的鲁棒细微情感交互技术，2024.09 - 2025.09，10万元，负责人

3.     中国科学院重点部署项目，作业人员心理状态评估技术，2021.01 - 2023.12，50万元（项目总经费960万元），子课题负责人

4.     国家自然科学基金面上项目，小样本下基于语音内容理解的青少年抑郁症早期识别方法研究，2023.01 - 2026.12，6万元（项目总经费56万元），课题负责人

代表论著

1.     Lian, Zheng, Lan Chen, Licai Sun, Bin Liu, and Jianhua Tao. "Gcnet: Graph completion network for incomplete multimodal learning in conversation." IEEE Transactions on pattern analysis and machine intelligence 45, no. 7 (2023): 8419-8432. 第一作者

2.     Lian, Zheng, Bin Liu, and Jianhua Tao. "Pirnet: Personality-enhanced iterative refinement network for emotion recognition in conversation." IEEE Transactions on Neural Networks and Learning Systems 35, no. 2 (2022): 2863-2874. 第一作者

3.     Lian, Zheng, Bin Liu, and Jianhua Tao. "Smin: Semi-supervised multi-modal interaction network for conversational emotion recognition." IEEE Transactions on Affective Computing 14, no. 3 (2022): 2415-2429. 第一作者

4.     Lian, Zheng, Bin Liu, and Jianhua Tao. "CTNet: Conversational transformer network for emotion recognition." IEEE/ACM Transactions on Audio, Speech, and Language Processing 29 (2021): 985-1000. 第一作者

5.     Lian, Zheng, Licai Sun, Haiyang Sun, Kang Chen, Zhuofan Wen, Hao Gu, Bin Liu, and Jianhua Tao. "Gpt-4v with emotion: A zero-shot benchmark for generalized emotion recognition." Information Fusion 108 (2024): 102367. 第一作者

6.     Lian, Zheng, Haiyang Sun, Licai Sun, Kang Chen, Mngyu Xu, Kexin Wang, Ke Xu et al. "Mer 2023: Multi-label learning, modality robustness, and semi-supervised learning." In Proceedings of the 31st ACM international conference on multimedia, pp. 9610-9614. 2023. 第一作者

7.     Xu, Mingyu, Zheng Lian, Lei Feng, Bin Liu, and Jianhua Tao. "ALIM: adjusting label importance mechanism for noisy partial label learning." Advances in Neural Information Processing Systems 36 (2023): 38668-38684. 共同一作

8.     Xu, Mingyu, Zheng Lian, Bin Liu, and Jianhua Tao. "VRA: variational rectified activation for out-of-distribution detection." Advances in Neural Information Processing Systems 36 (2023): 28941-28959. 唯一通讯

9.     Sun, Licai, Zheng Lian, Kexin Wang, Yu He, Mingyu Xu, Haiyang Sun, Bin Liu, and Jianhua Tao. "SVFAP: Self-supervised video facial affect perceiver." IEEE Transactions on Affective Computing (2024). 共同通讯

10.  Sun, Licai, Zheng Lian, Bin Liu, and Jianhua Tao. "Hicmae: Hierarchical contrastive masked autoencoder for self-supervised audio-visual emotion recognition." Information Fusion 108 (2024): 102382. 第二作者

11.  Sun, Licai, Zheng Lian, Bin Liu, and Jianhua Tao. "Mae-dfer: Efficient masked autoencoder for self-supervised dynamic facial expression recognition." In Proceedings of the 31st ACM International Conference on Multimedia, pp. 6110-6121. 2023. 第二作者

12.  Sun, Licai, Zheng Lian, Bin Liu, and Jianhua Tao. "Efficient multimodal transformer with dual-level feature restoration for robust multimodal sentiment analysis." IEEE Transactions on Affective Computing 15, no. 1 (2023): 309-325. 第二作者

13.  Cheng, Zebang, Zhi-Qi Cheng, Jun-Yan He, Kai Wang, Yuxiang Lin, Zheng Lian, Xiaojiang Peng, and Alexander Hauptmann. "Emotion-llama: Multimodal emotion recognition and reasoning with instruction tuning." Advances in Neural Information Processing Systems 37 (2024): 110805-110853. 合作论文

14.  Niu, Mingyue, Jianhua Tao, Bin Liu, Jian Huang, and Zheng Lian. "Multimodal spatiotemporal representation for automatic depression level detection." IEEE transactions on affective computing 14, no. 1 (2020): 294-307. 合作论文

15.  Liu, Rui, Haolin Zuo, Zheng Lian, Bjorn W. Schuller, and Haizhou Li. "Contrastive learning based modality-invariant feature acquisition for robust multimodal emotion recognition with missing modalities." IEEE Transactions on Affective Computing (2024). 合作论文

16.  Lian, Zheng, Licai Sun, Yong Ren, Hao Gu, Haiyang Sun, Lan Chen, Bin Liu, and Jianhua Tao. "Merbench: A unified evaluation benchmark for multimodal emotion recognition." arXiv preprint arXiv:2401.03429 (2024). 第一作者

17.  Lian, Zheng, Haiyang Sun, Licai Sun, Lan Chen, Haoyu Chen, Hao Gu, Zhuofan Wen et al. "Open-vocabulary Multimodal Emotion Recognition: Dataset, Metric, and Benchmark." arXiv preprint arXiv:2410.01495 (2024). 第一作者

18.  Lian, Zheng, Haoyu Chen, Lan Chen, Haiyang Sun, Licai Sun, Yong Ren, Zebang Cheng et al. "AffectGPT: A New Dataset, Model, and Benchmark for Emotion Understanding with Multimodal Large Language Models." arXiv preprint arXiv:2501.16566 (2025). 第一作者

获奖及荣誉

1.     中国电子学会技术发明一等奖 (5/6)， 2021

2.     第一届情感智能大会最佳海报奖 (1/5)，2023

3.     第十六届全国人机语音通讯学术会议最佳论文奖 (1/4)，2021

4.     国际维度情感识别竞赛MuSe@ACM MM冠军，2024

5.     国际微表情识别竞赛MEGC@ACM MM冠军，2023

6.     国际维度情感识别竞赛MuSe@ACM MM冠军，2022

7.     国际维度情感识别竞赛MuSe@ACM MM冠军，2021

8.     国际维度情感识别竞赛MuSe@ACM MM冠军，2020

9.     语音领域顶会ICASSP Outstanding Reviewer，2023

10.  语音领域顶会Interspeech Travel Grand，2020

专利成果

1.       Dialogue emotion correction method based on graph neural network. No. 12100418. Jianhua Tao, Zheng Lian, Bin Liu, Xuefei Liu. 国际专利，已授权

2.       Automatic lie detection method and apparatus for interactive scenarios, device and medium. No. 11238289. Jianhua Tao, Zheng Lian, Bin Liu, Licai Sun. 国际专利，已授

3.       Multimodal dimensional emotion recognition method. No. 11281945. Jianhua Tao, Licai Sun, Bin Liu, Zheng Lian. 国际专利，已授权

4.       Multi-modal lie detection method and apparatus, and device. No. 11244119. Jianhua Tao, Licai Sun, Bin Liu, Zheng Lian. 国际专利，已授权

5.       Expression recognition method under natural scene. No. 11216652. Jianhua Tao, Mingyuan Xiao, Bin Liu, Zheng Lian. 国际专利，已授权

6.       基于音视频的鲁棒情感建模系统. No. CN113255800. 陶建华, 连政, 刘斌, 孙立才. 国内专利，已授权

7.       海量音视频情感识别系统. No. CN112633263. 陶建华, 连政, 刘斌, 孙立才. 国内专利，已授权

8.       基于图神经网络的对话情感纠错模型. No. CN112579745. 陶建华, 连政, 刘斌, 柳雪飞. 国内专利，已授权

9.       面向交互场景的自动谎言检测方法、装置、设备及介质. No. CN112329748. 陶建华, 连政, 刘斌, 孙立才. 国内专利，已授权

10.    基于微表情、肢体动作和语音的多模态情感识别方法. No. CN113469153. 陶建华, 张昊, 刘斌, 连政. 国内专利，已授权

11.    基于音视频的疲劳状态检测方法和装置. No. CN113642522. 陶建华, 肖明远, 刘斌, 连政. 国内专利，已授权

12.    多模态融合的心理压力分析方法. No. CN113255635. 陶建华, 何宇, 刘斌, 连政. 国内专利，已授权

13.    自然场景下的表情识别方法和装置. No. CN112580617. 陶建华, 肖明远, 刘斌, 连政. 国内专利，已授权

14.    多模态维度情感识别方法. No. CN112560830. 陶建华, 孙立才, 刘斌, 连政. 国内专利，已授权

15.    基于融合深度特征的微表情识别方法. No. CN112560812. 陶建华, 佘文祥, 刘斌, 连政. 国内专利，已授权

16.    多模态谎言检测方法、装置、设备. No. CN112329746. 陶建华, 孙立才, 刘斌, 连政. 国内专利，已授权

社会任职

1.     中国中文信息学会情感计算专委会执行委员

2.     中国计算机学会语音对话与听觉专委会执行委员

3.     中国图象图形学学会情感计算与理解专委会委员

4.     中国人工智能学会情感智能专委会委员

5.     情感计算会刊IEEE Transactions on Affective Computing 副主编

6.     语音领域会议ISCSLP分会主席（Session Chair）

7.     ICML、ICLR、NeurIPS等会议以及TPAMI、IJCV等期刊审稿人