手机面容识别：天黑了怎么办？——多光谱面容分析技术
在许多人心中，如今的人脸识别系统功能强大，无所不能：机场安检、刷脸支付、手机解锁……但其实，人脸识别问题还远没有达到彻底解决的程度。现有的人脸识别系统在面对一些特殊情况时，仍然表现得不尽如人意，例如获取图像传感器不同、妆容变化、脸部遮挡、光照变化，拍摄角度等。如何使人脸识别系统更加自如地应对这些特殊情况，仍然具有重要的科学研究意义和实际应用价值。智能感知与计算研究中心在人脸识别方面一直有着深厚的积累，近期中心针对不同应用场景提出了三种人脸识别方法，解决了不同场景下异质人脸识别的难题，为行业应用带来了进一步可能。
应用场景1．可见光图像和近红外图像之间的人脸识别
当使用不同的方式或不同的传感器获取人脸图像时，图像之间往往存在着很大的差异，例如可见光图像和近红外图像。可见光图像的广泛性不言而喻，而近红外图像在实际生活中也同样应用广泛。由于近红外技术能够在黑暗场景下获得高质量图像，因此其被广泛应用于监控系统。如何在可见光图像和近红外图像之间进行人脸识别，成为科研界和工程界共同关注的热门技术。
为消除异质人脸识别问题中因图像模态不同而造成的差异，中心提出了一种基于对抗学习的异质人脸识别方法：一种基于对抗学习的特征学习框架，该框架同时作用于原始图像像素空间与人脸特征空间。在像素空间，该方法使用对抗生成网络实现人脸图像的跨模态生成。在此，中心还提出了一种亮度值约束来辅助图像的生成，并结合双通道模型同时对全局结构与局部纹理进行建模，且不依赖于配对的训练数据。而在特征空间，该方法结合对抗损失与高维方差差异性损失对不同模态人脸数据的特征进行约束，两种损失分别在全局和局部两个层面消除模态的不一致性。
异质人脸识别主要解决不同模态人脸图像匹配问题，由于不同模态数据之间差异较大，同时缺乏足够的训练样本，中心在此提出了Coupled Deep Learning (CDL)解决异质人脸识别问题。该方法引入迹范数(trace norm)加强不同模态之间的相关性，约束CNN的参数空间，限制了模型复杂度，减轻了在训练数据不足情况下的过拟合问题。由于直接优化迹范数比较困难，引入了迹范数近似算法并使用交替迭代算法将迹范数优化与后向传播结合构成了一个端到端的CNN优化算法。此外，研究人员还提出了基于跨模态的三元组损失函数，并给出了合理的三元组选择方法，有效的利用有限异质样本之间的信息，提升模型识别能力。该方法的性能在CASIA NIR-VIS 2.0、CUFS、CUFSF等数据库上均超过了目前最好的算法。
应用场景2:带妆人群与素颜人群之间的人脸识别
如今化妆早已不是聚光灯下的专利，而成为了一种日常生活习惯。手机等智能终端也纷纷把美颜功能当作卖点，美妆在大众之中的火热程度可见一斑。化妆能够掩饰脸部瑕疵，增强五官立体感，表达独特性格。这些效果会显著改变一个人的面部特征，因此也会显著影响现有人脸识别系统的性能。在美妆和素颜之间进行人脸识别，也是一种异质人脸识别问题。为了解决该问题，研究人员们提出了妆容鲁棒（Makeup-Invariant）人脸识别方法。
在解决美妆带来的人脸识别问题时，常见的思路是用传统方法或深度神经网络学习得到不受化妆影响、对妆容鲁棒的特征。与之不同，本文提出利用生成网络模型来把化妆脸变成素颜脸，并且借此提升现有人脸识别系统对化妆的鲁棒性。该方法以生成对抗式网络（GAN）为基础，采用使生成器（G）和判别器（D）相对抗的策略完成网络训练。但不同于传统生成对抗式网络模型，该方法设计了两个判别器，一个（Dp）用以判断生成图片的真假，另一个（Df）用来判断生成图片的特征是否为真，即双层对抗网络。值得一提的是，上图中的F模块参数保持不变，且可以替换为任意特征提取模型。该方法把一张化妆人脸图像中的妆容去除，以提升现有人脸特征对美妆的鲁棒性。
相关研究将发表于AAAI2018上。
1） Adversarial Discriminative Heterogeneous Face Recognition
Lingxiao Song*, Man Zhang, Xiang Wu, Ran He
2） Coupled Deep Learning for Heterogeneous Face Recognition
Xiang Wu*, Lingxiao Song, Ran He, Tieniu Tan
3） Anti-Makeup: Learning A Bi-Level Adversarial Network for Makeup-Invariant Face Verification
Yi Li*, Lingxiao Song, Xiang Wu, Ran He, Tieniu Tan
研究团队简介：智能感知与计算研究中心隶属于中科院自动化所，中心主任为谭铁牛院士。中心致力于研究泛在智能感知理论与技术以及与之相伴的海量感知数据的智能分析与处理，瞄准国际学科前沿，面向国家公共安全、智能产业发展等重大战略需求，着眼于基础理论创新与关键技术突破以及系统解决方案的研制。中心目前主要在传感与信息获取、智能计算与识别、数据分析与安全、系统集成及应用等四个方面展开科学研究。