研究背景：

       近年来，人脸表情识别（Facial expression recognition）也作为机器学习和模式识别的重要研究课题，可以从侧面反映出人工智能的发展水平。从90年代末开始，和人脸相关的科学研究一直是计算机领域的热点。随着技术的发展，人们越来越多地尝试利用机器视觉、图像处理技术实现自动化的人脸表情识别。该技术可以广泛应用于娱乐、安全、医疗、教育、人机交互等领域，例如（刷脸支付，人脸游戏，情绪检测等）。因此，研究人脸表情识别技术具有重要意义。

      Motivation：传统方法采用手工构造特征和分类器相结合的方法来实现识别目标。然而，这些方法的准确性往往严重依赖于提取的特征和分类器的参数，因此无法获得良好的结果。

研究成果：

       我们提出了一种新颖的卷积神经网络，由LBP(局部二进制模式)和改进的Inception-ResNet层组成，可以自动的识别七种表情。我们选择了Inception-v4层，与其他模型相比，它获得更高的识别率。

       我们利用双输入Inception-ResNet块（DIB）来解决面部表情识别问题。在所提出的网络中，我们在训练步骤中结合了LBP特征。这些功能提供纹理信息，反映出脸部的微小变化，这有助于网络关注面部特征，从而提高识别准确性。此外，我们采用Batch normalization来保证每层输入数据的稳定分布。 最后，我们使用数据增强来防止过拟合。

      下图显示了修改后的Inception-ResNet网络总体架构。

       我们将大小为299 * 299 * 1的图像输入“stem”模块，并将LBP特征添加到Inception-ResNet-A模块和Inception-ResNet-B模块中。 LBP特征映射被调整为网络中相应的过滤器大小。在所有卷积层中添加 Batch normalization层以避免过度拟合，并将ReLU 激活函数添加到所有批量标准化层以避免消失梯度的问题。

        我们提出的方法在3个基准数据集上与其他先进表情识别算法进行比较，实现了最优的性能。

Jing Li, Kan Jin, Dalin Zhou, Naoyuki Kubota, and Zhaojie Ju, “Attention Mechanism-based CNN for Facial Expression Recognition,” Neurocomputing, vol. 411, pp. 340-350, 2020. (SCI，中科院2区)

Jing Li, Yang Mi, Gongfa Li, and Zhaojie Ju, “CNN-based Facial Expression Recognition from Annotated RGB-D Images for Human-Robot Interaction,” International Journal of Humanoid Robotics, vol. 16, no. 4, 2019.  (SCI)

Jing Li, Yang Mi, Jiahui Yu, Zhaojie Ju, “A Novel Convolutional Neural Network for Facial Expression Recognition,” Int'l Conf. Cognitive Systems and Information Processing, pp.310-320, 2019. (EI会议)