概况

        孤独症可以应用生物特征信号如核磁共振成像(Magnetic Resonance Imaging, MRI)或脑电波(Electroencephalogram, EEG)等对其进行辅助诊断。然而这些诊断方式并不是最优的，因为需要满足的条件有许多，例如专业的医生或专家、在像医院或者实验室等这种特殊的场所等。因此找到一种客观有效适宜普及的方法就尤为重要。所以本研究从孤独症儿童诊断的便捷性出发，提供了一种通过采取孤独症儿童日常生活的视频，应用深度学习的方法进行辅助诊断，希望能为医疗条件不发达地区的孤独症儿童的早期诊断提供帮助。

Jing Li, Zejin Chen, Yihao Zhong, Hak-Keung Lam, Junxia Han, et al., "Appearance-Based Gaze Estimation for ASD Diagnosis," IEEE Transactions on Cybernetics, pp. 1-14, 2022. (SCI，中科院1区)

Code: https://github.com/Chenzejin/Gaze-Estimation-for-ASD-Diagnosis 

Jing Li, Zejin Chen, Gongfa Li, Gaoxiang Ouyang*, and Xiaoli Li, “Automatic Classification of ASD Children Using Appearance-based Features from Videos”, Neurocomputing, vol. 470, pp. 40-50, 2022. (SCI，中科院2区)

Jing Li, Yihao Zhong, Junxia Han, et al., "Classifying ASD children with LSTM based on raw videos," Neurocomputing, vol. 390, pp. 226-238, 2020.（SCI，中科院2区）

Jing Li, Yihao Zhong, Gaoxiang Ouyang, et al., "Identification of ASD Children based on Video Data," International Conference on Pattern Recognition, 2018: 367-372.（EI会议）

研究背景：

       人群分析是计算机视觉，模式识别领域内一个非常重要的研究方向。以此为基础构建智能化的监控系统和网络，作为安全监控的一种新手段已经得到了高度重视。智能视觉监控的出现使得对人群的监控可以不依赖于人工，而是利用计算机视觉自主分析特定复杂场景下的监控对象的行为。随着公众活动变得频繁，由高密度人群引起的事故越来越多，因此基于视觉计算对人群场景的理解、人群密度估计及异常行为分析已经成为一个非常具有研究意义和实用价值的课题。

研究成果：

      提出了基于residual building block 的RBBnet人群计数模型。

图1，RBBnet结构图

       人群密度计数普遍采用多列CNN网络。然而，尺寸不同的卷积核对相同的输入表现出非常相似的一致性，多列CNN并不能有效解决尺度不变性的问题，而且无效列的加入会带来大量亢余的参数。基于此，我们以单列CNN为主干，在两个卷积层之间插入跳跃的短线连接(short cut)形成残差单元，构造基于残差单元的卷积神经网络（RBBNet）来提取人群密度特征并回归得到密度图。通过在单列网络中加入残差单元，使得网络参数更加精简，残差的引入使梯度更容易流动，加速了网络的训练过程。对比于现有的网络，我们的RBBNet网络能够有效应对各种复杂的人群密度场景，并在多个主流的数据集上（如ShanghaiTech Part_B）都获得了最好的结果。图2从左到右分别显示了真实场景图片、真实值和预测的密度图，可以看出无论是生成密度图的质量还是统计的人数都十分接近真实值。

 图2，RBBNet输出的密度图和性能对比

Jing Li, YaoKai Xue, Weiqun Wang, et al. Cross-Level Parallel Network for Crowd Counting[J]. IEEE Transactions on Industrial Informatics, 2020, 16(1): 566-576.（SCI 1区）

Yaokai Xue and Jing Li, “Crowd Counting Via Residual Building Block Convolutional Neural Network”, The 3rd Int’l Symp. Autonomous Systems, accepted, 2019. (EI) 

研究背景：

       随着科学技术的飞跃发展，人机交互越来越频繁的发生在更多人的身边，为许多人的生活带来了方便，其中人机手势交互是最为活跃的一个领域。手势识别是计算机科学和语言技术中的一个主题，目的是通过数学算法来识别人类手势。用户可以使用简单的手势来控制或与设备交互，而无需接触他们。然而手属于非刚性物体，变化丰富，使得手势识别的难度加大了不少。手势识别是一个复杂的系统，通常基于计算机视觉的识别系统，包括手势定义、图像的获取、处理、分析、理解。但是应用前景广阔，主要领域有家庭娱乐、智能驾驶、智能穿戴等。因此，对手势识别的研究具有很大价值。

研究成果：

 J Li,L Zhang ,Z Ju , et al. Residual Attention Regression for 3D Hand Pose Estimation[C]. international conference on intelligent robotics and applications, 2019: 605-614.(EI)