微表情识别算法的改进及在谎言识别中的应用研究文献综述

文献综述（或调研报告）：

1. 微表情数据集

充足的微表情数据对于现阶段的研究具有先决意义，绝大部分工作均是在现有微表情数据集的基础上展开的。但由于微表情的识别研究起步晚，数据捕捉难度高，且非专业人员难以鉴别和标记，因此微表情数据集的建立异常困难，截至目前公开的数据集整体数量较少。主流微表情数据集有：芬兰Oulu大学的SMIC(Spontaneous microexpression corpus)^[1]和SIMC 2^[2]、中国科学院的CASME(China Academy of Sciences microexpression)^[3]和CASME II^[4]、美国南佛罗里达大学的USF-HD^[5]和日本筑波大学的Polikovsky dataset^[6]。其中SMIC 2包含HS、VIS、NIR三个子集，分别由高速摄像机、普通相机和近红外摄像机拍摄。上述微表情数据集的基本情况在下表中总结。

微表情数据集

1. 微表情视频预处理技术

在进行微表情识别前，对微表情视频进行一些预处理往往是十分必要的，涉及到的主要技术包括人脸（特征点）检测、微表情视频帧长归一化以及微表情动作放大等。

对于微表情图像帧，首先需进行人脸检测，当前主流的人脸检测技术主要有传统的Viola-Jones^[7]检测器和基于深度学习的Faster R-CNN^[8]、MTCNN^[9]检测器等。检测出人脸区域后，需检测出面部各特征点坐标以进行更加细致的划分，当前主流的人脸特征点定位技术有基于形状匹配的主动形状模型(Active Shape Model, ASM)^[10]、主动外观形状模型(Active Appearance Model, AAM)^[11]和基于回归的集成回归树(Ensemble of Regression Trees, ERT)^[12]等。

由于微表情持续时间短，为避免一些空时描述子的提取受限于图像帧数不足，帧长归一化处理可将微表情图像序列归一化至可操作的长度，同时也避免了由于图像序列帧数过多导致的冗余信息影响识别准确率的问题。当前最常用的帧长归一化技术是Zhou等人^[13]提出的时域插值法(Temporal Interpolation Method, TIM)，该方法以原始序列作为输入，基于流形进行采样，将图像序列嵌入至低维空间的曲线上进行插值，再映射回高维空间还原图像序列。

由于微表情动作幅度小，为实现运动幅度的放大，使特征提取更有效，一些研究引入了欧拉影像放大(Eulerian Video Magnification, EVM)^[14]技术对微小的肌肉动作进行放大。EVM通过构建图像金字塔，对视频先进行空间滤波而后时域滤波，从而放大视频中的微小变化。该方法既可以构建拉普拉斯金字塔应用于微表情识别实现对运动的放大，也可以构建高斯金字塔实现对色彩的放大。

1. 微表情检测技术

微表情检测(Micro-Expression)是微表情识别的重要前置任务，即从微表情视频样本中检测出微表情发生的视频帧，只有经过检测确定为微表情片段的样本才会进行进一步分类，由于微表情持续时间短、动作幅度小，相应的检测工作难度也远远大于对宏观表情。

Xia^[15]等人通过对几何形变进行建模，完成关键点定位后将每帧与首帧进行Procuste变换，进而比较面部形变，同时引入了随机过程计算特征转移概率，根据概率判断视频帧是否具有微表情；Moilanen ^[16]等人通过滑动窗口，计算每一帧图像分块后的LBP特征^[17]，计算当前帧(Current Frame, CF)相差k帧的首尾两帧(Head Frame, HF), (Tail Frame, TF)的卡方距离来比较特征差异，进而使用阈值判断是否为峰值帧；Patel^[18]等人首先使用判别式响应图拟合(Discriminative Response Map Fitting, DRMF)^[19]定位关键点，再基于FACS将相同面部器官上的关键点分为一组，逐帧抽取光流场以计算每个特征点的运动向量，对每一分组计算平均运动向量并随时间幅值累加，通过寻找累加最大值得到其对应AU的顶点；Yan^[29]等人使用受限局部模型(Constrained Local Model, CLM)^[21]定位关键点后计算各帧与首帧的LBP特征向量累计偏差，寻找偏差峰值以确定微表情顶点。

微表情检测作为后续识别工作的基础，其性能好坏直接关系到后续的分类工作，但目前针对该技术的研究进展缓慢，是一个亟待解决且具有挑战性的问题。

1. 微表情分类技术

微表情分类是指将给定的微表情样本识别为某一具体的情绪类别，是微表情识别的核心内容，相比于微表情检测也受到了更广泛、更深入的研究。微表情分类技术主要分为基于特征提取和分类器的传统机器学习方法以及近年来新兴的基于深度学习的方法，其中特征提取又可以分为LBP相关的空时描述子特征和光流相关的特征，在下文中将分别总结。

由T. Ojala ^[17]等人在1994年提出的局部二值模式(Local Binary Pattern, LBP)是用于提取图像局部纹理特征的一种经典描述子，具有旋转不变性和灰度不变性等显著优点。 Local Binary Pattern on Three Orthogonal Plane (LBP-TOP)^[22]是LBP由二维空间到三维空时的拓展，可有效描述图片序列的动态纹理，通过对其三个正交平面分别计算LBP特征即可获得。LBP-TOP最早由Pfister^[23]等人作为特征描述方法应用于微表情识别，随后被大量研究工作采用以获得基线结果，成为微表情识别的基准特征之一。许多研究者致力于使用LBP-TOP特征变种及其改进版本进行微表情识别，例如：Huang^[24]等人提出了完备局部量化模式(Spatial Temporal Completed Local Quantized Pattern, STCLQP) ，增加中心像素的梯度信息，并将周围像素与中心像素的局部量化模式分解成幅值大小和符号正负，分别用二进制数进行编码；Wang^[25]等人提出了六交点局部二值模式(LBP with Six Intersection Points, LBP-SIP)，相比于LBP-TOP只采用固定的六个唯一点作为相邻点用于LBP编码，大大降低计算复杂度；Huang^[26]等人提出了时空局部二值模式积分图(Spatiotemporal LBP with Integral Projection, STLBP-IP)，首先计算图像差分序列，然后在水平和垂直两个方向积分投影后进行LBP编码。

微表情识别采用的另一主流特征是光流(Optical Flow, OF)，时序动态信息被证明是微表情的有效描述手段，而光流在对图像序列的时序动态信息建模中可以取得良好的效果，因此使用光流进行微表情识别的研究也在不断展开，例如：Xu[27]等人提出了面部动力谱特征(Facial Dynamics Map, FDM)，抽取两帧之间的稠密光流场，消除由光照变化和面部平移引起的误差；Liu[28]等人提出了主方向平均光流特征((Main Directional Mean Optical flow feature, MDMO)，在完成特征点定位后抽取图片序列中光流谱的主方向计算平均光流特征。

基于上述特征和对应的标签，训练分类器即可实现对微表情测试样本的分类预测，经典的分类器如K近邻算法(K-Nearest Neighbor, KNN)^[29]，支持向量机(Support Vector Machine, SVM)^[30]，随机森林(Random Forest, RF)^[31]，稀疏表示分类(Sparse Representation Classifier, SRC)^[32]等均已被用于微表情分类工作。

随着深度学习(Deep Learning)方法如卷积神经网络(Convolutional Neural Networks, CNNs)^[33]，长短时记忆循环神经网络(Long Short Term Memory Recurrent Neural Networks, LSTM RNNs)^[34]在模式识别领域得到越来越广泛的应用，研究人员也在尝试使用深度学习的方法进行微表情识别工作。Kim^[35]等人提出了一个基于CNN和LSTM的空时特征学习网络，首次采用深度学习的方法研究微表情识别，该方法使用所有微表情视频样本的峰值帧训练CNN学习空间特征，而后使用CNN的输出作为特征训练LSTM网络学习时间特征；Peng^[36]等人提出了双时间尺度卷积神经网络(Dual Temporal Scale CNN, DTSCNN)用于微表情识别工作，DTSCNN在两种不同的时间尺度下对微表情样本进行建模，并以从序列中提取的光流作为输入特征，最终在决策层融合。当前有关深度学习在微表情识别工作中改的研究较少，整体进展也较为缓慢。

参考文献

1. Pfister T, Li X, Zhao G, et al. Recognising spontaneous facial micro-expressions[C]// International Conference on Computer Vision. IEEE, 2012.
2. Li X, Pfister T, Huang X, et al. A Spontaneous Micro-expression Database: Inducement, collection and baseline[C]// IEEE International Conference amp; Workshops on Automatic Face amp; Gesture Recognition. 2013.
3. Yan W J, Wu Q, Liu Y J, et al. CASME database: A dataset of spontaneous micro-expressions collected from neutralized faces[C]// IEEE International Conference amp; Workshops on Automatic Face amp; Gesture Recognition. 2013.
4. Yan WJ, Li X, Wang SJ, et al. CASME II: An Improved Spontaneous Micro-Expression Database and the Baseline Evaluation [J]. Plos One, 2014, 9(1):e86041.
5. Shreve M, Godavarthy S, Goldgof D, et al. Macro- and micro-expression spotting in long videos using spatio-temporal strain[C]// IEEE International Conference on Automatic Face amp; Gesture Recognition. 2011.
6. Polikovsky S, Kameda Y, Ohta Y. Facial Micro-Expression Detection in Hi-Speed Video Based on Facial Action Coding System (FACS) [J]. Ieice Transactions on Information amp; Systems, 2013, 96(1):81-92.
7. Viola P, Jones M J. Robust real-time face detection [J]. International journal of computer vision, 2004, 57(2): 137-154.
8. Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]// International Conference on Neural Information Processing Systems. MIT Press, 2015:91-99.
9. Xiang J, Zhu G. Joint Face Detection and Facial Expression Recognition with MTCNN[C]// International Conference on Information Science and Control Engineering. IEEE Computer Society, 2017:424-427.
10. Van Ginneken B, Frangi A F, Staal J J, et al. Active shape model segmentation with optimal features [J]. IEEE Transactions on Medical Imaging, 2002, 21(8):924-933.
11. Cootes T F, Edwards G J, Taylor C J. Active Appearance Models [J]. Pattern Analysis amp; Machine Intelligence IEEE Transactions on, 2001, 23(6):681-685.
12. Kazemi V, Sullivan J. One millisecond face alignment with an ensemble of regression trees[C]// Computer Vision and Pattern Recognition. IEEE, 2014:1867-1874.
13. Zhou Z, Zhao G, Pietikainen M. Towards a practical lipreading system[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2011:137-144.
14. Wang Y, See J, Oh Y H, et al. Effective recognition of facial micro-expressions with video motion magnification [J]. Multimedia Tools amp; Applications, 2016:1-26.
15. Xia Z, Feng X, Peng J, et al. Spontaneous micro-expression spotting via geometric deformation modeling[J]. Computer Vision amp; Image Understanding, 2016, 147(C):87-94.
16. Moilanen A, Zhao G, Pietikainen M. Spotting Rapid Facial Movements from Videos Using Appearance-Based Feature Difference Analysis[J]. 2014.
17. Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis amp; Machine Intelligence, 2002, 24(7):971-987.
18. Patel D, Zhao G, Pietikauml;inen M. Spatiotemporal Integration of Optical Flow Vectors for Micro-expression Detection [J]. 2015.
19. Asthana A , Zafeiriou S , Cheng S , et al. Robust Discriminative Response Map Fitting with Constrained Local Models[C]// Computer Vision amp; Pattern Recognition. IEEE, 2013.
20. Yan W J , Wang S J , Chen Y H , et al. Quantifying Micro-expressions with Constraint Local Model and Local Binary Pattern[M]// Computer Vision - ECCV 2014 Workshops. Springer International Publishing, 2015.
21. David C. Automatic feature localisation with constrained local models [J]. Pattern Recognition, 2008, 41(10):3054-3067.
22. Zhao G, Pietikainen M. Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions [J]. IEEE Transactions on Pattern Analysis amp; Machine Intelligence, 2007, 29(6):915-928.
23. Pfister T, Li X, Zhao G, et al. Recognising spontaneous facial micro-expressions[C]// International Conference on Computer Vision. IEEE, 2012.
24. Huang X , Zhao G , Hong X , et al. Texture description with completed local quantized patterns[M]// Image Analysis. Springer Berlin Heidelberg, 2013.
25. Wang Y, See J, Phan C W, et al. LBP with Six Intersection Points: Reducing Redundant Information in LBP-TOP for Micro-expression Recognition [J]. 2014.
26. Houam L, Lespessailles E, Lespessailles E, et al. One dimensional local binary pattern for bone texture characterization [J]. Pattern Analysis amp; Applications, 2014, 17(1):179-193.
27. Xu F, Zhang J , Wang J Z . Microexpression Identification and Categorization Using a Facial Dynamics Map [J]. IEEE Transactions on Affective Computing, 2017, 8(2):254-267.
28. Liu Y J, Zhang J K, Yan W J, et al. A Main Directional Mean Optical Flow Feature for Spontaneous Micro-Expression Recognition [J]. IEEE Transactions on Affective Computing, 2016, 7(4):299-310.
29. Cover T, Hart P. Nearest neighbor pattern classification [J]. IEEE Trans. inf. theory, 1953, 13(1):21-27.
30. Cortes C, Vapnik V. Support-vector networks [J]. Machine Learning, 1995, 20(3):273-297.
31. Liaw A, Wiener M, Liaw A. Classification and Regression by Random Forests [J]. R News, 2002, 23(23).
32. Wright J, Yang A Y, Ganesh A, et al. Robust face recognition via sparse representation [J]. IEEE transactions on pattern analysis and machine intelligence, 2009, 31(2): 210-227.
33. Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. 2012.
34. Hochreiter S, Schmidhuber J. Long Short-Term Memory [J]. Neural Computation, 1997, 9(8):1735-1780.
35. Kim D H, Baddar W J, Yong M R. Micro-Expression Recognition with Expression-State Constrained Spatio-Temporal Feature Representations[C]// Acm on Multimedia Conference. 2016.
36. Peng M, Wang C, Chen T, et al. Dual Temporal Scale Convolutional Neural Network for Micro-Expression Recognition [J]. Frontiers in Psychology, 2017, 8:1745.

资料编号：[180980]

文献综述（或调研报告）：

1. 微表情数据集

充足的微表情数据对于现阶段的研究具有先决意义，绝大部分工作均是在现有微表情数据集的基础上展开的。但由于微表情的识别研究起步晚，数据捕捉难度高，且非专业人员难以鉴别和标记，因此微表情数据集的建立异常困难，截至目前公开的数据集整体数量较少。主流微表情数据集有：芬兰Oulu大学的SMIC(Spontaneous microexpression corpus)^[1]和SIMC 2^[2]、中国科学院的CASME(China Academy of Sciences microexpression)^[3]和CASME II^[4]、美国南佛罗里达大学的USF-HD^[5]和日本筑波大学的Polikovsky dataset^[6]。其中SMIC 2包含HS、VIS、NIR三个子集，分别由高速摄像机、普通相机和近红外摄像机拍摄。上述微表情数据集的基本情况在下表中总结。

微表情数据集