基于深度学习的表情识别开题报告

全文总字数：4390字

1. 研究目的与意义（文献综述）

人脸表情识别是计算机对人类感情进行理解得重要方向，在人机交互中也占有重要地位。表情识别是从现有的相片或动态视频中选取出表情，进而确定对象的心理情绪。在上世纪七十年代，美国的心理学家ekman和friesen通过大量推理，定义了人类六种基本表情：快乐，气愤，惊讶，害怕，厌恶和悲伤。在本次毕业论文的表情分类中还添加了一个中性表情。人脸表情识别在人机交互和情感计算领域有着广泛的研究前景，包括人机交互、情感分析、智能安全、娱乐、在线教育、智能医学等。

在面部表情研究的初级阶段，探索其情绪模式和基本范畴已成为主要的研究内容和方向。只有形成统一的分类标准和模型，才能进一步研究面部表情。因此，面部表情模式和基本情感类别的形成是面部表情识别研究的基础。达尔文是首位在国外研究表情的科学家。达尔文通过多年对人和动物表情的研究发现，人类面部表情起初并不是有意识地表达情感，而是因为具有生存和适应的价值而不断延续，并在漫长的进化过程中逐渐发展成为表达情感的固定面部肌肉模型。

接着weiss和schlosbrg进一步发展和研究了面部表情模式。weiss重新分析了早期研究的数据，要求100名受试者判断86张面部表情照片的分数分布，并提出了识别面部表情的第一个系统尺度。这个量表列出了六种基本情绪。除了先驱者weiss，izard和p.ekman主要从事面部表情模式的研究。他们通过人类面部表情，特别是婴儿面部表情，提出了特定的面部模式和基本情绪的校准标准，从而得出人类基本情绪的类别。

2. 研究的基本内容与方案

深度学习是机器学习领域的一个新的发展方向，是传统人工神经网络的进化。随着复杂神经网络强大的表达能力和大数据带来的丰富训练数据集，深度学习在图像处理、自然语言识别等领域取得了比传统机器学习方法更好的实际效果。在由1400万幅图像组成的imagenet数据集上进行图像识别时，机器学习已经能够获得比人类更高的识别精度。本课题的目的是利用现有的方法和工具，实现基于深度学习的人脸表情识别。

本次设计拟采用fer1013数据集和ck 数据集。fer1013数据集包括28709个训练图、3589个公共测试图和3589个私人测试图。每个图像都是48×48像素的灰度图像。fer2013数据库中有7种表达方式：愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中立。数据库是2013年kaggle竞赛的数据。数据集由训练集、测试集和验证集组成，比例为8:1:1。图片保存为csv文件。ck 数据库于2010年发布，并从cohn-kanade数据集扩展而来。该数据库包括123个受试者和593个图像序列。每个图像序列的最后一帧都有动作单元的标签。在这593个图像序列中，327个具有情感标签。

在本设计中，我们建议使用pytorch架构和深度卷积神经网路来撷取面部表情特徵。根据已有的数据，我们使用多种模型来比较lenet和cliquenet、vgg19等模型对人脸识别的影响。对于lenet 模型，该模型输入48×48幅图像，经过三次卷积和合并后输出6×6×128个三维矢量。在扩展成一维向量后，它向全连接层馈送信息，最后输出8个分类的概率。由densenet引申的cliquenet模型不同于densenet，因为每一层都是双向连接的。在第一阶段，特征是从浅层到高层。在第二阶段，特征从近层更新到最远层。在浅层提取细节，在深层提取全局信息。vgg19的每个小块由一个卷累积层、一个batchnorm层、一个relu层和一个平均池层组成。resnet由两个体积累积层和两个batchnorm层组成，每个resnet模块的输入输出终端都有一个快捷链接。在实际应用中，为了防止网络拟合速度过快，可以进行一些人工图像变换，如车削、旋转、切割等。这叫做数据增强。数据操作的另一个巨大优势是扩展了数据库中的数据量，使训练网络更加健壮。此外，可以使用验证数据集调整超级参数，并选择adam优化器以更好地实现目标。

3. 研究计划与安排

第一周至第三周翻译布置的论文，结合论文在图书馆、网上查找资料，建立对毕业设计主题的理解 第四周至第六周 熟悉pytorch框架、人脸表情识别现有方法，设计实现路径 第七周至第九周 实现实验代码，获取实验成功的截图，构思毕业论文 第十周至第十四周 撰写、修改毕业论文，准备答辩PPT 第十五周至第十六周 答辩及答辩后修改、提交

4. 参考文献（不低于12篇）

[1]jeon, j., park, j. c., jo, y. j., nam, c. m., bae, k. h., nziger and k. r. scherer. introducing the geneva multimodal emotion portrayal (gemep) corpus. blueprint for affective computing: a sourcebook, pages 271–294, 2010. 5, 6

[6] j. f. cohn, z. ambadar, and p . ekman. observer-based measurement of facial expression with the facial action coding system. the handbook of emotion elicitation and assessment, pages 203–221, 2007. 2

[7] f. de la torre and j. f. cohn. facial expression analysis. in visual analysis of humans, pages 377–409. springer, 2011. 2