基于卷积神经网络的手势姿态估计开题报告

1、目的及意义

1.1 研究目的及意义

随着VR系统、医疗康复、智能假肢等领域的迅猛发展，人们对更加自然、便捷的人机交互方式的需求与日俱增。但是传统的机械设备检测手势需要被检测者佩戴专用的硬件设备以跟踪人手的运动信息，这种手势识别方案不仅外设昂贵，而且极其不自然，所以仅仅只应用于实验室或者少数特定场景。随着卷积神经网络的快速发展，手势识别作为一种新型的人机交互方式逐渐进入大众视野，并成为当前模式识别领域的研究热点，这对人机交互方式的研究起到了极大的推动作用。相较于传统外设交互方式，手势识别更为自然便捷，部署成本也更为低廉。更有可能成为主流的人机交互解决方案，为人机交互带来全新的体验。

1.2 国内外研究现状

手势识别是计算机科学中语言技术的重要分支，其目的在于利用数学算法来解释人的手势，以实现用户通过简单手势来控制设备或与设备进行交互。

最早的手势识别研究思路是利用专用的硬件外设，如带有传感器的特殊手套。研究人员通过传感器所采集的位置、速度、加速度等信息来分析手部姿势。如1993年的B.Thamas等人所做的通过自由手遥控目标的系统，就是利用特制的数据手套作为输入设备^[1]。但是这种方案需要昂贵的特殊外设，而且穿戴不便。之后研究人员将方向转移至标记手势上来。例如在手上做特殊标记，但这在方便了识别的同时，却给实验者带来了不小的麻烦^[2]。最终人们开始将注意力集中到了自然手识别的方向上。例如Freeman和Roth等人提出的基于方向直方图的手势识别系统^[3]。

近年来由于卷积网络的飞速发展，基于计算机视觉的手势识别成为了研究的热点。由于普通彩色摄像头在家庭生活中大规模普及，基于彩色图像的手势识别得到了长足的发展。四川大学的石雨鑫、邓红敏等人利用神经网络和主成分分析法相结合用PCA对CNN权值进行预处理，再通过随机森林进行分类，实现了一种较好的静态手势识别方法，平均识别率达到94.56％^[4]。来自弗莱堡托马斯·布罗克斯大学的ChristianZimmermann等人，提出了一种由三个深层网络组成的3D手势估计算法^[16]。可以在缺少深度信息的普通RGB图像中正确识别三维手势，该算法使得在没有深度相机的情况下采用普通彩色摄像头即可实现手势识别，进一步降低了手势识别的硬件门槛。

因为一般RGB摄像头相较于主流的深度相机如：结构光相机、TOF相机而言价格十分低廉，而且普通家庭保有量极大，所以利用神经网络和RGB摄像头的手势识别方案有着很好的可行性和广阔的市场^[5]。可以看到，目前的手势识别方案正确率已经很高，可以在很多特定场景下很好的完成手势识别功能。但同时，因为RGB摄像头本身硬件和算法的限制，目前很多已有的方案在一些特定情况下的识别效果也不甚理想。比如在复杂背景下识别准确率不高，在复杂光照情况下如：过度曝光、光照不足的情况下，因为缺乏有效信息无法识别，或者在出现特征匹配、缺乏纹理等特殊场景下识别失败^[3]。所以可见在手势识别已经有很好的解决方案的今天，依旧存在着广阔的研究空间。基于CNN的手势识别依旧是极具价值和充满挑战的研究领域。

2、研究（设计）的基本内容、目标、拟采用的技术方案及措施

本文以手势识别为背景，利用已有的经典卷积神经网络AlexNet对手势图片进行处理，设计并构造一个可以在复杂背景下准确识别手势的系统。该系统以AlexNet卷积神经网络为基础，对卷积的第二层进行改进，本文提出了一种采用三维坐标回归的区域集成网络的解决思路，将卷积网络的最后一个卷积输出划分为几个网格区域。每个区域上独立的全连通(FC)回归量的结果被另一个FC层集成以进行估计，最终实现基于卷积神经网络实现手势姿态估计的算法。

因为在手势获取的过程中难免会引入噪声干扰，对于不同人种的肤色以及拍摄时的画面畸变等问题会严重影响手势识别的准确度，所以该设计第一步便是对手势图像进行包括去噪、色彩空间变换、二值化、形态学处理等预处理操作。同时，手势图像中经常会包含大量无用背景信息，这也是降低识别精度的重要原因。所以在对手势图像进行预处理后紧接着需要进行手势分割。本文采用基于YCbCr色彩空间的肤色分割方法，由于YCbCr色彩空间中图像的Cb、Cr有关值不同，可以较为方便的将手势区域提取出来。接着将进行了预处理和分割后的手势图像送入所构建的卷积网络中进行手势的特征值提取。最后采用随机森林建立识别模型，将特征交由模型识别，最终实现手势姿态估计。

3、进度安排

第1－4周：查阅相关文献资料，明确研究内容，了解研究所需理论基础。确定方案，完成开题报告。

第5－6周：熟悉掌握基本理论，完成英文资料的翻译，熟悉开发环境。

第7－9周：利用卷积神经网络实现手势姿态估计的算法设计。

第10－12周：仿真手势姿态估计算法，对仿真结果进行分析并优化算法。

第13－15周：完成并修改毕业论文，准备论文答辩。

第16周：论文答辩。

4、参考文献

[1] 胡友树.手势识别技术综述[J].中国科技信息,2005(02):42-41.

[2] 武霞,张崎,许艳旭.手势识别研究发展现状综述[J].电子科技,2013,26(06):171-174.

[3] 石雨鑫,邓洪敏,郭伟林.基于混合卷积神经网络的静态手势识别[J].计算机科学,2019,46(S1):165-168.

[4] 朱雯文,叶西宁.基于卷积神经网络的手势识别算法[J].华东理工大学学报(自然科学版), 2018,v.44(02):126-135.

[5] 陈皓,路海明.基于深度图像的手势识别综述[J].内蒙古大学学报(自然科学版), 2014(1).

[6] 张迪. 基于机器学习的手势识别技术研究[D].南京邮电大学,2019.

[7] 袁荣尚. 基于卷积神经网络的手势识别方法研究[D].广西师范大学,2019.

[8] 石雨鑫,邓洪敏,郭伟林.基于混合卷积神经网络的静态手势识别[J].计算机科学,2019,46(S1):165-168.

[9] 程琦. 基于卷积神经网络的复杂背景静态手势识别研究[D].山东大学,2019.

[10] 张朝柱,顾晓婷,张艺漫.基于深度卷积神经网络的手势动作识别[J].无线电工程,2019,49(07):587-591.

[11] 刘亚玲. 基于深度学习的手势分割和识别方法研究[D].长安大学,2019.

[12] 谢铮桂.基于改进的卷积神经网络的手势识别的研究[J].计算机应用与软件,2019,36(03):192-195 281.

[13] AbdessamadElboushaki,Rachida Hannane,Karim Afdel,Lahcen Koutti. MultiD-CNN: Amulti-dimensional feature learning approach based on deep convolutionalnetworks for gesture recognition in RGB-D image sequences[J]. Expert SystemsWith Applications,2020,139.

[14] LuvizonD C , Picard D , Tabia H . 2D/3D Pose Estimation and Action Recognition usingMultitask Deep Learning[J]. 2018.

[15] G. Wanget al, "Region ensemble network: Towards good practices for deep 3D handpose estimation," Journal of Visual Communication and ImageRepresentation, vol. 55, pp. 404-414, 2018.

[16] ZimmermannC , Brox T . [IEEE 2017 IEEE International Conference on Computer Vision(ICCV) - Venice (2017.10.22-2017.10.29)] 2017 IEEE International Conferenceon Computer Vision (ICCV) - Learning to Estimate 3D Hand Pose from Single RGBImages[J]. 2017:4913-4921.