融合leap motion和kinect的人体动作识别研究开题报告

1. 研究目的与意义（文献综述）

基于视觉的人体动作识别技术近年来取得了很大的进展。mit人工智能实验室先后建立多个项目对自然环境下的人体行为分析、人机交互感知等问题进行了探讨；cmu机器人研究所在人脸、人体行为的检测、跟踪与识别方面也进行了相关研究；美国伊利诺斯香槟分校的研究人员从多幅画面中实现了人手与面部的3d建模；佐治亚里工学院对连续的美国手语动作进行了实时跟踪识别。

体感技术的出现，极大地提高了人体动作识别的精度和稳定性，操作者可以直接地使用肢体动作，与周边的装置和环境进行互动。早起2006年任天堂设计了wii体感游戏机，通过无线手柄进行工作；2009年，sony推出了psmove，它不仅会辨识上下左右的动作，还会感应手腕的角度变化。

2010年6月14日，微软随xbox360的体感外设3d摄像机kinect；用结构光编码技术来获取图像的深度信息。kinect的摄像头包括一个rgb摄像头、一个红外摄像头和一个红外发生器。红外发射发出的近红外激光，用以标记整个空间。红外摄像头接收空间标记，并传递至kinect内部的图像处理芯片，最终得到深度影像。相比于之前的产品,比如tof摄相机,kinect拥有价格低廉，分辨率高的特点。而且由于自带图像处理芯片，不需要pc额外的计算，也对pc要求更低。这些特性使得kinect成为体感领域最热门的工具。最新推出的leapmotion体感设备，给人们创造了研究手势的新机会。leapmotion依赖于内置的双目相机和红外led高精度的捕获、跟踪和跟踪手的运动，再通过图像处理出软件处理图像数据，并将其转化成手势和触摸事件。它可以对用户手掌的9块骨头和29个关节进行检测，识别毫米级别的极短位移量，探测使用者的手指、手掌、手臂，也可以探测类似于手指的实体，这种精度是以前任何一个类似的民用都不曾达到的高度。但是leapmotion的交互空间非常有限（有效探测范围在25到600毫米，呈倒立四棱锥状），这个特性也限制了其使用场景。与kinect相比，leapmotion主要针对手掌手势识别，并且直接计算指尖的位置和手掌方向。相较而言，kinect适用于较远距离的人体动作识别，而leapmotion适合于近距离的手势精确描述，两者在作用范围上具有互补性，把两者结合起来，可以更加准确地跟踪人体的运动，因而具有相当的理论及应用研究价值。

2. 研究的基本内容与方案

2.1研究的基本内容

学习两种设备的原理，调试编译环境，通过融合两设备的优点来完成对人体动作和手势的识别。

2.2目标

3. 研究计划与安排

第1周—第4周 查阅资料和制定方案；

第5周—第8周 构建传感器系统，进行识别算法设计，并编写相应软件；

第9周—第13周 对系统进行调试；

4. 参考文献（12篇以上）

[1]潘佳佳,徐昆.基于leapmotion的三维自由手势操作[j].中国科技论文,2015(2):207-212.

[2]王艳,张奇志.基于kinect深度信息的手势识别[j].北京信息科技大学学报(自然科学版),2013,01:22-26.