基于手势识别的人机交互系统设计开题报告

1. 研究目的与意义（文献综述）

1.1 研究目的及意义 随着计算机的普及和科技水平的逐步提高，人机交互已经成为人们生活中不可缺少的一部分。过去的人机交互主要是通过鼠标，键盘等来控制计算机，但是随着智能机器的发展，传统的交互方式慢慢显示出它的局限性，人机交互逐渐从“以机器为中心”向“以人为中心”转移，新的人机交互方式应运而生。其中基于视觉的手势识别以人手直接作为计算机的输入设备,人机之间的通讯将不再需要中间媒体,用户可以简单地定义一种适当的手势来对外部机器进行控制。手势是人类日常生活中常见的一种交流方式，运用于各行各业中，如作战时，指挥部队运用大量手势进行交流；在比赛中，裁判通过手势来判罚比赛，而手势更是聋哑人交流的主要方式。手势不仅具有直观、简单、形象的特点，而且蕴藏着大量的信息。因此，手势识别作为一种新兴的人机交互方式，已经逐渐成为人们研究的热点。手势识别，现在已经出现一些产品应用中。特别是在最近几年，iphone的多点触摸技术，Kinect的体感技术都是运用了手势识别技术。手势作为最自然而且直观的人机交互手段，也出现在各个领域。比如：1.聋哑人手语识别聋哑人主要的交流方式为手语，手语识别技术可以很好的帮助聋哑人在日常学习生活中进行交流。手语识别首先可以通过采集聋哑人的手语数据，利用模式识别的相关算法，将手语数据转换成语音，让不懂手语的正常人能够与其能够进行沟通；同时也可以通过相关技术，将语音翻译成手语，让聋哑人也能很好的与正常人进行交流，极大的方便了聋哑人的生活。2．机器人控制在一些特殊的场合或不方便直接操作的场合，可以通过手势控制机器人来完 成一些操作。比如：在抗震救灾中时，通过手势控制可以让机器人代替人来完成比较危险的搜救工作；在太空中，利用手势识别技术让机器人帮助宇航员完成相关操作。3．家庭娱乐利用手势识别技术，可以用手势来控制电影的播放和游戏的互动。比如在电视手势识别方面，三星、康佳、TCL等电视厂商都已经推出了带有手势识别的电视机产品，直接用掌心挥动、握拳抓取、左右挥动、双拳合作等手势来完成移动控制、选择确认、切换页面、缩放和旋转等功能;而在游戏机方面比较著名的则是微软的游戏机Xbox。Xbox游戏机的手势识别主要由Kinect来完成，Kinect是一种3D体感摄影机，上面集成了可以识别用户动作及表情的摄像头和红外传感器，用户只需通过扭动身体部位即可达到控制游戏中角色的效果。4．智能驾驶驾驶中与中控的互动一直被认为是不安全因素之一，其主要原因就在于人机交互过程吸引了驾驶者过多的注意力，这方面语音交互方案的呼声比较高涨，应用也较多，而手势识别作为另一种替代方案也被很多大牌厂商重视。在15年的CES展上，宝马展出了最新iDrive系统，其重要变化之一就是引入了手势识别功能，通过安装在车顶上的3D传感器对驾驶员手势的识别，实现对车辆导航、信息娱乐系统的控制。这些只是目前手势识别已经实现的一些应用，也许在未来，随着技术的发展，手势识别将会发挥出更大的作用。作为一种新兴的人机交互方式，手势识别技术有着广泛的应用前景。同时，目前手势识别的研究还处于实验阶段，特别是实时条件下的动态手势识别，理论还不够成熟，还不能适应复杂多变的环境， 因此基于动态手势识别的人机交互的研究具有重大的意义。1.2 国内外研究现状 手势是人手的一种运动姿态，可以表达人的一些情感并用来与其他人进行交流。根据不同手势输入设备，手势识别技术一般分为两大类。一类是利用专门的硬件设备来进行输入，如数据手套。1983 年，Bell 实验室的 Grimes最早获得“数据手套”的专利；随后，美国卡耐基· 梅隆大学(CMU) 的 C. Lee 和 Y. Xu利用CyberGlove 数据手套作为输入设备，开发了一个手语识别系统用来控制机器人；哈尔滨工业大学的高文等人在人工神经网络算法的基础上，融合隐马尔可夫模型(Hidden Markov Model, 简称 HMM)的建模方法，以高达90%的识别率识别了262个孤立的词汇；在中国，吴江琴、高文等采用 CyberGlove 数据手套，提出神经网络和学习判定树混合算法，识别率达到98.2%。这种识别技术虽然能准确提取到手势相关信息，系统识别率较高，但是佩戴麻烦且成本较高。另一类是基于视觉的手势识别技术，它利用单个或多个摄像头采集手势视频或图像，再将采集到的视频或图像进行预处理，通过手势建模、手势分析，最终识别出手势。目前的研究成果主要有：1996 年，Starner等利用HMM模型实现了由40个词语随机组成短句的手语识别，识别率达到 92%；1997年，Grobel和Assam利用HMM模型，对视频中262个孤立词进行识别，识别率91.3%；2005年，Yuan et al提出了一种适合二维人手跟踪的时变滤波（Temporal Filtering）方法，可以有效提取录像序列中双手的包络线。2006年，冯志全等提出了一种基于扩展卡尔曼滤波器的强跟踪器，可以对人手运动过程中的突变进行跟踪。虽然这种技术的识别率没有前一种高，而且容易受光照、运动、背景等环境因素的影响，但是成本较低，也不需要复杂的硬件设备。 2010年，微软发布了Kinect 3D体感摄像机，通过捕获用户的运动姿态进行实时识别，极大方便了手势识别的研究。如：斯坦福大学的 Matthew Tang利用 Kinect 提供的彩色和深度数据，提出了一种新的手势识别算法，对 “grasp”和“drop”两种手势的识别率超过 90%；罗元，张毅等利用 Kinect 传感器设计了智能轮椅手势控制系统， 能够利用 Hu 矩向量识别出5中静态手势来 控制轮椅的前进、后退、左转、右转和停止；清华大学的崔锦实博士，提出一种基于回归－优化方法的关节式物体的姿态估计方法，该方法把回归分析与全局优化搜索相结合，保证了估计的精度和连续性。 同时，各个企业也根据手势识别技术开发出相应的产品。比如，华硕推出一款与Kinect类似的Xtion PRO体感器，使体感游戏的控制更加精确;腾讯实验室也开发一款“QQ手势达人”软件，将手势识别技术应用到音乐播放控制中；宝马最新展出的iDrive系统，引入了手势识别功能，通过安装在车顶上的3D传感器对驾驶员手势的识别，实现对车辆导航、信息娱乐系统的控制。 基于视觉的手势识别技术已经开始走进人们的日常生活。虽然越来越多的科研工作者开始研究动态手势识别，目前也取得了一些成绩， 但整体来说，目前的识别系统只能做一些简单的应用，在做手势时还受到很多限制，不能完全适应各种复杂环境。因手势本身又具有多义性、多样性以及空间和时间上的差异性等特点，加之人手是复杂变形体以及视觉本身的不适定性，因此基于视觉的手势识别是一个多学科交叉的、富有挑战性的研究课题。

2. 研究的基本内容与方案

2.1研究基本内容本课题研究的基本内容是设计一个基于手势识别的人机交互系统。主要完成的研究内容有：(1) 在pc机上，通过摄像头捕捉人的动态手势和运动轨迹。(2) 研究相应的图像处理方法，利用形态学方法对捕捉到的动态手势进行处理。(3) 利用常用的特征提取、模式识别等算法，对动态手势进行准确识别。(4) 设计人机交互界面，通过动态手势实现对机械臂的实时控制。2.2研究基本目标本课题最终实现的目标是通过手势实现对机械臂的控制，通过识别的手势动作，来实现机械臂左移，右移，上移，下移等状态。每个部分的要实现的基本目标是： (1) 能够准确捕捉到人的动态手势和运动轨迹，并将其转化成图像形式进行分析。(2) 对手势进行处理时，能够将手势从复杂背景中分割出来，获得手的具体位置，并能对手的运动轨迹进行追踪，提取相应的特征值。(3) 能够对手势左移，右移，上移，下移等运动状态进行识别。(4) 通过识别的手势状态，控制机械臂做出相应的动作。2.3研究基本方案 本次设计主要分为三个模块：手势的采集，动态手势识别和机械臂的控制。动态手势识别部分又分为三个部分进行研究，分别是手势图像检测与分割，手势跟踪与定位，手势的训练与识别。 进行手势识别，可以用采集手势视频作为系统输入，采集设备可以是电脑自带的摄像头。然后将采集到的视频通过相应处理转成图片格式并保存。 手势图像检测主要是通过帧差法将相邻两帧图像进行差分运动来确定视频图像序列中是否有运动目标的存在，并确定其位置。手势分割主要是将手势从复杂背景中分割出来，可以采用肤色检测。通过ycbcr颜色模型，获得类肤色的候选区域，从而获得手的具体位置。 手势跟踪与定位其基本思想是在序列图像中根据视频信息在空间和时间上的相关性，确定目标在每一帧的位置。可以采用kalman 滤波算法对手进行跟踪，记录下手的运动轨迹。 手势的训练与识别可以选用隐马尔可夫模型（hmm）算法进行训练和识别。主要是将上一步获得的运动轨迹，通过8方向的链表提取特征向量，然后将该特征向量送入隐马尔可夫进行训练，生成各运动轨迹的模板。在识别时，获得某种实时运动轨迹的特征向量后，送入训练得到的隐马尔可夫模型进行识别。 机械臂的控制建立 pc 平台上的人机交互界面，调用手势识别算法和串口通信模块，用户通过该系统可实现手势对机械臂的控制。

其流程图如下所示:

3. 研究计划与安排

1. 第1－3周：查阅相关文献资料，明确研究内容，学习毕业设计研究内容所需理论的基础。

确定毕业设计方案，完成开题报告。

2．第4－5周：掌握常见图像处理算法、模式识别方法，完成英文资料的翻译，并编写相关关键程序。

4. 参考文献（12篇以上）

[1]Y. Wu, T. Huan. Vision-based Gesture Recognition[A]. France:Proceedings of the International Gesture Recognition Workshop. 1999: 103-115.[2]王云飞. 动态手势识别中关键技术的研究[D]. 四川师范大学. 2011, 5.[3]邹洪. 实时动态手势识别关键技术研究[D]. 华南理工大学. 2011, 5.[4]G. J. Grimes. Digital Data Entry Glove Interface Device [P]. Technical Report US Patent 4-414-537. 1983, 11.[5]C. Lee, Y. Xu. Online Interactive Learning of Gestures Interfaces [A]. Proceeding of IEEE International Conference on Robotics and Automation. 1996, 3(1): 30-42.[6]吴江琴, 高文, 陈熙霖. 基于数据手套输入的汉语手指字母的识别[J]. 模式识别与人工智能. 1999, 3, 12(1): 74-78.[7]Starner, Pentland. A Real-time American Sign Language Recognition from Video Using Hidden Markov Models. 1996, 8.[8]Kirsti Grobel, Marcell Assam. Isolated Sign Language Recognition Using Hidden Markov Models [A]. Proceedings of the IEEE International Conference on Man and Cybernetics, Orlando. 1997: 162-167.[9]Matthew Tang. Recognizing Hand Gestures with Microsoft’s Kinect. IEEEComputer Society Press. 2011, 3.[10]罗元, 谢彧, 张毅. 基于 Kinect 传感器的智能轮椅手势控制系统的设计与实现[J]. 机器人. 2012, 1, 34(1): 110-113.[11]Schüldt C, Laptev I, Caputo B. Recognizing human actions: a local SVM approach[C]//Pattern Recognition, 2004. ICPR 2004. Proceedings of the 17th International Conference on. IEEE, 2004, 3: 32-36.[12]郭利, 姬晓飞, 李平, 等. 基于混合特征的人体动作识别改进算法[J]. 计算机应用研究, 2013, 30(2): 601-604.[13]高赞, 张桦, 蔡安妮. 动作识别算法的评估策略探讨[J]. 光电子. 激光, 2012, 6: 1166-1172.[14]余超, 基于视觉的手势识别研究[D].中国科学技术大学.2015.[15]龚静, 动态手势识别的研究与应用[D].西安电子科技大学,2013.[16]郭小爽,人机交互中的动态手势识别及应用研究[D].西安电子科技大学,2014.[17]M. R. Abid, E. M. Petriu, and E. Amjadian, “Dynamic sign language recognition for smart home interactive application using stochastic linear formal grammar,” IEEE Trans. Instrum. Meas., vol. 64, no. 3, pp. 596–605, Mar. 2015.[18]M. R. Abid, P. E. Meszaros, R. F. D. Silva, and E. M. Petriu, “Dynamic hand gesture recognition for human-robot and inter-robot communication,” in Proc. IEEE Conf. Comput. Intell. Virtual Environ. Meas. Syst. Appl., Ottawa, ON, Canada, May 2014, pp. 12–17.[19]Z. Ren, J. Yuan, J. Meng, and Z. Zhang, “Robust part-based hand gesture recognition using Kinect sensor,” IEEE Trans. Multimedia, vol. 15, no. 5, pp. 1110–1120, Aug. 2013.