基于视频的手势轨迹跟踪与识别技术研究开题报告

1. 研究目的与意义（文献综述）

目的及意义（含国内外的研究现状分析）

1.1、手势识别国内外的发展现状

计算机和通信技术的发展推动了交互方式的变革。传统的外接设备输入交互的局限性日渐突出，人们追求一种更为自然、准确、快捷的交互方式来实现人与机器之间的信息交互。手势作为人们日常交流的方式之一，是利用肢体动作来表达其想法或态度的行为交互方式。手势表达的简洁性与手势交互的自然性，使其成为一种高效的人机交互方式。

2. 研究的基本内容与方案

研究（设计）的目的

随着信息技术的发展以及5G通信方式的研究，汽车自动驾驶等领域成为了研究热门，而便捷的手势识别成为了人机交互过程中最为快速，方便的手段。传统的优秀手势识别方案在硬件上依靠手势深度传感器或数据手套，这种外加设备在一定程度上局限了手势识别的应用性，手势交互以其高效、自然的优点在众多交互方式中脱颖而出，本次毕业设计针对视频手势识别进行研究，旨在实现快速准确的视频手势识别，并尽可能实现轻量化设计，使得手势识别在汽车驾驶交互，AR医学、教育等方面可以方便的应用。

研究（设计）的意义

在信息技术和自动化技术高度发展的今天寻求一种简洁自然的人机交互方式极为重要。手势交互以其高效、自然、非接触的优点在众多交互方式中脱颖而出。基于视频的手势识别技术正逐渐改变人们的生活方式，如帮助人们摆脱传统的键盘鼠标。并且随着图像技术的发展，基于视频信息、深度图像的手势识别系统成为主流。但基于视觉图像的手势识别方法在精细的手势识别上依旧存在较高的误识别率，同时复杂的手部区域分割及图像中手部结构关联性弱的弊端也增加了手势识别的难度。本文设计可以提供一种行之有效的手势识别方法，将手势识别有效的应用在各领域。

研究（设计）的基本内容、重点及难点、拟采用的技术方案及措施

研究（设计）的基本内容

尽管基于视频的手势分析等相关研究已经取得了很大的进步，但手势识别技术要想在计算机视觉领域获得更广泛的应用，存在许多障碍以及一些急需解决的问题。其中一个问题是在基于视频的手势识别系统中，针对各种场景变化，如背景变化或复杂的光照，如何快速地从手势运动序列图中检测并提取有效的手势轨迹，对手势目标进行鲁棒的跟踪。针对这一问题，本次设计将通过查阅国内外文献，结合基于视觉的手势识别的理论及研究背景，构建模型，探索从手势区域检测及分割、手势轨迹跟踪、手势识别技术三个部分研究用于人机交互的手势轨迹跟踪及识别系统。

研究的重点、难点

本次设计的重点在于重点研究手势轨迹跟踪及识别系统，设计出系统可以完成手势区域检测，轨迹分析以及手势识别，采用机器学习的方法对系统进行设计，并进行轻量化设计。

本次设计的难点在于如何利用tensorflow2.0搭建神经网络，对于神经网络的结果进行合理的设计（网络结构，网络层数，每层网络神经单元个数），在进行摄视时提取合适的时空混合特征，还要对于神经网络的超参数进行有效的初始化预设。以及针对各种场景变化，如背景变化或复杂的光照，如何快速地从手势运动序列图中检测并提取有效的手势轨迹，对手势目标进行鲁棒的跟踪。

研究（设计）拟采用的技术方案及措施

研究（设计）拟采用的技术方案

手势识别技术作为手势交互的核心技术支持，主要包括手势数据获取、手部区域分割、特征提取及手势分类器训练等模块，如图1所示：

图1 手势识别技术工作流程

本次设计采用python作为主要编程语言，使用谷歌开源tensorflow2.0深度学习框架搭建学习系统。为解决视频手势识别，拟采用CNN-LSTM的神经网络结果解决问题。确定网络结果之后，将训练集等数据以多为张量导入tensorflow之中，对网络权值和偏置进行初始化设置，对数据进行归一化处理，方便后续的训练过程。然后构建卷积层，设计卷积核的大小、深度及步幅，通过卷积层减少参数数量且提取深层特征，保留像素空间位置关系。然后构建池化层，减少参数数量，防止网络过拟合。随后构建全连接层（输入层、隐藏层、输出层）等，配合激活函数等实现正确识别，分类。

本次设计针对便捷、自然、无接触的图像视频识别展开研究，学习并利用深度网络解决问题。利用tensorflow框架搭建系统，可实现便捷化，快速响应，失误率低等。

研究（设计）技术路线图

图2设计技术路线图

3. 研究计划与安排

第1～3周完成开题报告和英文翻译；

第4～7周 完成总体技术方案设计；

第8～14周完成系统的搭建和程序的编写；

4. 参考文献（12篇以上）

[1]张明军,俞文静,李伟滨,朱晓丹.一种基于机器学习的车牌识别系统的设计[j/ol].计算机技术与发展,2020(04):1-9[2019-12-18].

[2]邹宏伟.基于opencv的数字图像处理技术研究与实现[j/ol].无线互联科技:1-2[2019-12-18].

[3]彭要凯. 基于hmm的运动手势轨迹识别[d].北京交通大学,2017.