基于摄像头的虚拟演奏系统设计开题报告

1. 研究目的与意义（文献综述）

1.1目的与意义

虚拟现实系统是一项综合集成技术，涉及 计算机图形学, 人机交互技术,传感技术,人工智能等领域，它用计算机生成逼真的三维视、听、嗅觉等感觉，使人作为参与者通过适当装置，自然地对虚拟世界进行体验和交互作用。使用者进行位置移动时，电脑可以立即进行复杂的运算，将精确的3d世界影像传回产生临场感。该技术集成了计算机图形(cg)技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。

概括地说，虚拟现实是人们通过计算机进行可视化操作与交互的一种全新方式，与传统的人机界面以及流行的视窗操作相比，虚拟现实在技术思想上有了质的飞跃。

2. 研究的基本内容与方案

2.1研究内容

将视频终端和虚拟的钢琴键盘整合在一起，通过储存摄像头传送来的钢琴弹奏视频信号并对其进行数字图像处理，与系统内定位的钢琴键位置进行对比得出弹奏钢琴键的位置，对应相应的五线谱，发出相对应的音阶，多个音阶连续发音，构成一个完整的音乐，实现虚拟钢琴的演奏。本次设计需完成视觉采集和图像处理实现颜色平面跟踪，把视觉采集和图像处理引入到虚拟现实开发平台，完成图像的信息到虚拟场景的映射，实现虚拟设计虚拟手对虚拟钢琴的演奏。

2.2完成的主要任务及要求如下：1、用VC 或Matlab编程设计一个基于摄像头的虚拟演奏系统，把视觉采集和图像处理引入虚拟平台，实现虚拟世界中虚拟手对虚拟钢琴的演奏。

2、查阅不少于15篇的相关资料，其中英文文献不少于2篇，完成开题报告。

3、绘制程序流程图和系统结构框图及设计涉及的大型图表，折合不少于3张1～2#图纸。

4、完成不少于20000英文字符的英文文献翻译。

5、完成不少于12000字的毕业设计论文的撰写和修订。

2.3技术方案

本次虚拟演奏设计采用动态时间规整（DTW,DynamicTimeWarping）算法，这种算法最早被应用在语音识别领域，是一种把时间规整和距离测量计算结合在一起的非线性规整技术，由于其具有简洁、训练开销小、正确率高等特点，近年来被广泛应用于动态手势识别中。

根据设计要求，系统整体设计框图如下：

图2.3.1系统框图

通过摄像机拍摄的手部动作捕捉之后，提取手部手势关键点的变化，将手部关键点通过手势分割、手势跟踪、差错补偿等方法对手部手势进行与预处理之后提取到手部的特征变化，将提取到的手部特征和之前建模的手部模型进行匹配，找到与之相匹配的动作，将匹配后的动作所代表的动作所代表的信息与虚拟的钢琴琴键匹配，发出相应的音节，如果在手势建模的库里没有相匹配的动作，就再次通过摄像机重新进行捕捉，多次重复，弹出相应的音乐。

3. 研究计划与安排

第1－3周：查阅相关文献资料，明确研究内容，了解研究所需理论基础。确定方案，完成开题报告。

第4－9周：熟悉掌握基本理论，完成英文资料的翻译，熟悉开发环境,深入研究，形成论文初稿。

第10－13周：针对具体的实验数据，完成整个系统的设计，实现功能。

4. 参考文献（12篇以上）

[1]贾永红.数字图象处理[M].武汉：武汉大学出版社，2011[2]苏彦华.数字图象识别技术典型案例[M].北京：人民邮电出版社, 2012[3]任爱华.计算机图形学[M].北京航空航天大学出版社,2009[4] 王西颖,戴国忠,张习文,张凤军.基于HMM-FNN模型的复杂动态手势识别[J].软件学报.2008(09)[5] 李哲.基于机器学习的手势识别技术的研究与开发[D].北京化工大学.2015[6]胡文娟.手势驱动编钟演奏技术的研究与系统实现[D].浙江大学.2007[7]雷玉堂.视频监控系统智能化实现方案.电子工业出版社,2013.01[8] 武霞,张崎,许艳旭.手势识别研究发展现状综述[J].电子科技.2013(06)[9]李清水,方志刚,沈模卫,陈育伟.手势识别技术及其在人机交互中的应用[J].人类工效学.2002(01)[10]任雅祥.基于手势识别的人机交互发展研究[J].计算机工程与设计.2006(07)[11]路凯,李小坚,周金祥.基于肤色和边缘轮廓检测的手势识别[J].北方工业大学学报. 2006(03)[12] Gonzalez,R.C,Woods,R.E.DigitallmageProcessing. . 1992[13] Jong Hwan Oh.Hands-up:Motion Recognition using Kinect and a Ceiling to Improve the Convenience of Human Life. CHI’’12 . 2012[14]EYES R M,DOMINGUEZ G,ESCALERA.Feature weighting in dynamic time warping for gesture recognition in depth data. Computer Vision Workshops (IC-CV workshops) . 2011[15] Shashikiran K.Comparison of HMM and SDTW for Tamil Handwritten Character Recognition. Proc.of Conference on Signal Processing and Communications . 2011