多模态自然人机交互技术研究及应用开题报告

1. 研究目的与意义（文献综述）

人机交互是指人与计算机之间使用某种对话语言，以一定的交互方式来完成确定的任务。随着计算机应用的日益普及，人机交互技术已成为人们工作，学习与生活的重要组成部分，且在社会与经济以及国家安全等领域发挥着越来越重要的作用，研究以人为中心的自然，和谐与高校人机交互技术日益受到人们的重视。在早期的研究中，人机交互多侧重于单一模态（即通道）。因为人们面对面交流时，往往同时采用多个模态，包括语音，面部表情，手势，姿态和情感等。因此，采用多个模态进行人机交互，则可充分利用人的多种感知模态的互补特性反映用户意图，拜托目前常规输入设备如，键盘，鼠标器，触屏等的束缚。

多模态人机交互技术所涉及的研究范围包括感知模型，语音识别，手写识别，姿势识别，表情识别，眼动跟踪，自然语言理解，触觉感知与表示，多模态通道信息融合，高性能视觉和听觉处理平台等。采用多模态交互可以充分利用各种模态的特性，完成其在功能上的划分和互补，提高交互方式的灵活性。多模态并非多个模态的集合，而是他们之间的整合。也就是将手势，语音与其他模态结合起来，采用具体的整合模型或者算法，得到高一级的语义特性并且实现特定的应用。

语音识别的单位：（1）单词单元；（2）音节单元；（3）因素单元。在得到语音特征后，下一步工作是用待识别的语音的特征参数与标准的语音特征模板记性比较，得到特征最相似的模板语音即要识别的语音结果。研究这种特征比较方法就是语音模式匹配要解决的问题，成功的模式匹配方法有三种：（1）动态时间规整技术（dtw）；（2）隐马尔可夫模型技术（hmm）；（3）人工神经网络的方法（ann）。虽然经过语音信号处理技术完成的语音识别系统，其识别性能的测试结果获得了90百分之九十以上的精确度。

2. 研究的基本内容与方案

基本内容：

1）收集和查阅多模态人机交互技术设计相关的论文，了解多模态人机交互设计的理论和技术。

2）学习语音是识别技术，语音交互分为四个部分：语音采集，语音识别，语义理解和语音合成。

3. 研究计划与安排

1）第一阶段（第1~2周）查阅相关资料完成开题报告

2）第二阶段（第3~6周）学习人机交互相关理论和技术

3）第三阶段（第7~10周）完成人机交互界面和功能设计

4. 参考文献（12篇以上）

[1]孟祥旭.人机交互基础教程（第二版）.清华大学出版社,2010.7

[2]吴玲达.多媒体人机交互技术.国防大学出版社,1999

[3]gregborenstein.3d图形与人机交互技术应用.人民邮电出版社,2013