基于Kinect视觉传感器的行为识别算法研究开题报告

1. 研究目的与意义

1.背景：kinect是微软公司于2010年6月针对游戏主机xbox360推出的一款体感设备。虽然最初只是针对游戏领域进行开发的体感设备，但是推出之后引起人们的极大关注。随着kinect for windows的出现和代码的开源，而且功能强大，价格低廉，很多人纷纷在kinect平台上进行开发和研究，逐渐应用于很多领域。kinect由色彩摄像头、红外线装置、麦克风阵列、逻辑电路、马达等部分构成。kinect有三个摄像头，中间是bgb vga彩色摄像头，左右两边镜头分别为红外线发射器和coms红外摄像头所构成的3d深度感应器，两块装有核心芯片prime sense ps1080用于图像处理和语音处理，第三块装有加速度传感器判断设备是否倾斜。

2.目的及意义：近年来，机器人技术得到了快速发展，同时也面临着一个难题——如何提高机器人对周围环境的理解能力。之前市场上面的传感器要么笨重昂贵，要么测量不精确，而kinect具有成本低廉、轻巧简单、精度较高、功能强大等优点，能够拍摄3d图像。把kinect作为机器人的“头”，对周围的环境进行三维建模并指导相应的行为，将会成为机器人视觉与控制新的研究热点。随着人们对kinect进一步开发和研究，将会大大降低机器人的研发和使用成本。相信在不久的将来，机器人将会走出实验室，进行大规模的商业化投资，使用于各行各业，进入到千家万户。目前，kinect应用技术的开发还只是初见端倪，但已经表现出强大的生命力和多样性发展趋势。随着kinect技术的进一步成熟和充分挖掘相信下一代kinect将会配备更强大的处理芯片，具有更高的分辨率和传输速率，能够实时捕捉人体细节，为人机交互带来质的突破，必将在更多的领域得到广泛地应用。

2. 研究内容和预期目标

1.研究内容：（1）深入研究kinect的工作原理以及kinect获得深度图像到跟踪人体骨架信息的方法。

（2）提出融合特征，包括人体运动特征、结构特征和关节点极坐标特征的方 法：分别利用人体行为的运动一结构特征和关节点极坐标特征建立了两种人体行为识别模型，通过比较三种融合特征与单一特征的识别率，证明融合特征的表示日常行为的能力更好，识别效果更好。

(3)一种简单高效的适合室内日常行为识别的方法：利用kinect获取的视频 序列，提取其中的人．物交互信息并加以描述得到特征量。建立svmhmm混合模型对日常行为进行识别分类，通过实验，我们可以验证单一svm或者hmm 模型与混合模型svmhmm的识别效果以及有效性。

3. 研究的方法与步骤

研究方法：

1.文献研究法。通过著作、报刊、杂志、网络等各种渠道，了解实践的研究现状，吸收和借鉴先进的理念，深入挖掘课题理论的深厚底蕴，及时洞悉研究的最新情况，给课题实验与研究以有力的指导；

2.比较分析法。对设计方案定期检测，发现问题和系统的漏洞，改进方案；

4. 参考文献

1.f.nasoz,k.alvarez,c.l.lisetti,et al.emotion recognition from physiological signals using wireless sensors for presence technologies[j].cognition,technology work,2004,6(1):4-14.

2.yilmaza,shahm.recognizinghumanactionsinvideosacquiredbyuncalibratedmovingcameras[c].in:proceedingsoftheieeeinternationaleiconferenceoncomputervision(iccv),beijing,2005,1:150-1573.ryooms,aggarwaljk.semanticrepresentationandrecognitioncontinuedandrecursivehumanactivities[j].in:internationaljournalofcomputerv2009,32(1):1-244.nieblesjc,wangh,liff.unsupervisedlearningofhumanacticategoriesusingspatial-temporalwords[j].in:internationaljournalofcomputervision,2008,79(3):299-3185.aggarwaljk,ryooms.humanactivityanalysis:areview.in:computervisionandimageunderstanding,2011,43(3):428-4406.ramanathanm,yauwy,teohekhumanactionrecognitionwithvideodata:researchandevaluationchallenges.in:ieeetransactionsonhumanmachinesystems,2014,44(5):638-6497.杜友田,陈峰,徐文立等.基于视觉的的运动识别综述电子学报,20078.bobickaf,davisjw.therecognitionofhumanmovementusingtemporaltemplates[j].in:ieeetransactionsonpatternanalysisandmachineintelligence(pami),2001,23(3):257-267

9.yamatoj,ohya j，ishii k．recognizing human action in time-sequential imagesusinghiddenmarkovmodels[c].in:proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition(cvpr),losalamitos992,379-385

5. 计划与进度安排

（1）2022.01.18-2022.02.20 查阅资料，填写开题报告，完成外文资料的翻译；

（2）2022.02.21-2020.06.20 熟悉kinect的开发环境；

（3）2022.02.21-2022.03.31 研究kinect采集到的深度图像，提取人体行为描述特征，设计相关实验验证是否可行；