基于课堂视频的学生注意力行为分析研究开题报告

全文总字数：3800字

1. 研究目的与意义（文献综述）

随着计算机技术的发展，教育信息化在课堂教学领域上的应用越来越广泛。课堂教学效果评价是教学质量评价与提升的关键。而传统的课堂教学质量评估方式存在速度慢、准确性低等问题，具有一定的主观性，会受到评价者本身的认知水平限制。对课堂视频进行自动学习分析，可以更智能高效地评估学生的课堂参与度。课堂参与度可以通过注意力集中程度和学生发言情况衡量。传统的注意力评价方法主要有问卷调查，视觉观察进行手动编码，也有些利用脑电图、脑磁图等提取生理信号的方法，分析学生对教学内容的响应情况来衡量。然而，这些方法都比较片面，技术成本相对较高。通过对课堂视频进行处理，提取出学生头部姿态并对其视线进行跟踪，以此为基础对学生注意力进行分析，可以在很大程度上帮助教育者更好地评估学生的课堂参与度，并大大降低技术成本。

学生注意力行为分析对于目前教育行业以及人类面部及视线跟踪具有特别意义。由于监控设备的复杂性，视频表示的模糊性，注意力行为分析仍然是个极具挑战性的难点问题。基于深层神经网络的头部姿态跟踪和人眼区域提取及注视方向的判断方法是注意力行为分析的关键问题，受到国内外研究人员的广泛关注。2015年adria recasens等人提出了一种基于深层神经网络的注视跟踪方法，能够提取头部姿势和注视方向，并预测视线范围内可能会被观看的物体，接着2017年adria recasens等人又提出了一种通过建立模型估计视频中每帧人物注视位置的密度以及该人在该特定帧中注视的概率来预测视频中人物注视方向的方法。

目前深度学习在视频图像处理领域有非常优秀的表现，区别于传统方法，通过使用深度学习这一工具可以使处理效果大大提升。本毕业设计将使用深层神经网络和pytorch深度学习平台。pytorch是一个开源的python机器学习库，简洁、易于使用、支持动态计算图而且内存使用很高效，适用于研究人员、爱好者、小规模项目等快速搞出原型。通过使用基于深层神经网络的头部姿态跟踪及注视方向判断方法，可以快速高效地得到处理结果并给出分析内容和指导建议，相比于其他传统处理方法，该方法更加简洁、快速、准确。

2. 研究的基本内容与方案

本毕业设计的基本内容是研究并设计出基于视频的学生头部姿态跟踪方案和人眼区域提取及注视方向的判断方法，最终设计并实现一个用于分析学生课堂注意力行为的演示系统。

具体目标是对任意给定的课堂视频测试数据，都可以提取出学生头部、跟踪学生视线并给出分析结果，且分析结果应与肉眼识别效果相似。

拟采用的技术语言为python3.6，一种动态的、面向对象的脚本语言，在科学计算和统计等领域有广泛的应用，基于此语言有很多的封装包，不用考虑偏底层的一些问题而专注于上层的算法和运算结果。

3. 研究计划与安排

（1） 2020年2月24日——2020年2月26日，理解毕业设计要求，收集、查阅相关资料；翻译英文资料并完成开题报告。

（2） 2020年2月27日——2020年2月29日，python基础语法、功能的回顾；新语法糖等内容的学习。

（3） 2020年3月1日——2020年3月5日，深度学习的基础知识回顾；深度学习在图像处理方向的应用等内容的学习。

4. 参考文献（12篇以上）

[1] klette r. concise computer vision[m]. springer, london, 2014.

[2] recasens a, vondrick c, khosla a, et al. following gaze in video[c]//proceedings of the ieee international conference on computer vision. 2017: 1435-1443.

[3] krafka k, khosla a, kellnhofer p, et al. eye tracking for everyone[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2016: 2176-2184.