基于机器学习的驾驶人员驾驶状态识别开题报告

1. 研究目的与意义（文献综述）

(1)总述：

据中国汽车工业协会发布的数据^[1]， 2013年，中国汽车年产销量双超 2000万辆，保有量达到1.37亿辆。2018年，产销量高达2780.8万台和2808.1万辆，连续十年蝉联全球第一，保有量达到了3.27亿辆。迅速增长的汽车销量在带来汽车工业迅速发展、给人们带来方便的同时，也带来了许多负面影响。中国公安部交管局所提供的数据显示^[2]，2018年全国发生交通事故244937起，死亡人数为63194人；造成直接财产损失为138455.9万元。。根据各项数据发现20%的交通事故都与疲劳驾驶相关，德国保险公司协会统计德国高速公路交通事故25%由疲劳驾驶引起，法国国家警察总署经调查发现 20.6%的死亡事故是由疲劳驾驶引起的^[3]。由此可见，驾驶员的疲劳驾驶是造成交通事故的重大原因。

东南大学马永锋等人利用实车实验对大型货运车辆驾驶人的疲劳驾驶进行研究^[4]，采集驾驶人的车速、加速度等参数，并利用PERCLOS指标对驾驶人疲劳状态进行判别，以探究驾驶人发生交通事故的风险。研究结果表明，速度和加速度可以作为评价重型卡车驾驶人驾驶性能的重要指标。当驾驶人达到高疲劳水平时，其平均车速、最大及最小车速都会增加，且车速稳定性降低。当驾驶人受到疲劳的影响时，他们的反应能力将会下降。如果驾驶人在高疲劳驾驶状态下保持高速行驶将更容易发生交通事故。此外，随着疲劳程度的增加，加速度的均值及标准差会减小，但加速度的最大值和最小值会增加。表明驾驶人在疲劳状态下更容易做出紧急或剧烈的驾驶动作，且疲劳将导致驾驶人的反应能力受损。

为了减少疲劳驾驶导致的交通事故，《中华人民共和国道路交通安全法实施条例》第六十二条规定，驾驶员不得“连续驾驶机动车超过4小时未停车休息或者停车休息时间少于20分钟” ^[5]。但由于个人身体情况有所差异，例如，驾驶前缺少睡眠，清晨时间驾驶就会在短时间内产生困倦；受到生理周期影响，人在午后时间也容易困倦。这些特殊情况下使驾驶员在未达到4小时连续驾驶时间内也可能过早地出现疲劳现象，驾驶时间是合理合法的，但同样具有潜在的事故风险。因此，主动预防驾驶疲劳是降低交通事故的有效途径。

对驾驶疲劳不能仅仅在事故发生后才进行辨识，更重要的是如何避免驾驶疲劳的发生。通过制定法规来限定驾驶时间固然有效，但普遍性约束并不能解决所有问题，因此，主动预防是防止事故发生的关键。防患于未然需要有效的监控手段，实现实时评价和检测驾驶员的疲劳状态已成为研究的新趋势。实时疲劳状态监测不仅能为驾驶员提前预警，同时也为交通运输管理部门、各运输企业实时提供驾驶员状态信息。因此，研究车载在途驾驶疲劳监测系统，可以有效预防驾驶疲劳的发生，为长途行车安全提供强有力的保障。

（2）国内外研究现状分析：

驾驶疲劳检测的研究，根据检测内容的不同主要分为三种。分别为检测驾驶人生理学特征、驾驶人行为特征以及车辆行为特征变化。表1从实时性、准确性、费用以及侵入性对上面三种检测技术及将多种特征信息结合进行检测的方法做了对比分析。

表1 各种类型检测技术的对比分析

基于生理学特征的检测技术主要通过检测EEG(脑电信号) 、ECG(心电信号) 、EOG(眼电信号) 、 EMG(肌电信号) 等人体生物电信号以及血压、血液中化学物质、温度等特征参数对驾驶人的驾驶状态进行判断^[7,8]。

由于疲劳产生的驾驶人生理学特征的变化往往导致驾驶人外部行为特征的变化，基于驾驶人外部行为的检测技术一般与驾驶人无接触，驾驶人容易接受，常常采用计算机视觉的方式进行检测。采集眼部、嘴部、头部和面颊部等特征。可以通过眼睛闭合 时间的占比、打哈欠的频率、头部姿势等参数来判断驾驶员的疲劳状态。

ManinderKahlon等人利用MATLAB分析人眼部的二值图像，根据黑色像素点的覆盖率来判断驾驶员的疲劳状态^[9]。Melissa Yauri-Machaca等人通过驾驶员眼睑的张开程度和眨眼的频率监测驾驶员状态，眨眼频率超过阈值时会响起警报^[10]。Alessandro Amodio等研究者则着眼于更微观的生理表征，他们通过对瞳孔动态特性的监测，以其反射光线的特性作为考察驾驶员状态的指标^[10]。Oana Ursulescu等研究者在人眼识别的基础上记录被观察者闭眼的持续帧数来判断其驾驶状态是否正常^[10]。

基于车辆行为特征的驾驶疲劳检测技术一般是通过检测车辆异常状态间接确定驾驶人的疲劳程度．车辆行为特征检测主要包括对车辆变向情况、方向盘转动状态和持续驾驶时间等方面。正常驾驶状态下的驾驶行为与疲劳状态下的驾驶行为有明显的差异。通过统计这些驾驶行为参数能够在一定程度上分析出驾驶员的疲劳状态^[11-16]。

JiHyun Yang等人通过贝叶斯神经网络范式对各个实验组驾驶进行数据图表分析，发现疲劳驾驶主要影响实时反应、追踪任务、抗干扰驾驶等在一定条件约束下的驾驶行为。可由此对驾驶行为进行分析从而实现驾驶员疲劳状态的监测^[16]。从近几年申请的专利来看，US5745031A提出通过在方向盘的转向传感器检测在预设时间转向操作的数目，确定驾驶员的驾驶状态。JP2002154345A提出通过连续检测车辆横向行驶漂移频率检测驾驶员的清醒度。CN102254403A提出根据汽车行驶速度计算出汽车的加速度和汽车加速度变化的绝对值，当加速度异常时，确定驾驶员处于疲劳驾驶状态^[17]。

以上介绍了科研领域对驾驶员状态监测方法的主要研究方向，接下来介绍市场上已经存在的商业化产品是如何实现驾驶员状态监测的。

AttentionAssist是德系车驾驶员疲劳状态监测系统的代表，属于间接监测，它依据驾驶员驾驶行为、基于车辆状态参数检测驾驶员状态，例如车速、发动机转速、横摆角速度、侧向加速度、转向盘 角速度和角加速度等及各信号的后处理参数，综合考虑以上因素进行分析计算得到驾驶员状态监测结果; AttentionAssist除覆盖正常行驶工况外还考虑外部干扰对疲劳监测的影响，例如侧风、路面凸起和斜坡等 均匀工况，使其适用范围更广、精度更高;Attention Assist已于 2011年应用于梅赛德斯-奔驰B级车上^[18]。

福特公司采用直接监测和间接监测相融合的方法，从车辆运动状态、驾驶行为、周围环境和驾驶员生理信息4个维度出发，依靠大而全的数据源使监测 算法的准确性得到较大提高。但是，大量数据运算时 需要占用较大内存，一般很难集成到某一电子控制系统的控制器里，需要额外增加控制器，用于DriverAlertsystem的数据运算，对硬件要求较高。DriverAlertsystem在后视镜的后方安装一个前置摄像头，以获取车辆运动 轨迹信息。现在福克斯、S-MAX和Galaxy系列车型都配备了DriverAlertSystem^[18]。

（4）目的意义：

随着我国车辆市场的逐渐饱和，车辆的保有量已经到了很高的水平。而疲劳检测技术在我国则刚刚起步，多处于理论研究阶段，较少应用于相关车企。随着相关技术的进一步发展，疲劳检测技术将作为减少交通事故隐患的重要技术，被逐渐应用在汽车上。随着信息融合技术的发展，将各项特征结合进行检测判断已经成为未来重要的研究发展方向，其中车辆特征由于其提取简单，检测准确，已逐渐成为主流检测方法之一。因此，本项目的在于熟悉驾驶人员的疲劳分类，归纳总结各种检测车辆行驶参数算法，实现相应算法在驾驶人员疲劳监测任务中的应用，最后进行算法调试，完成相关算法改进和性能分析。

2. 研究的基本内容与方案

（1）研究基本内容：

在基于车辆行为进行疲劳检测的一项实验中，通过对检测得来的117项数据利用方差分析法进行了有效性检验。之后根据其均方检验值和P-Value值筛选出7个对疲劳特征检验较为明显的特征指标作为后面疲劳驾驶算法研究的输入^[19]。特征指标如表2所示。

表2 可用车辆数据指标

本研究拟选择方向盘转角、车辆横摆角以及车辆横向加速度作为参数。研究发现,随着驾驶员的疲劳程度加深,其对于车辆的控制能力有所下降,表现为对方向盘的修正频度减少,对应于方向盘转角波形图的波动频度降低。同时,因为方向盘修正频度减少,车辆状态无法及时得到修正,从而导致车辆的横向状态出现较长的单调变化。而当驾驶者突然发现车辆状态需要迅速修正时,将会对方向盘进行急速的大幅度调整,方向盘转向角图中又出现大幅快速波动特征。这三项数据均可根据此特性进行驾驶状态的判断^[19-23]。

本研究拟选择的算法有隐马尔科夫模型(Hidden Markov Model, HMM)、 循环神经网络（Recurrent Neural Network，RNN）以及长短期记忆网络（Long Stort-term Memory，LSTM）。其中隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个可观测的随机序列的过程，隐藏的马尔可夫链随机生成的状态序列，称为状态序列；每个状态生成一个观测，而由此产生的观测随机序列，称为观测序列。序列的每个位置又可以看作是一个时刻^[24-25]。本研究利用获取的数据进行监督学习，确定模型参数。之后使用该模型利用Viterby算法对验证数据集进行判断，对给定观测序列条件概率最大的状态序列。

RNN模型相对于传统的全连接神经网络，在神经元之间建立了权连接，使得其隐藏层的值不仅仅取决于当前这次的输入，还取决于上一隐藏层的值。隐藏层上一次的值对这一次的输入具有相应的权重矩阵。随着序列的不断推进，前面的隐含层将会影响后面的隐含层。损失值随着序列的推进而不断积累。所以其对于具有连续性时序数据具有较好的效果。本研究拟搭建RNN神经网络，对一段时间的车辆数据进行学习，并最终获得判别模型。

LSTM模型是RNN模型的一种改进模型，可以用于解决长依赖问题。由于LSTM特殊的重复模块链结构，该模型的重复模块链结构具有四个网络层，网络层中的忘记门、输入门和输出门实现了对不同数据的输入量的控制，从而实现了在学习过程中对较长时间范围内的数据调用。该模型相对于RNN模型解决了长序列训练过程中的梯度消失和梯度爆炸问题，在较长序列中有更好的表现。本研究拟搭建LSTM神经网络，对一段时间的车辆数据进行学习，并最终获得判别模型。

在对以上三种方法深入了解后，本研究将对比它们对驾驶人员疲劳状态的判断精度和判断效率。

（2）目标：

分析采集来的车辆数据，根据参数设计算法完成驾驶人员疲劳驾驶状态的监测，并进行比较和优化。

（3）拟采用的技术方案及措施：

l 分析传统的数据分析，特征提取算法，以及根据车辆参数进行疲劳检测的案例

l 总结疲劳检测中使用的参数及算法，选择合适的参数；

l 使用python作为编程语言，基于隐马尔可夫模型、循环神经网络、长短期记忆网络等模型，使用多种算法完成相应功能实现。

l 对比各种方法在疲劳驾驶状态监测任务中的表现，进行评价、比较和优化；

3. 研究计划与安排

第1-2周：查阅相关文献资料，明确研究内容，提出设计思路和内容，确定方案，完成开题报告和外文翻译。

第3-5周：分析车辆获取的各项参数，总结各种对相关参数的分析算法。

第6-10周：相应算法在驾驶人员疲劳监测的应用和算法调试；

4. 参考文献（12篇以上）

[1] 中国汽车工业2018--国内年度汽车产量、销售数据情况报告[db/ol]. https://www.sohu.com/a/289830481_120013862, 2019-01-18

[2] 2018年国内道路交通事故数量统计分析，造成直接财产损失为138455.9万元 [db/ol]. https://www.sohu.com/a/347751005_775892, 2019-10-17

[3]李都厚，刘群，袁伟，等.疲劳驾驶与交通事故关系[j].交通 运输工程学报，2010， 10（2）：104-109.