驾驶员疲劳驾驶状态监测方法研究开题报告

1. 研究目的与意义（文献综述）

1.1 总述

疲劳驾驶是指驾驶员由于长时间连续行驶或睡眠质量差，引起生理机能和心理机能上的失调，并在客观上驾驶员其驾驶能力的下滑。疲劳驾驶会对驾驶员的感知、判断、运动、意志等方面产生影响，极易发生交通事故。根据统计表明，由于驾驶员疲劳驾驶造成的重大事故发生率约10%，疲劳驾驶多为夜间发生，其重大交通事故发生率超过20% ^[1]。根据世界卫生组织（World Health Organization，WHO）统计，全球每年因交通事故死亡的人数超100万，造成经济损失160亿美元。据我国卫生部门统计^[2]，近年来由交通事故导致的死亡人数不断上升，年增长率超过10%，经分析，其中很大部分事故为驾驶员疲劳驾驶导致。因此，驾驶员疲劳驾驶状态的监测，是安全出行，减少潜在事故发生的重要举措。

在现实之中疲劳驾驶与酒驾一样，已经成为交通事故的主要原因，所不同的是，疲劳驾驶具有相当的隐蔽性，疲劳驾驶状态的界定存在诸多影响因素。在《中国人民共和国道路交通安全法实施条例》第六十二条规定：不得连续驾驶机动车超过4小时未停车休息或者停车休息时间少于20 分钟；相关研究表明^[3]：由于生活、工作需要造成绝对睡眠时间少于4小时，人的肌肉反应速度与警惕性将受影响；驾驶员生理周期紊乱，在凌晨或午后驾车易产生疲劳；驾驶员错误估计当前清醒状态，强行延长驾车时间或突然夜间驾车；驾驶员行驶道路沿途过于单调、行人、车辆、行车道路曲折与坡度，驾驶员驾驶状态都受其影响；驾驶员身体状况欠佳或存在某些疾病，服用抑制中枢神经药物等，其驾驶状态也会改变。因此，正确监测驾驶员疲劳状态的方法，选取确当的观测指标，才能正确定义疲劳驾驶，正确判断驾驶员当前驾驶状态，从而减少交通事故发生。

疲劳驾驶对驾驶员反应能力与决策能力造成了极大影响。对交通事故的分析表明^[2]，若能在不造成对驾驶员驾驶影响与行车安全条件下，实时监测驾驶员行驶状态，并在出现疲劳驾驶情况下给予一定警示，将减少80%由于疲劳驾驶引发的交通事故。因此，实时监测、判断驾驶员行驶状态，予以一定的警示，能有效降低交通事故发生，减少财产损失，有着积极的社会效益与研究意义。

1.2 国内外研究现状分析

随着汽车拥有量不断增加，疲劳驾驶引发交通事故的问题严重，，对驾驶员的疲劳状态进监测方法的研究应运而生。目前与本设计相关的主要研究热点包括面部特征、头部姿态估计、视线方向等方面。国内外研究现状如下。

1.2.1 国外研究现状分析

早期疲劳驾驶评估主要从医学角度出发，通过不同的方法，如心电图、皮肤电导、脑电图、肌电图、呼吸等，监测并分析生理数据。结合多种生理数据判断驾驶员疲劳程度。脑电图监测方法最为突出，同时研究人员还做了其他实验，采取不同的参数，如EOG、ECG、EMG、皮肤电导等。基于脑电波、心率、脉搏和呼吸等生理现象，通过心率、脉搏、脑电波等的变化来检测不同的生理状况。这些技术需要驾驶员佩戴相应设备，造成行驶不便。典型应用为MIT的智能汽车^[4]，Toyota的安全汽车项目^[5]。Boon-Giin Lee等人^[6]通过短波分析EEG（脑电图）和呼吸传感器构建了驾驶员状态检测系统。

目前，驾驶员疲劳驾驶监测技术大致可分为三大类：基于驾驶员行为状态检测的方法，重点监测车辆的行为，包括位置和车头时距；基于驾驶员当前行驶状态监测方法，对眼睛与眼睑的运动和生理状态监测的变化；基于驾驶员当前状态与驾驶员行为相结合的方法^[7]。

Papanikolopoulos等人^[8]通过CCD摄像机监测驾驶员行驶过程中状态，通过颜色分析找到驾驶员的嘴部，然后对驾驶员肤色进行采样，生成人脸区域，在人脸区域中确定眼睛，寻找到眼睛中最暗的像素，并将这些像素标记为瞳孔，利用眼睛和瞳孔的相对位置来判断注视方向。讨论了其他驾驶活动，如调整汽车音响，在对一定时间内监测到眼睛注视状态判断驾驶员是否疲劳驾驶。

Singh等人^[9]通过对驾驶员眼睛区域的处理来检测驾驶员的疲劳程度。在图像采集之后，处理的第一个阶段为人脸检测，然后从眼睛中提取出疲劳的症状。如果眼睛正常眨动，则不发出警告，当眼睛闭上超过半秒时，系统会以报警和震动的形式向驾驶员发出警告。

Hobeom等人^[10]通过利用MEMS磁力计和神经网络对驾驶员头部姿态进行监测，来对驾驶员疲劳状态进行分析，检测驾驶员的颈部角度估计头部姿态，同时这些信息将有助于司机改正错误的驾驶习惯。

Tijerina等人^[11]根据驾驶员与车辆交互的特点，监测驾驶员疲劳状态。在模拟驾驶环境下建立了一个试验台，共有12名受试者在实验前参加了两个不同程度睡眠状态的实验(部分睡眠剥夺和不睡眠剥夺)。通过对受试者在一系列刺激反应和常规驾驶任务中的表现进行分析，表明不同程度睡眠剥夺下驾驶员的表现差异。实验进一步表明，睡眠不足影响比驾驶员认知功能，在应对意外干扰的能力下降，提出了定性和定量的指导方针，以设计在概率框架下基于贝叶斯网络的疲劳驾驶检测系统。

常见疲劳监测系统基于驾驶员生理图像反应，由ECU和摄像头组成，基于驾驶员的脸部特征、眼睛状态、头部姿态等判断驾驶员的疲劳状态，并在一定情况下予以警示。美国的Attention Technologies公司推出的DD850，瑞典的SmartEye公司推出的AntiSleep系统已经商用，奔驰、沃尔沃的高端车系以及日本丰田公司在日本销售的13代皇冠也都标配疲劳报警系统。Attention Technologies公司设计的DD850基本原理是利用摄像头监测驾驶员眼睛张开与闭合的时间来对驾驶员疲劳状态进行判断；SmartEye 公司设计的AntiSleep的基本原理为监测驾驶员眼睑闭合状况、目光注视方向、以及头部运动；澳大利亚Outerspace Design 公司设计的Optalert通过检测驾驶员的眼睑来判断驾驶者是否处于疲劳驾驶状态。

表1驾驶员疲劳状态监测方法

1.2.2 国内研究现状分析

国内在驾驶员疲劳监测方面的研究起步较晚，当前，国内疲劳驾驶检测方法，基于生理现象监测的疲劳驾驶方法最为准确，山东大学代世勋等人^[12]将血氧检测仪固定于额头与腰部，通过组织血氧参数分析精神疲劳与肌肉疲劳从而判断驾驶员疲劳状态；基于驾驶员眼部、嘴部特征的疲劳驾驶检测方法，陈瑜等人^[13]通过摄像头实时采集驾驶员脸部信息，通过人脸人眼定位后，计算出per-clos和眨眼时间均值，将数据输入疲劳检测模块，检测到驾驶员疲劳，系统即进行文字和语音提醒,在模拟驾驶环境下检测率可达到73.98%；基于车辆信息的疲劳驾驶检测方法；袁霞等人^[14]通过转向盘转向特征值和方向盘握力特征值对驾驶员在驾驶过程中的疲劳状态进行界定,研究了疲劳预警方法，正确率可达90%以上。

国内专家学者和研究人员也取得了不少的研究成果，但大都为在国外已有的方法和技术的改进。基于生理现象监测的疲劳驾驶方法需给驾驶员佩戴生理监测设备，对驾驶产生干扰；摄像头检测受环境影响较大，基于车辆信息疲劳驾驶检测方法检测精度低、误报率高^[15]，在驾驶员疲劳状态检测方面，还需要进一步深入的研究。

1.3 目的意义：

随着我国经济不断发展，汽车拥有量不断提高。根据2017年公安部交通管理局，中国人民共和国道路交通事故统计年报显示，我国每年有超过万起的交通事故发生，由于交通事故导致的死亡人数超过5万人，受伤人数超过20万人，疲劳驾驶是引发交通事故的重要原因之一，研究表明，约有15%~20%的致命交通事故由疲劳引起，疲劳驾驶造成的危害超过酒驾^[16]。随着驾驶员疲劳监测方法的不断改进，图像与生物生理特征、车辆特征的检测的不断发展，微型计算机处理能力的增强，可在以计算机为核心的嵌入式系统中部署深度学习算法，进行疲劳驾驶检测。因此，本设计旨在多信息融合的疲劳状态监测方法，主要包括人脸识别，视线方向估计和头部姿态估计等信息结合，实现相应算法在驾驶人员疲劳监测任务中的应用。

2. 研究的基本内容与方案

2.1 研究（设计）基本内容：

驾驶员疲劳驾驶状态监测方法是基于人脸识别，视线方向估计和头部姿态估计。人脸关键点检测可以帮助了解面部表情的运动与他的动态模型，同时在对性别检测、年龄估计等任务中提供依据；头部姿态估计在情绪与社交表达上起着重要的作用^[17]；视线注视方向评估了注意力，社交技能、心理健康与情绪状况^[18]。

本设计使用最近提出的ce-clm模型算法，现有约束局部模型clm，局部检测器无法模拟复杂的人脸状况，脸部关键点受到表情、环境光线、妆容和配饰等影响，而ce-clm算法在人脸标志检测方面的性能有极大的改进。本设计旨在一种新的框架将人脸检测与人脸对齐两任务整合，通过多任务学习使用统一的级联cnn进行两项任务^[19]。拟定的cnn包括三个阶段：在第一阶段，通过浅层的cnn快速生成候选窗口；然后通过一个更复杂的cnn剔除大量的非面孔窗口；最后使用功能更强大的cnn再次优化结果并输出部关键点位置。利用这种多任务学习框架，可以显著提高算法的性能。为了测量头部姿势估计的性能，使用现有头部姿态估计公开的数据集；对比多种模型，获得其性能。为了实现视线方向估计，使用约束局部神经域^[20]（clnf）、界标检测器^[21]对眼睑、虹膜和瞳孔进行检测；用检测到的瞳孔和眼睛位置以计算眼睛凝视矢量。相机发出光线通过像平面中瞳孔中心的原点，计算出它与眼球的交点； 以此在3d相机坐标中为我们提供了瞳孔位置，从3d眼球中心到瞳孔位置的向量是我们的估计的凝视矢量。

3. 研究计划与安排

第1-2周：查阅相关文献资料，明确研究内容，提出设计思路和内容，确定方案，完成开题报告和外文翻译。

第3-5周：分析驾驶人员的疲劳分类，总结各种提取脸部、嘴、眼睛等算法。

第6-10周：相应算法在驾驶人员疲劳监测的应用和算法调试；

4. 参考文献（12篇以上）

[1]李长勇,吴金强,房爱青.基于多信息的疲劳状态识别方法[j].激光与光电子学进展,2018,55(10):239-245.

[2]韦洪喜. 司机防疲劳驾驶系统研究[d].安徽理工大学,2016.

[3]张恒,刘艳丽.基于视觉信息融合的驾驶员疲劳监测方法综述[j].信息技术,2008(06):8-11 19.