全文总字数：7033字
1. 研究目的与意义（文献综述）
随着汽车产业“新四化”（智能化，电动化，共享化，网联化）的不断普及，智能汽车不仅成为学术界和工业界的焦点，也成为国家发展战略的一部分，并在由国家发改委发布的《智能汽车创新发展战略（征求意见稿）》[1]一文中指出，希望到2020年智能汽车新车占比达到50%。智能车辆技术主要由环境感知，定位与建图，决策与规划，运动控制与车路协同五部分组成。环境感知技术的主要任务是通过传感器获取周围环境的信息；定位与建图技术的主要任务是通过传感器数据和预先采集的地图数据确定当前车辆所处的位置；决策与规划技术的主要任务是利用环境感知技术和定位与建图技术所提供的信息对车辆接下来的运动进行规划；运动控制技术的主要任务是通过车辆上的各种电子控制设备控制汽车运动，使汽车按照规划的速度与路径行驶；车路协同技术的主要任务是利用通信技术实现多车互联和对城市道路车流的动态调控。
在自动驾驶感知系统中，由于单一传感器存在明显的缺点，因此自动驾驶感知系统需要依赖多种传感器，传感器融合也因此一直是学术界和工业界的研究热点，而其中以激光雷达和摄像头融合最受人关注，且应用最为广泛。激光雷达具有可以获取周围环境准确的三维信息，抗干扰能力强，近乎全天候工作等优点，但同时激光雷达也具有无法获得物体颜色信息，分辨率不高等缺点，而摄像头则具有可以获取颜色信息，从而获得更加丰富的语义信息的优点，但单目摄像头无法获得距离信息，而通过双目匹配获得深度信息的方式由于计算量较大目前还无法应用于实时系统，同时摄像头还有受天气干扰较大且无法在夜间工作等缺点，因此摄像头和激光雷达的融合一直是学术界和工业界的研究热点。本研究的主要任务是设计一种融合与检测框架将激光雷达和摄像头两种传感器进行融合，克服原本各自的缺点，实现自动驾驶场景下行人3d位置的实时检测。
行人检测是自动驾驶感知系统中相当重要的一项任务，目前自动驾驶场景下基于摄像头与激光雷达的行人检测算法主要分为三类，分别是基于摄像头的行人检测，基于激光雷达的行人检测和基于激光雷达与摄像头融合的行人检测。早期的基于摄像头的行人检测主要依赖人工设计的sift[3]，hog[4]等特征提取器对滑窗内的目标提取特征，然后利用svm[6]，adaboost[5]等分类器对滑窗进行分类，然而大部分基于滑窗与人工设计的特征提取器的行人检测方法大多有边框冗余度高且实时性差等缺点，因此无法直接应用到自动驾驶场景下。近些年基于深度学习的摄像头行人检测方法层出不穷，而且获得了远超传统行人检测方法的效果，其中主流方法主要分为两类，一类是由ren在fast r-cnn[8]的基础上改进所提出的faster r-cnn[9]为代表的两步式目标检测算法，该方法首先利用rpn网络从图像中提取候选边框，然后对候选边框进行分类与回归从而获得准确的目标位置，以fasterr-cnn为代表衍生出了一系列两步式目标检测算法，这类算法具有超高的检测精度的优点，另一类则是由redmon所提出的yolo[10]为代表的单步式目标检测算法，并衍生出了yolov2[11]，yolo v3[12]等一系列单步式目标检测算法，这类算法具有在保证一定检测精度的情况下推理速度较快的优点。早期基于激光雷达的行人检测方法一般首先对点云进行聚类分割，然后对聚类进行分类，从而获得行人的位置，这类方法往往只能应用到一些较为简单的场景，无法应对自动驾驶场景下复杂多变的点云的处理工作。后续基于深度学习的激光雷达行人检测方法主要分为两类，一类是以由zhou提出的voxel net[25]为代表先对点云进行结构化处理，然后利用cnn等方法对结构化后的点云进行处理进行目标检测的方法，还有一类是以由qi提出的pointnet[13]为代表的直接处理原始点云数据进行目标检测的方法。基于激光雷达和摄像头融合的方法则主要分为三类，分别是目标级融合，特征级融合和像素级融合，目标级融合的代表作有由qi提出的以二维检测为主导的f-pointnet[16]，特征级融合的代表作有由chen提出的多视图特征融合网络mv3d[15]，像素级融合的代表作有由gansbeke提出的通过rgb图像诱导稀疏点云深度图补全的网络[21]。
2. 研究的基本内容与方案
2.1. 研究的基本内容
（1）对激光雷达和摄像头两种传感器分别进行内参标定与联合外参标定，从而完成对激光雷达点云数据和摄像头图像数据的配准和修正。
（2）分析激光雷达与摄像头各自的优点与缺点，选择合适的融合级别对激光雷达与摄像头进行融合，综合利用激光雷达和摄像头各自的优点。
3. 研究计划与安排
1）7学期第18-19周，确定毕业设计选题，完善毕业设计任务书（相关参数），校内外资料收集
2）8学期第1周，方案构思、文献检索、完成开题报告
3）8学期第2-3周，外文翻译、资料再收集
4. 参考文献（12篇以上）
[1].国家发展改革委. 智能汽车创新发展战略（征求意见稿）[ol], 2018.
[2].李升波, 关阳, 侯廉, 等. 深度神经网络的关键技术及其在自动驾驶领域的应用[j]. 汽车安全与节能学报, 2019.
[3].lowed g. object recognition from local scale-invariant features[c]. ieeeinternatioanl conference on computer vision, 2001.
课题毕业论文、开题报告、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
