基于2D图像的稀疏三维重建开题报告

1. 研究目的与意义（文献综述）

slam(simultaneouslocalization and mapping)是指搭载特定传感器的主体，在没有环境先验信息的情况下，在运动过程中建立环境的模型，同时估计自己的运动。视觉是人类感知外界环境认知外部世界的最重要的途径，人类大约有80%的外部信息都是通过视觉途径获取的。人类获取到外部世界的信息以后，就会自动的将这些信息输入人类的大脑进行分析处理，达到对观察到的环境进行认知。虽然相机也可以捕捉到外界的图像信息，但是它不像人类那样拥有分析处理信息的能力。视觉slam主要是基于相机来完成对环境的感知工作，随着经济与科技的发展，相机不再像以前那样价格昂贵，现在的相机成本比较低，价格也实惠经济，它的图像信息丰富，现在人们十分关注关于视觉slam的研究。计算机视觉技术起源与20世纪50年代，它是在图像处理的基础上发展起来的新兴领域。现在已经广泛的应用在监控、3d游戏、无人驾驶汽车、无人机、扫地机器人、生物医学诊断分析、工厂的自动检测环节、军事领域等各方面。计算机视觉的两个基本方向就是物体识别和三维重建，因此我们要研究的三维重建是计算机视觉的一个重要研究内容之一，也是当下人们热衷的研究方向之一。人们依靠三维重建技术来研究文物、名胜古迹的修复、探测月球、临床医学诊断、vr游戏、智能驾驶、智慧城市等，可见三维重建技术已经深入我们生活的方方面面。

基于2d图像的三维重建的目的是从所拍摄的2d的相机图像中获取我们需要的几何和语义信息。三维重建技术的广泛应用使得研究人员已经开发了支持3d建模的多种技术，在不同需求中，对3d建模系统提出的要求也不尽相同。例如对物品质量的检测要求进行精确的重建，而对于可视化的目的来说，只需要给用户提供视觉上的逼真效果即可。基于2d图像的三维重建方法方便且它的自动化程度更高，重建的精度高，也更加经济优惠，能适用于大规模场景、物体的重建，十分有利于人们的研究和也便利了该技术有效的推广普及。

基于图像的三维重建是一个与许多学科密切相关的研究领域，这些学科包括线性代数、计算机图形学、线性代数、矩阵论、高等数学、图像处理、模式识别等。相比中国，美国等发达国家对基于图像的三维重建技术研究开始的相对早，因此他们对这方面的认识也比较深入一些。第一个基于图像的三维重建系统在1992年问世。近几十年来，各个国家的研究人员都热衷与对基于图像的三维重建技术进行深入的研究，在这方面取得的成果也相对显著。

2. 研究的基本内容与方案

本文主要是对基于2D图像的稀疏三维重建技术进行研究，基于2D图像的稀疏三维重建过程的核心是对捕获的真实世界场景图像进行逆转的过程。我们的目标是从二维图像中恢复现实世界的三维结构。基于图像的3D建模中的主要问题之一是多个相关图像的鲁棒而有效的几何关联，这种关联过程通常以两步法解决：首先，对所有输入图像的内容进行独立描述；然后，使用这些独立的图像描述，尝试找到描述相同场景结构的相似图像。这个过程就是图像点特征的提取和匹配。

本文主要通过利用COLMAP软件对给定的一组存在共视关系的图片进行稀疏三维重建。首先对相机模型和图像间的对极几何关系进行分析，然后对输入的图像进行特征点的提取和匹配，利用SIFT算法提取图片的特征，其次利用提取出来的图像特征将图像进行特征匹配并利用RANSAC算法剔除outlier（外点）消除特征点误匹配。最后根据这些匹配关系来三维世界的点的坐标位置恢复，并得到各图象的相机位姿（即位置与姿态），最后利用colmap对图片中的场景进行稀疏重建。这个过程就是我们要完成的基于2D图像的稀疏三维重建。

3. 研究计划与安排

1-3周：查阅相关文献，了解这个设计的相关理论知识，完成英文文献的翻译并撰写开题报告；

4-12周：安装所需软件，学习软件的使用及所要用到的理论，并运用到设计中，完成本次设计和实验。

13-16周：独立完成毕业论文的撰写。

4. 参考文献（12篇以上）

[1]高翔，张涛.视觉机器十四讲：从理论到实践[m].北京：电子工业出版社，2017（3）.

[2]schonberger,johannes l.robust methods for accurate and efficient3d modeling from unstructured imagery[d].diss.eth zurich,2018.

[3]哈利特.计算机视觉中的多视图几何[m].韦穗.合肥：安徽大学出版社，2002.