基于VSLAM的室内语义地图构建算法设计开题报告

1.1 研究背景

机器人的发展历史至今已有半个多世纪，机器人学已经成为了一门由机械结构设计制造、电子信息工程、电子控制技术、计算机技术、传感器技术等多种学科交叉融合的一门前沿技术学科。

近些年来，随着人工智能、传感器技术、机器人视觉、处理器技术等软硬件技术的快速发展，智能机器人的相关研究成为研究领域的热点，智能机器人在人们的生活中发挥着越来越重要的作用，给人们的生产和生活都带来极大的便利，在农业、工业、服务业、医学乃至航天军事等诸多领域中都发挥着重要作用。

但是，在实现与人类水平相类似的人工智能还有诸多问题需解决，在机器人学的领域，解决机器人自身定位和地图构建问题是其中的一个关键问题，即使得机器人获得自身与环境的信息，因为只有机器人对自身和环境信息正确的感知与建模后，机器人才可能完成其他任务。能够使机器人或无人机等在一个未知的环境中实现自主的定位并且更新构建出所处环境初的地图的技术称为同步定位与建图(SimultaneousLocalization And Mapping, SLAM)技术。随着智能机器人在各行业都都有广泛应用，并且随着计算机视觉的迅速发展，VSLAM由于应用场景广、成本低、可提取语义信息等优势逐渐成为人们关注的焦点。

1.2 研究目的

机器人可以通过传感器获取丰富的信息，这对于解决定位和地图构建问题有着极大的便利，因此SLAM技术对实现机器人自主化无疑是一个优先的选择。相较于传统的基于激光传感器的SLAM,基于摄像机视觉的SLAM（VSLAM）具有可以充分利用相机拍摄的图片上面含有的丰富纹理信息，这在重定位和场景语义信息分类方面具有巨大优势。

1.3 研究意义

目前大部分SLAM算法构建的的地图中只有一些基本的几何模块，只有数量标识并未含有任何的语义信息，这使得传统的SLAM算法主要解决的问题只是：机器人自身位置在哪以及怎么走。没有解决机器人所处的环境周围有什么，有什么特征。传统SLAM技术只能从几何层面帮助机器人感知所处的环境，而这对于智能化机器人来说还远远不够，除了感知所处的环境的几何信息，还必须感知所处环境的语义信息，从而使智能化机器人执行进一步任务的需求。本文对目前主流的VSLAM算法和语义SLAM算法进行研究，场景中的语义信息不仅能够提高VSLAM建图与定位的精度，而且可以通过标记可移动物体从而降低由于物体移动对建图造成的影响。同时，又可以利用VSLAM算法计算出物体之间的位置约束，提高语义理解的准确性。

2.1 研究内容

(1)了解VSLAM和深度学习技术

充分了解VSLAM和深度学习技术的研究背景、发展方向、技术特点和工作原理。

(2)实现基于VSLAM方法的几何地图构建

通过研究分析对比当前主流的VSALM算法，并通过实验验证，选择合适的VSALM算法来构建几何环境地图。

(3)实现基于深度学习的语义信息获取

通过学习Mask RCNN、Mask Scoring RCNN等目标检测与实例分割算法，实现环境目标检测与实例分割。利用自制的数据集和公开的TUM数据集进行实验分析。

(4)实现基于VSLAM的室内语义地图构建方法

通过将地图环境中几何特征与语义信息联系融合，实现同时具有几何特征与语义信息的基于VSLAM的室内语义地图构建

2.2 预期目标

(1) 当前主流的VSALM算法特点对比

(2)实现基于VSLAM方法的几何地图构建

(3) 实现基于深度学习环境目标检测与实例分割

(4) 实现基于VSLAM的室内语义地图构建方法

(5) 算法鲁棒性和可靠性测试

[1]林辉灿, 吕强, 张洋,等. 稀疏和稠密的VSLAM的研究进展[J]. 机器人, 2016, 38(005):621-631.

[2] 林辉灿, 吕强, 王国胜,等. 基于VSLAM的自主移动机器人三维同时定位与地图构建[J]. 计算机应用, 2017(10).

[3] 周彦, 李雅芳, 王冬丽,等. 视觉同时定位与地图创建综述[J]. 智能系统学报, 2018, 013(001):97-106.

[4] 林辉灿, 吕强, 王国胜,等. 基于VSLAM的自主移动机器人三维同时定位与地图构建[J]. 计算机应用, 2017(10).

[5] 陈庆伟, 李民东, 罗川,等. 视觉SLAM中图像特征点提取与匹配算法研究[J]. 现代制造工程, 2019, 000(010):135-139,134.

[6] 赵洋, 刘国良, 田国会,等. 基于深度学习的视觉SLAM综述[J]. 机器人, 2017(6).

[7] 李秀智, 李尚宇, 贾松敏,等. 实时的移动机器人语义地图构建系统简[J]. 仪器仪表学报, 2017(11):2769-2778.

[8] 白云汉. 基于SLAM算法和深度神经网络的语义地图构建研究[J]. 计算机应用与软件, 2018(1):183-190.

[9] 陈世浪, 吴俊君. 基于RGB-D相机的SLAM技术研究综述[J]. 计算机工程与应用, 2019, 55(07):30-39.

[10] 胡美玉, 张云洲, 秦操,等. 基于深度卷积神经网络的语义地图构建[J]. 机器人, 2019, 41(4):452-463.

[11] F. Zhang, T. Rui,C. Yang, et al, “Lap-slam: A line-assisted point-based monocular vslam,” Electronics, vol. 8, no. 2, pp. 243,2019.

[12] J. Choi, D. Chun,Kim H., et al, “Gaussian yolov3: An accurate and fast object detector usinglocalization uncertainty for autonomous driving,” Proceedings of the IEEE International Conference on Computer Vision,pp. 502-511, 2019.

[13] J. Li, H. C.Wong, S. L. Lo, et al, “Multiple object detection by a deformable part-basedmodel and an RCNN,” IEEE SignalProcessing Letters, vol. 25, no. 2, pp. 288–292, 2018.

[14] H. Li, Y. Huang,Z. Zhang, “An improved faster RCNN for same object retrieval,” IEEE Access, vol. 5, pp: 13665-13676,2017.

[15] S. Li, D. Lee,“RGB-D SLAM in dynamic environments using static point weighting,” IEEE Robotics and Automation Letters, vol.2, no. 4, pp. 2263-2270, 2017.

[16] T. Whelan, R. F.Salas-Moreno, B. Glocker, et al, “ElasticFusion: Real-time dense SLAM andlight source estimation,” TheInternational Journal of Robotics Research, vol. 35, no. 14, pp.1697-1716, 2019.

[17] R. Mur-Artal, J.M. M. Montiel, J. D. Tardos, “ORB-SLAM: a versatile and accurate monocularSLAM system,” IEEE transactions onrobotics, vol. 31, no. 5, pp. 1147-1163, 2015.

[18] R. Mur-Artal, J.D. Tardos, “Orb-slam2: An open-source slam system for monocular, stereo, andrgb-d cameras,” IEEE Transactions onRobotics, vol. 33, no. 5, pp. 1255-1262, 2017.

[19] S. Leutenegger,M. Chli, R. Y. Siegwart, “BRISK: Binary robust invariant scalable keypoints,” 2011 International conference oncomputer vision. pp. 2548-2555, 2011.

[20] Z. Huang, L.Huang, Y. Gong, et al, “Mask scoring RCNN,” Proceedings of the IEEE conference on computer vision and patternrecognition, pp. 6409-6418, 2019.