单视角手部三维重建文献综述

1. 选题背景和意义：

人机交互是智能制造及智能设备发展的关键，在人工智能领域具有非常重要的地位。随着虚拟现实、智能穿戴等新设备及技术的发展，自然、便捷的人机交互需求与矛盾愈发突出。手部三维模型重建一直是人机交互研究的热点问题。

本项目应用前景广阔，在VR,AR领域可以得到广泛的应用，目前VR领域人机交互方式主要依赖手柄，若能通过彩色摄像头重建手部模型，便能解放双手。甚至可实现投影虚拟工作台的软件基础，通过手势控制虚拟投影工作台上的各个零器件，更加方便工程类项目的实现与完成。

目前已经有大量基于图片的无标记手部模型重建的工作，由于手部关节运动复杂并且存在自遮挡问题，重建手部三维模型十分困难。大多数工作需要利用深度相机或是多目相机，但是在实际生活中的很多场合下只有单目彩色相机可以被使用，这体现出单视角手部三维重建算法的重要性。近年来，已有一些通过单视角彩色图片重建手部三维模型的算法被提出，但目前算法在精度等方面还存在很大的提升空间，值得深入研究。

1. 课题关键问题及难点：

关键问题：

本项目希望通过单视点RGB相机提供的照片或视频中重建出手部三维模型。实现在开放环境、复杂背景下高效稳定的动态重建。关键问题主要分为两部分：节点检测算法，结合关键点位置信息求解三维模型。

难点：

1.歧义性

从2D到3D的映射存在着固有的歧义。

2.遮挡问题

二维图片中仅能观察到一个视角下的手部信息。同时由于手指存在大量的自遮挡情况。遮挡问题使二维关键点位置检测与三维模型参数求解的难度大大提高。需要根据一定的先验信息求解三维模型参数。