用于深度学习的细节化人体三维模型生成文献综述

一、研究背景及意义：

三维人体重建是计算机图形学中的一个重要的分支。它是指使用二维图像中的深度、纹理等基本信息来恢复三维空间中人体的形状和人体表面每一个顶点在世界坐标系下的位置信息，它的本质目的在于将现实中真实的人体模型数字化。另外，对人体模型进行细节化也会有重大意义，因为以上得到的人体模型大多光滑，缺失比如衣服、褶皱等细节特点，逐渐不能满足社会的需求。近年来传统方法对于此的研究已经趋于成熟，随着深度学习技术在近几年迅速的发展，也涌现出一些深度学习的算法，这将进一步提高系统的精确性与便捷性。三维人体重建被广泛应用于计算机3D动画、游戏创作、计算机图形学、计算机视觉、虚拟现实和医学图像处理等相关领域中。

二、研究现状：

1、三维人体模型重建方法

目前的三维人体重建的很多方法都存在明显的不足。首先，软件人体建模法（比如Maya等）会缺乏真实人体细节，并且该类软件一般人学习成本高。另外，基于多目摄像头的立体视觉的三维人体重建方法存在采集的深度数据少、精度不高、算法时间复杂度大等缺点。深度传感器如Microsoft Kinect 等，具有采购成本低、操作简单、普及率高等特点，可以轻松获得物体表面三维数据，但是弊端也明显，被采集目标不能穿宽松的衣服。对于使用激光扫描仪的三维人体重建大多数都成本高、价格昂贵，也体积庞大，不易安装等缺点。基于RGB图像的三维建模的方法是采用二维图像进行三维重建。但缺陷也很多，图像本身就是一个三维物体在某一个维度上的投影，深度信息完全缺失，因此必须借助一些物体本身的先验知识，从而实现目标物体的模型重建。

为了解决这些问题，很多论文中提出了基于模板模型驱动的三维人体重建。它的主要思想是利用现存的模型库通过组合、变形、拼接、拟合等方法来实现人体模型的重建。这种方式的优点是它既容易学习又能产生高质量的的几何模型，但有他的局限性，虽然生成的模型是新产生的，但是它的各个原件都是模型库中的，用户是不能改动的，如此也就限制了创建模型的多样性和创新性。

SMPL模型[6]是一个经过成千上万的真实人体扫描数据学习而来的，它是一种数据驱动的参数化模型，参数中包括控制形态的形态参数和控制姿态的姿态参数，只要我们确定这些参数，SMPL模型就会产生一个具体的人体模型。

最早开始建立三维人体模型库的是CAESAR，该人体数据集使用大型激光扫描仪Cyberware WBX采集了将近3000个人体完整数据，在此数据库上，[13]借助事先标记好的模型之间顶点的对应关系，然后根据主成分分析，得到一个模型形态空间。再后来的[14]的改进下，加入了姿态变形，建立了一个SCAPE模型。但是其在姿态引起的人体软组织变化上略有欠缺，这方面SMPL模型就有明显的优势，本文的工作主要建立在SMPL模型上。

2、参数化三维人体模型重建

有关单个图像中人体的3D分析的工作很多。 但是，大多数方法专注于恢复3D关节位置。而关节稀疏，人体是由3D空间中的表面定义的。此外，仅关节位置不会约束每个关节的自由度。对于仅从3D关节位置估计身体的完整姿势，这就意味着它是错误的。当今用于恢复3D人体网格的现有方法专注于多阶段方法和直接估算。