一种基于多张图片的3D人体建模方法及装置与流程

本发明涉及计算机视觉技术领域，尤其涉及一种基于多张图片的3d人体建模方法及装置。

背景技术：

三维人体建模是目前计算机图形学和计算机视觉领域最基础的研究问题之一。三维人体模型在身份鉴别、医疗辅助、影视制作、游戏制作、数字艺术等方面均有广泛的应用。

现有技术中，通过多张图片建模技术通过视频建模和多角度图片3d建模的技术，通过手机或者双摄像头对物体进行绕一周甚至多次环绕拍摄，通过视频中的轮廓点进行计算，获取物体轮廓的相对关键点的空间坐标，实现3d建模。还有一种就是通过对物体进行多角度的拍照，获取更多的信息点，通过融合图片中的关键点从而生成3d模型。上面两种方法的缺点是生成速度慢，需要五分钟以上或者十几分钟；生成的模型是固定模型，不可编辑，数据量大，而且建立的3d模型不能实现表情和动作以及变换身体上的穿戴配饰，降低了人体3d建模的质量。

技术实现要素：

针对上述技术问题，本发明实施例提供了一种基于多张图片的3d人体建模方法及装置，能够解决现有技术中的多张图片3d建模技术还原准确度差，建模数据量大，建模时间长的技术问题。

本发明实施例的第一方面提供一种基于多张图片的3d人体建模方法，包括：

获取n张图片，分别识别各张图片的人体关键点，其中，所述图片中包括人体数据，且所述n张图片对应为同一人体的n个角度的图片，n大于等于2；

通过对比所述n张图片的中人体的角度、距离，计算获取的所述n张图片的结构顶点，根据所述结构顶点获取所述人体关键点的空间坐标；

根据预先创建的标准人体模型中的骨骼点的空间坐标与所述人体关键点的空间坐标匹配对齐后，生成基础人体模型；

获取所述n张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将所述融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；

根据所述基础人体模型与所述基础贴图生成3d人体模型。

可选地，所述获取n张图片，分别识别各张图片的人体关键点前，包括：

预先创建一个包含骨骼点的标准人体模型。

可选地，所述人体为人脸，

所述获取n张图片包括：

获取摄像设备拍摄的从所述人脸左侧到人脸右侧的视频；

提取所述视频中人脸n个角度的n张图片。

可选地，所述人体为人脸，

所述获取n张图片包括：

从摄像设备拍摄的所述人脸的图片中，获取n张所述人脸不同的角度的图片。

可选地，所述获取所述n张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将所述融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图，包括：

根据获取所述n张图片的人脸的边缘信息点对齐所述n张图片；

将对齐后的所述n张图片进行拼接融合，生成融合贴图；

获取所述融合贴图的灰度的平均值，根据所述平均值与预先创建的标准人体模型中的基本贴图的基础纹理进行对比重叠；

绘制人脸两侧的边缘通道，根据所述边缘通道将所述融合贴图与所述基本贴图融合后，生成基础贴图。

本发明实施例第二方面提供了一种基于多张图片的3d人体建模装置，所述装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下步骤：：

获取n张图片，分别识别各张图片的人体关键点，其中，所述图片中包括人体数据，且所述n张图片对应为同一人体的n个角度的图片，n大于等于2；

通过对比所述n张图片的中人体的角度、距离，计算获取的所述n张图片的结构顶点，根据所述结构顶点获取所述人体关键点的空间坐标；

根据预先创建的标准人体模型中的骨骼点的空间坐标与所述人体关键点的空间坐标匹配对齐后，生成基础人体模型；

获取所述n张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将所述融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；

根据所述基础人体模型与所述基础贴图生成3d人体模型。

可选地，所述计算机程序被所述处理器执行时还实现以下步骤：

预先创建一个包含骨骼点的标准人体模型。

可选地，所述计算机程序被所述处理器执行时还实现以下步骤：所述人体为人脸时，

获取摄像设备拍摄的从所述人脸左侧到人脸右侧的视频；

提取所述视频中人脸n个角度的n张图片，或者；

从摄像设备拍摄的所述人脸的图片中，获取n张所述人脸不同的角度的图片。

可选地，所述计算机程序被所述处理器执行时还实现以下步骤：

根据获取所述n张图片的人脸的边缘信息点对齐所述n张图片；

将对齐后的所述n张图片进行拼接融合，生成融合贴图；

获取所述融合贴图的灰度的平均值，根据所述平均值与预先创建的标准人体模型中的基本贴图的基础纹理进行对比重叠；

绘制人脸两侧的边缘通道，根据所述边缘通道将所述融合贴图与所述基本贴图融合后，生成基础贴图。

本发明实施例第三方面提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于多张图片的3d人体建模方法。

本发明实施例提供的技术方案中，通过获取n张图片，分别识别各张图片的人体关键点，获取人体关键点的空间坐标；根据预先创建的标准人体模型中的骨骼点的空间坐标与人体关键点的空间坐标匹配对齐后，生成基础人体模型；获取n张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；根据基础人体模型与基础贴图生成3d人体模型。因此相对于现有技术，本发明实施例可生成的3d人体模型还原的相似度高，获取人体信息更准确，纹理和结构相比单张图片建模更精确，而且建模速度快，建立的模型可编辑，为3d人体建模提供了方便。

附图说明

图1为本发明实施例中一种基于多张图片的3d人体建模方法的一个实施例的流程示意图；

图2为本发明实施例中一种基于多张图片的3d人体建模装置的另一实施例结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例中一种基于多张图片的3d人体建模方法的一个实施例的流程示意图。如图1所示，包括：

步骤s100、获取n张图片，分别识别各张图片的人体关键点；

步骤s200、通过对比n张图片的中人体的角度、距离，计算获取的n张图片的结构顶点，根据结构顶点获取人体关键点的空间坐标；

步骤s300、根据预先创建的标准人体模型中的骨骼点的空间坐标与人体关键点的空间坐标匹配对齐后，生成基础人体模型；

步骤s400、获取n张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；

步骤s500、根据基础人体模型与基础贴图生成3d人体模型。

具体实施时，步骤s100中获取n张图片，其中图片可以是从拍摄的视频中提取的n张图片或是拍摄的n张图片。n张图片中均包含人体数据。人体数据包括人脸或是人的身体。以人体为人脸为例进行介绍。n张图片对应人脸的n个角度，n是大于等于2的自然数。分别获取n张图片中的人脸信息，识别出人脸关键点。

步骤s200中通过对比角度，距离计算获取几张图的结构顶点，获取和定位准确的面部关键点空间位置关系，即坐标点，坐标点包括平面x轴和y轴和深度z轴信息。

步骤s300中获取准确的面部轮廓及五官等关键点后，然后让预先创建的标准人体模型骨骼的轮廓以及五官的顶点对应到从图片中获取的关键点，这样预先创建的标准人体模型就在空间上与关键点的坐标相重合，生成一个基础人体模型。标准人体模型应该为标准人脸模型。

步骤s400中先用每张图片的面部边缘信息点对齐，进行拼接融合，展开一张完整的人脸(包含的面)的融合贴图。将融合贴图再与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图。

步骤s500中通过模型和纹理数据构建真实的3d人脸模型，即通过在图片中识别的结构网格顶点信息，使模型和贴图的顶点适配，五官包括发际线等能准确的贴图，完成贴图工作，构建真实的3d人脸模型。

可选地，步骤s100之前，还包括：预先创建一个包含骨骼点的标准人体模型。具体地，可预先建立一个包括骨骼系统和完整纹理贴图的基础模型。该基础模型可选用现有的一个标准人体模型或是一个标准人脸模型。

可选地，人体为人脸，步骤s100中获取n张图片包括：

获取摄像设备拍摄的从人脸左侧到人脸右侧的视频；

提取视频中人脸n个角度的n张图片。

具体地，用户对着手机转动头部，或者头部固定，用摄像设备或者手机绕着脸部正面从一边往另一边转动，拍摄一段面部的视频。例如：通过对着头部正面拍一段视频，也可以是手持手机从脸的一侧水平移动到脸的另一侧，大概是90度夹角，拍摄一段视频。通过计算获取中间和两侧的清晰图片，一共五张图。

进一步的实施例中，获取n张图片包括：

从摄像设备拍摄的人脸的图片中，获取n张人脸不同的角度的图片。

具体实施时，通过获取人脸的正面图片，还有人脸侧面一张图片或者多张图片。例如：使用两张不同角度的图片，至少两张图片，一张正面，一张侧面(偏侧，正侧都可以)。先通过面部识别技术分析出面部的关键点坐标。

可选地，步骤s400中包括：根据获取n张图片的人脸的边缘信息点对齐n张图片；将对齐后的n张图片进行拼接融合，生成融合贴图；获取融合贴图的灰度的平均值，根据平均值与预先创建的标准人体模型中的基本贴图的基础纹理进行对比重叠；绘制人脸两侧的边缘通道，根据边缘通道将融合贴图与基本贴图融合后，生成基础贴图。

具体实施时，先用每张图片的面部边缘信息点对齐，进行拼接融合，展开一张完整的面部(包含的面)的融合贴图。通过获取图片中的色彩信息，去掉颜色，变成灰度贴图，分析灰度的深浅度，取大面积的平均值，变回彩色图。用取的平均值色彩信息与基本模型的基础纹理进行对比重叠，在photoshop中绘制出面部两侧的边缘通道，让两张重叠的贴图更自然的融合在一起，生成基础贴图，无缝衔接。

上面对本发明实施例中的基于多张图片的3d人体建模方法进行了描述，下面对本发明实施例中的基于多张图片的3d人体建模装置进行描述，请参阅图2，图2是本发明实施例中一种基于多张图片的3d人体建模装置的另一实施例程序模块示意图，包括：

装置10包括：存储器101、处理器102及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器101执行时实现以下步骤：

获取n张图片，分别识别各张图片的人体关键点，其中，图片中包括人体数据，且n张图片对应为同一人体的n个角度的图片，n大于等于2；

通过对比n张图片的中人体的角度、距离，计算获取的n张图片的结构顶点，根据结构顶点获取人体关键点的空间坐标；

根据预先创建的标准人体模型中的骨骼点的空间坐标与人体关键点的空间坐标匹配对齐后，生成基础人体模型；

获取n张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；

根据基础人体模型与基础贴图生成3d人体模型。

具体实施时，获取n张图片，其中图片可以是从拍摄的视频中提取的n张图片或是拍摄的n张图片。n张图片中均包含人体数据。人体数据包括人脸或是人的身体。以人体为人脸为例进行介绍。n张图片对应人脸的n个角度，n是大于等于2的自然数。分别获取n张图片中的人脸信息，识别出人脸关键点。

通过对比角度，距离计算获取几张图的结构顶点，获取和定位准确的面部关键点空间位置关系，即坐标点，坐标点包括平面x轴和y轴和深度z轴信息。

获取准确的面部轮廓及五官等关键点后，然后让预先创建的标准人体模型骨骼的轮廓以及五官的顶点对应到从图片中获取的关键点，这样预先创建的标准人体模型就在空间上与关键点的坐标相重合，生成一个基础人体模型。标准人体模型应该为标准人脸模型。

先用每张图片的面部边缘信息点对齐，进行拼接融合，展开一张完整的人脸(包含的面)的融合贴图。将融合贴图再与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图。

通过模型和纹理数据构建真实的3d人脸模型，即通过在图片中识别的结构网格顶点信息，使模型和贴图的顶点适配，五官包括发际线等能准确的贴图，完成贴图工作，构建真实的3d人脸模型。

可选地，计算机程序被处理器101执行时还实现以下步骤：

预先创建一个包含骨骼点的标准人体模型。具体地，可预先建立一个包括骨骼系统和完整纹理贴图的基础模型。该基础模型可选用现有的一个标准人体模型或是一个标准人脸模型。

可选地，计算机程序被处理器101执行时还实现以下步骤：人体为人脸时，

获取摄像设备拍摄的从人脸左侧到人脸右侧的视频；

提取视频中人脸n个角度的n张图片，或者；

从摄像设备拍摄的人脸的图片中，获取n张人脸不同的角度的图片。

具体地，若是通过视频中提取图片，具体为：用户对着手机转动头部，或者头部固定，用摄像设备或者手机绕着脸部正面从一边往另一边转动，拍摄一段面部的视频。例如：通过对着头部正面拍一段视频，也可以是手持手机从脸的一侧水平移动到脸的另一侧，大概是90度夹角，拍摄一段视频。通过计算获取中间和两侧的清晰图片，一共五张图。

若是直接获取拍摄的图片，则具体为：通过获取人脸的正面图片，还有人脸侧面一张图片或者多张图片。例如：使用两张不同角度的图片，至少两张图片，一张正面，一张侧面(偏侧，正侧都可以)。先通过面部识别技术分析出面部的关键点坐标。

可选地，计算机程序被处理器101执行时还实现以下步骤：

根据获取n张图片的人脸的边缘信息点对齐n张图片；

将对齐后的n张图片进行拼接融合，生成融合贴图；

获取融合贴图的灰度的平均值，根据平均值与预先创建的标准人体模型中的基本贴图的基础纹理进行对比重叠；

绘制人脸两侧的边缘通道，根据边缘通道将融合贴图与基本贴图融合后，生成基础贴图。

具体实施时，先用每张图片的面部边缘信息点对齐，进行拼接融合，展开一张完整的面部(包含的面)的融合贴图。通过获取图片中的色彩信息，去掉颜色，变成灰度贴图，分析灰度的深浅度，取大面积的平均值，变回彩色图。用取的平均值色彩信息与基本模型的基础纹理进行对比重叠，在photoshop中绘制出面部两侧的边缘通道，让两张重叠的贴图更自然的融合在一起，生成基础贴图，无缝衔接。

本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤s100至步骤s500。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。