一种脸部建模方法、装置、电子设备和计算机可读介质与流程

文档序号:16682576发布日期:2019-01-19 00:39阅读:179来源:国知局
一种脸部建模方法、装置、电子设备和计算机可读介质与流程

本发明涉及图像处理的技术领域,尤其是涉及一种脸部建模方法、装置、电子设备和计算机可读介质。



背景技术:

随着计算机图形学与图像处理技术的快速发展,基于计算机和图像处理的三维人脸建模技术在很多领域(例如,游戏动漫、影视广告)等相关行业得到了广泛的应用,并逐渐成为研究的热点问题。

现有技术在构建三维人脸模型时,利用对象的rgb图像来实现三维人脸模型的构建。这种方案存在如下弊端:三维模型鲁棒性差,且受光线干扰大;三维模型精度低的问题。



技术实现要素:

有鉴于此,本发明的目的在于提供一种脸部建模方法、装置、电子设备和计算机可读介质,以缓解了现有的三维模型的构建方法构建的三维模型鲁棒性差且精度低的技术问题。

第一方面,本发明实施例提供了一种脸部建模方法,包括:获取多帧深度图像,其中,所述多帧深度图像为深度摄像机在不同照射角度下对目标脸拍摄得到的深度图像;对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像,其中,所述目标点云图像中包括多个三维顶点,以及每个三维顶点的三维坐标和法向量;利用所述目标点云图像构建所述目标脸的三维模型。

进一步地,对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像包括:将每帧深度图像转换为3d点云图像,其中,所述3d点云图像包括点云中各个三维顶点的三维坐标和法向量;将各个所述3d点云图像中的三维顶点进行顶点对齐处理,得到所述目标点云图像。

进一步地,将各帧深度图像的3d点云图像进行对齐处理,得到所述目标点云图像包括:针对所述多帧深度图像中的第m张深度图像,将所述第m张深度图像的3d点云图像与预测点云图像进行点云匹配,并根据点云匹配结果确定所述深度摄像机拍摄所述第m张深度图像的位姿信息;基于所述位姿信息确定所述第m张深度图像的3d点云图像中各个顶点在现实空间中的位置信息;利用所述位置信息将所述第m张深度图像的3d点云图像融合至所述预测点云图像中,反复执行上述步骤,直至将第n张深度图像的3d点云图像融合至前n-1张深度图像的3d点云图像进行对齐之后的预测点云图像中之后,得到所述目标点云图像,其中,n为所述深度图像的数量,m小于或者等于n,所述预测点云图像为前m-1张深度图像的3d点云图像进行对齐之后的点云图,所述第m张深度图像为所述深度摄像机对所述目标脸拍摄到的第m张深度图像。

进一步地,所述三维模型中包括多个三维顶点,且一个三维顶点对应所述目标点云图像中的一个顶点;利用所述目标点云图像构建所述目标脸的三维模型包括:在所述目标点云图像的顶点中确定与所述三维模型中各个三维顶点相对应的顶点;基于所述相对应的顶点的三维坐标和法向量在原始脸部模型中构建所述目标脸的三维模型。

进一步地,所述方法还包括:获取多帧rgb图像,其中,所述多帧rgb图像为在不同照射角度下对所述目标脸拍摄得到的rgb图像;对所述多帧rgb图像进行纹理拼合,得到目标纹理图;利用所述目标纹理图对所述三维模型进行渲染,得到渲染之后的所述三维模型。

进一步地,对所述多帧rgb图像进行纹理拼合,得到目标纹理图包括:在所述多帧rgb图像中确定所述三维模型中各个顶点的纹理特征;将所述三维模型进行uv展开处理,得到展开图,其中,所述展开图中包括多个二维坐标,且一个二维坐标对应所述三维模型中的一个顶点;确定所述展开图中各个二维坐标所对应的纹理特征,从而得到所述目标纹理图。

进一步地,在所述多帧rgb图像中确定所述三维模型中各个顶点的纹理特征包括:在所述多帧rgb图像中确定所述三维模型中各个顶点所对应的纹理特征,其中,一个顶点对应一个或多个纹理特征;按照各个顶点所对应的纹理特征的数量对所述各个顶点进行分类,得到第一分类组和第二分类组,其中,所述第一分类组中各个顶点对应一个纹理特征,所述第二分类组中各个顶点对应多个纹理特征;将所述第一分类组中各个顶点所对应的纹理特征作为所述三维模型中与所述第一分类组中各个顶点相对应顶点的纹理特征;在所述第二分类组中各个顶点所对应的多个纹理特征中确定目标纹理特征,并将所述目标纹理特征作为所述三维模型中与所述第二分类组中各个顶点相对应顶点的纹理特征。

进一步地,在所述第二分类组中各个顶点所对应的多个纹理特征中确定目标纹理特征包括:计算所述第二分类组中顶点ai相对于目标相机的法向偏移视角,其中,所述目标相机为用于拍摄目标rgb图像的相机,所述目标rgb图像为所述多帧rgb图像中顶点ai所对应的多个纹理特征所属的rgb图像,i依次取1至i,i为所述第二分类组中顶点的数量;将所述法向偏移视角中的法向偏移最小视角所对应的纹理特征作为所述顶点ai的目标纹理特征。

进一步地,所述三维模型中包括多个顶点,且一个顶点对应所述目标纹理图中的一个或多个像素点;利用所述目标纹理图对所述三维模型进行渲染,得到渲染之后的所述三维模型包括:在所述目标纹理图中查找与各个顶点相对应的纹理特征;将所述纹理特征投影至所述三维模型的各个顶点上得到渲染之后的所述三维模型。

第二方面,本发明实施例还提供了一种脸部建模装置,包括:第一获取单元,用于获取多帧深度图像,其中,所述多帧深度图像为深度摄像机在不同照射角度下对目标脸拍摄得到的深度图像;深度处理单元,用于对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像,其中,所述目标点云图像中包括多个三维顶点,以及每个三维顶点的三维坐标和法向量;构建单元,用于利用所述目标点云图像构建所述目标脸的三维模型。

第三方面,本发明实施例提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法。

第四方面,本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质,所述程序代码使所述处理器执行上述第一方面中任一项所述的方法。

在本发明实施例中,首先,获取多帧深度图像,然后,对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像;最后,利用目标点云图像构建目标脸的三维模型。在本实施例中,深度图中包括目标脸的三维空间信息,利用深度图构建目标脸的三维模型的方式,能够得到精度更高的三维模型,同时相对于基于rgb图像构建三维模型的方式,采用深度图构建的三维模型,能够提高三维模型的鲁棒性,进而缓解了现有的三维模型的构建方法构建的三维模型鲁棒性差且精度低的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种电子设备的示意图;

图2是根据本发明实施例的一种脸部建模方法的流程图;

图3是根据本发明实施例的一种三维模型的示意图;

图4是根据本发明实施例的一种三维模型渲染之后的示意图;

图5是根据本发明实施例的一种目标纹理图的示意图;

图6是根据本发明实施例的另一种脸部建模方法的流程图;

图7是根据本发明实施例的一种脸部建模装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例1:

首先,参照图1来描述用于实现本发明实施例的电子设备100,该电子设备可以用于运行本发明各实施例的脸部建模方法。

如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(dsp,digitalsignalprocessing)、现场可编程门阵列(fpga,field-programmablegatearray)、可编程逻辑阵列(pla,programmablelogicarray)和asic(applicationspecificintegratedcircuit)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(cpu,centralprocessingunit)、图形处理器(gpu,graphicsprocessingunit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。

所述摄像机110用于进行图像采集,其中,摄像机所采集的多帧深度图像经过所述脸部建模方法进行处理之后得到目标脸的三维模型,例如,摄像机可以拍摄用户期望的多帧深度图像,然后,将该多帧深度图像经过所述脸部建模方法进行处理之后得到目标脸的三维模型,摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。

示例性地,用于实现根据本发明实施例的脸部建模方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端。

实施例2:

根据本发明实施例,提供了一种脸部建模方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种脸部建模方法的流程图,如图2所示,该方法包括如下步骤:

步骤s202,获取多帧深度图像,其中,所述多帧深度图像为深度摄像机在不同照射角度下对目标脸拍摄得到的深度图像;

在本实施例中,可以通过结构光或tof传感器获取目标脸的多帧深度图像。可选地,在本实施例中,可以在不同角度设置多个tof相机,例如,以某个点为圆心,每隔5度设置一个tof相机,进而通过该tof相机采集目标脸在各个照射角度下的深度图像。

可选地,在本实施例中,还可以设置一个tof相机,通过调整该tof相机的角度来实现在不同照射角度下对目标脸进行拍摄,得到多帧深度图像。或者,还可以在一个tof相机固定的情况下,通过目标脸不断向左或者向右转动头来实现多帧深度图像的采集。

步骤s204,对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像,其中,所述目标点云图像中包括多个三维顶点,以及每个三维顶点的三维坐标和法向量;

步骤s206,利用所述目标点云图像构建所述目标脸的三维模型。

在本发明实施例中,首先,获取多帧深度图像,然后,对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像;最后,利用目标点云图像构建目标脸的三维模型。在本实施例中,深度图中包括目标脸的三维空间信息,利用深度图构建目标脸的三维模型的方式,能够得到精度更高的三维模型,同时相对于基于rgb图像构建三维模型的方式,采用深度图构建的三维模型,能够提高三维模型的鲁棒性,进而缓解了现有的三维模型的构建方法构建的三维模型鲁棒性差且精度低的技术问题。

通过上述描述可知,在本实施例中,首先获取多帧深度图像,然后,对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像。

在本实施例的一个可选实施方式中,步骤s204,对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像包括如下步骤:

步骤s2041,将每帧深度图像转换为3d点云图像,其中,所述3d点云图像包括点云中各个三维顶点的三维坐标和法向量;

步骤s2042,将各个所述3d点云图像中的三维顶点进行顶点对齐处理,得到所述目标点云图像。

具体地,在本实施例中,将tof相机采集到的各帧深度图像转换为3d点云图像。首先,确定tof相机的参数,其中,该参数包括相机的内参,相机在x,y两个轴上的焦距,相机的光圈中心等参数;遍历深度图,以获取深度图中每个坐标的深度值,基于深度值确定这个坐标的空间坐标,进而得到深度图像的3d点云图像。

在将每帧深度图像转换为3d点云图像之后,就可以将各个3d点云图像中的三维顶点进行顶点对齐处理,得到所述目标点云图像。

在本实施例中,步骤s2042,将各帧深度图像的3d点云图像进行对齐处理,得到所述目标点云图像包括:

步骤s11,针对所述多帧深度图像中的第m张深度图像,将所述第m张深度图像的3d点云图像与预测点云图像进行点云匹配,并根据点云匹配结果确定所述深度摄像机拍摄所述第m张深度图像的位姿信息,所述预测点云图像为前m-1张深度图像的3d点云图像进行对齐之后的点云图,所述第m张深度图像为所述深度摄像机对所述目标脸拍摄到的第m张深度图像;

步骤s12,基于所述位姿信息确定所述第m张深度图像的3d点云图像中各个顶点在现实空间中的位置信息;

步骤s13,利用所述位置信息将所述第m张深度图像的3d点云图像融合至所述预测点云图像中;

反复执行下述步骤,直至将第n张深度图像的3d点云图像融合至前n-1张深度图像的3d点云图像进行对齐之后的预测点云图像中之后,得到所述目标点云图像,n为所述深度图像的数量,m小于或者等于n。

由于深度图像为结构光或tof传感器在不同照射角度下对目标脸进行拍摄得到的,因此,相邻深度图像之间可能包含相同人脸区域,例如,第一张深度图和第二张深度图像中将包含相同人脸区域。也就是说,在第一张深度图像的3d点云图像和第二张深度图像的3d点云图像将包含重合的三维顶点,其中,重合的三维顶点是指该三维顶点对应现实空间中相同位置。

假设,在本实施例中,依次获取n张深度图像。在本实施例中,首先,获取第一张深度图像,并在获取到第一张深度图像之后,将第一张深度图像转换为3d点云图像,并将该3d点云图像映射到预测点云图像中。在获取到第二张深度图像之后,将第二张深度图像转换为3d点云图像,并将第二张深度图像转换为3d点云图像与预测点云图像进行点云匹配,进而根据匹配结果确定深度摄像机拍摄第二张深度图像的位姿信息。并利用该位姿信息确定第二张深度图像的3d点云图像中各个顶点在现实空间中的位置信息。之后,利用该位置信息确定第二张深度图像的3d点云图像与第一张深度图像的3d点云图像之间重合的三维顶点。最后,将第二张深度图像的3d点云图像中除该重合的三维顶点之外的顶点映射在预测点云图像中。从而实现将第二张深度图像的3d点云图像融合在预测点云图像中。

针对n张深度图像中的每张深度图像,均采用上述处理方式来进行对齐处理,对于其他深度图像的对齐过程,此处不再详细描述。

在本实施例中,在对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像之后,就可以利用目标点云图像构建目标脸的三维模型。

在一个可选的实施方式中,步骤s206,利用所述目标点云图像构建所述目标脸的三维模型包括如下步骤:

步骤s2061,在所述目标点云图像的顶点中确定与所述三维模型中各个三维顶点相对应的顶点;

步骤s2062,基于所述相对应的顶点的三维坐标和法向量在原始脸部模型中构建所述目标脸的三维模型。

具体地,在本实施例中,三维模型中包括多个三维顶点,且一个三维顶点对应所述目标点云图像中的一个顶点。基于此,在本实施例中,可以通过三维模型中各个三维顶点与目标点云图像中各个顶点之间的映射关系,在目标点云图像的顶点中确定与三维模型中各个三维顶点相对应的顶点。然后,获取相对于的顶点的三维坐标和法向量。最后,利用相对于的顶点的三维坐标和法向量在原始脸部模型中构建所述目标脸的三维模型。

需要说明的是,此处的原始脸部模型为未经过任何处理的脸部模型。

例如,如图3所示的即为目标脸的三维模型。如图3所示的三维模型为未经过色彩渲染的模型。若想要得到经过色彩渲染之后的模型,还需要获取目标脸的rgb图像,并结合rgb图像对该三维模型进行渲染,得到如图4所示的三维模型。

需要说明的是,在本实施例中,在利用目标点云图像进行建模的过程中,会利用人脸先验知识,来抛弃一些深度图噪声。从而降低深度图质量差对建模造成的干扰,提高建模质量和精确度。

在一个可选的实施方式中,还包括如下步骤:

步骤s208,获取多帧rgb图像,其中,所述多帧rgb图像为在不同照射角度下对所述目标脸拍摄得到的rgb图像;

步骤s210,对所述多帧rgb图像进行纹理拼合,得到目标纹理图;

步骤s212,利用所述目标纹理图对所述三维模型进行渲染,得到渲染之后的所述三维模型。

在本实施例中,可以通过rgb相机获取目标脸的多帧rgb图像。可选地,在本实施例中,可以在不同角度设置多个rgb相机,例如,以某个点为圆心,在目标脸的正面,左侧90度和右侧90分别设置一个rgb相机,进而通过该rgb相机采集目标脸在上述三个照射角度下的深度图像。

可选地,在本实施例中,还可以设置一个rgb相机,可以在一个rgb相机固定的情况下,通过目标脸不断向左或者向右转动头来实现多帧rgb图像的采集。

在得到多帧rgb图像之后,就可以对多帧rgb图像进行纹理拼合,得到目标纹理图。假设采集3张rgb图像,分别是在目标脸的正面,左侧90度和右侧90拍摄的rgb图像,对这3张rgb图像进行纹理拼合之后,得到如图5所示的目标纹理图。

在一个可选的实施方式中,步骤s210,对所述多帧rgb图像进行纹理拼合,得到目标纹理图包括如下步骤:

步骤s2101,在所述多帧rgb图像中确定所述三维模型中各个顶点的纹理特征;

步骤s2102,将所述三维模型进行uv展开处理,得到展开图,其中,所述展开图中包括多个二维坐标,且一个二维坐标对应所述三维模型中的一个顶点;

步骤s2103,确定所述展开图中各个二维坐标所对应的纹理特征,从而得到所述目标纹理图。

在本实施例中,构建的三维模型中包括多个顶点。三维模型上的每个顶点都能在多帧rgb图像中查找到对应的纹理特征。由于存在多个拍摄角度,因此,三维模型中部分顶点被映射到多个纹理特征。

之后,将三维模型进行uv展开处理,得到展开图。需要说明的是,在该展开图中,包括多个二维坐标,且一个二维坐标对应三维模型上的一个三维顶点。

基于此,在本实施例中,若能确定出展开图中各个二维坐标所对应的纹理特征,就能够得到三维模型中各个三维顶点所对应的纹理特征。

在本实施例中,可以通过以下方式在所述多帧rgb图像中确定所述三维模型中各个顶点的纹理特征:

首先,在所述多帧rgb图像中确定所述三维模型中各个顶点所对应的纹理特征,其中,一个顶点对应一个或多个纹理特征。

然后,按照各个顶点所对应的纹理特征的数量对所述各个顶点进行分类,得到第一分类组和第二分类组,其中,所述第一分类组中各个顶点对应一个纹理特征,所述第二分类组中各个顶点对应多个纹理特征。

接下来,将所述第一分类组中各个顶点所对应的纹理特征作为所述三维模型中与所述第一分类组中各个顶点相对应顶点的纹理特征。

最后,在所述第二分类组中各个顶点所对应的多个纹理特征中确定目标纹理特征,并将所述目标纹理特征作为所述三维模型中与所述第二分类组中各个顶点相对应顶点的纹理特征。

通过上述描述可知,三维模型中部分三维顶点被映射到多个纹理特征,三维模型中部分三维顶点被映射到一个纹理特征。基于此,在本实施例中,可以按照三维模型各个三维顶点所映射的纹理特征的数量对三维顶点进行分类。

例如,首先,需要在多帧rgb图像中确定三维模型中各个顶点所对应纹理特征的数量。然后,按照该数量将各个三维顶点划分成第一分类组和第二分类组,其中,第一分类组中各个三维顶点映射一个纹理特征,第二分类组中各个三维顶点映射多个纹理特征。

在划分得到第一分类组和第二分类组之后,就可以将第一分类组中各个三维顶点所映射纹理特征作为该三维顶点的纹理特征。同时,针对第二分类组中的每个三维顶点,都需要从其映射的多个纹理特征中选择一个纹理特征作为该三维顶点的纹理特征。

具体方式为:首先,计算所述第二分类组中顶点ai相对于目标相机的法向偏移视角,其中,所述目标相机为用于拍摄目标rgb图像的相机,所述目标rgb图像为所述多帧rgb图像中顶点ai所对应的多个纹理特征所属的rgb图像,i依次取1至i,i为所述第二分类组中顶点的数量;然后,将所述法向偏移视角中的法向偏移最小视角所对应的纹理特征作为所述顶点ai的目标纹理特征。

通过上述描述可知,三维模型中包括多个顶点,且一个顶点对应所述目标纹理图中的一个或多个像素点。

基于此,利用所述目标纹理图对所述三维模型进行渲染,得到渲染之后的所述三维模型包括:

在所述目标纹理图中查找与各个顶点相对应的纹理特征;

将所述纹理特征投影至所述三维模型的各个顶点上得到渲染之后的所述三维模型。

具体地,在本实施例中,在对三维模型进行渲染时,需要对三维模型中的每个顶点去寻找其在纹理图中的投影色彩(或者纹理特征)。并将该纹理特征投影到该三维模型上。最终渲染出一个彩色的模型,如图4所示。

通过上述描述可知,在本实施例中,深度图中包括目标脸的三维空间信息,利用深度图构建目标脸的三维模型的方式,能够得到精度更高的三维模型,同时相对于基于rgb图像构建三维模型的方式,采用深度图构建的三维模型,能够提高三维模型的鲁棒性,进而缓解了现有的三维模型的构建方法构建的三维模型鲁棒性差且精度低的技术问题。

实施例3:

图6是根据本发明实施例的另一种脸部建模方法的流程图,如图6所示,该方法包括如下步骤:

获取多帧rgb图像,其中,所述多帧rgb图像为在不同照射角度下对所述目标脸拍摄得到的rgb图像。对所述多帧rgb图像进行纹理拼合,得到目标纹理图。获取多帧深度图像,其中,所述多帧深度图像为在不同照射角度下对目标脸拍摄得到的深度图像。对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像。利用所述目标点云图像构建所述目标脸的三维模型。利用所述目标纹理图对所述三维模型进行渲染,得到渲染之后的所述三维模型。具体过程如上述所述,此处不再详细赘述。

实施例4:

本发明实施例还提供了一种脸部建模装置,该脸部建模装置主要用于执行本发明实施例上述内容所提供的脸部建模方法,以下对本发明实施例提供的脸部建模装置做具体介绍。

图7是根据本发明实施例的一种脸部建模装置的示意图,如图7所示,该脸部建模装置主要包括第一获取单元10,深度处理单元20和构建单元30,其中:

第一获取单元10,用于获取多帧深度图像,其中,所述多帧深度图像为深度摄像机在不同照射角度下对目标脸拍摄得到的深度图像;

深度处理单元20,用于对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像,其中,所述目标点云图像中包括多个三维顶点,以及每个三维顶点的三维坐标和法向量;

构建单元30,用于利用所述目标点云图像构建所述目标脸的三维模型。

在本发明实施例中,首先,获取多帧深度图像,然后,对所述多帧深度图像进行深度图像对齐处理,得到目标点云图像;最后,利用目标点云图像构建目标脸的三维模型。在本实施例中,深度图中包括目标脸的三维空间信息,利用深度图构建目标脸的三维模型的方式,能够得到精度更高的三维模型,同时相对于基于rgb图像构建三维模型的方式,采用深度图构建的三维模型,能够提高三维模型的鲁棒性,进而缓解了现有的三维模型的构建方法构建的三维模型鲁棒性差且精度低的技术问题。

可选地,深度处理单元包括:图像转换模块,用于将每帧深度图像转换为3d点云图像,其中,所述3d点云图像包括点云中各个三维顶点的三维坐标和法向量;图像对齐处理模块,用于将各个所述3d点云图像中的三维顶点进行顶点对齐处理,得到所述目标点云图像。

可选地,图像对齐处理模块还用于:针对所述多帧深度图像中的第m张深度图像,将所述第m张深度图像的3d点云图像与预测点云图像进行点云匹配,并根据点云匹配结果确定所述深度摄像机拍摄所述第m张深度图像的位姿信息;基于所述位姿信息确定所述第m张深度图像的3d点云图像中各个顶点在现实空间中的位置信息;利用所述位置信息将所述第m张深度图像的3d点云图像融合至所述预测点云图像中;反复通过图像对齐处理模块执行上述步骤,直至将第n张深度图像的3d点云图像融合至前n-1张深度图像的3d点云图像进行对齐之后的预测点云图像中之后,得到所述目标点云图像;其中,n为所述深度图像的数量,m小于或者等于n,所述预测点云图像为前m-1张深度图像的3d点云图像进行对齐之后的点云图,所述第m张深度图像为所述深度摄像机对所述目标脸拍摄到的第m张深度图像。

可选地,若所述三维模型中包括多个三维顶点,且一个三维顶点对应所述目标点云图像中的一个顶点;构建单元,用于:在所述目标点云图像的顶点中确定与所述三维模型中各个三维顶点相对应的顶点;基于所述相对应的顶点的三维坐标和法向量在原始脸部模型中构建所述目标脸的三维模型。

可选地,该装置还包括:第二获取单元,用于获取多帧rgb图像,其中,所述多帧rgb图像为在不同照射角度下对所述目标脸拍摄得到的rgb图像;纹理拼合单元,用于对所述多帧rgb图像进行纹理拼合,得到目标纹理图;渲染单元,用于利用所述目标纹理图对所述三维模型进行渲染,得到渲染之后的所述三维模型。

可选地,纹理拼合单元用于:在所述多帧rgb图像中确定所述三维模型中各个顶点的纹理特征;将所述三维模型进行uv展开处理,得到展开图,其中,所述展开图中包括多个二维坐标,且一个二维坐标对应所述三维模型中的一个顶点;确定所述展开图中各个二维坐标所对应的纹理特征,从而得到所述目标纹理图。

可选地,纹理拼合单元还用于:在所述多帧rgb图像中确定所述三维模型中各个顶点所对应的纹理特征,其中,一个顶点对应一个或多个纹理特征;按照各个顶点所对应的纹理特征的数量对所述各个顶点进行分类,得到第一分类组和第二分类组,其中,所述第一分类组中各个顶点对应一个纹理特征,所述第二分类组中各个顶点对应多个纹理特征;将所述第一分类组中各个顶点所对应的纹理特征作为所述三维模型中与所述第一分类组中各个顶点相对应顶点的纹理特征;在所述第二分类组中各个顶点所对应的多个纹理特征中确定目标纹理特征,并将所述目标纹理特征作为所述三维模型中与所述第二分类组中各个顶点相对应顶点的纹理特征。

可选地,纹理拼合单元还用于:计算所述第二分类组中顶点ai相对于目标相机的法向偏移视角,其中,所述目标相机为用于拍摄目标rgb图像的相机,所述目标rgb图像为所述多帧rgb图像中顶点ai所对应的多个纹理特征所属的rgb图像,i依次取1至i,i为所述第二分类组中顶点的数量;将所述法向偏移视角中的法向偏移最小视角所对应的纹理特征作为所述顶点ai的目标纹理特征。

可选地,所述三维模型中包括多个顶点,且一个顶点对应所述目标纹理图中的一个或多个像素点;渲染单元还用于:在所述目标纹理图中查找与各个顶点相对应的纹理特征;将所述纹理特征投影至所述三维模型的各个顶点上得到渲染之后的所述三维模型。

在本实施例中,还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质,所述程序代码使所述处理器执行上述第一方面中任一项所述的方法。

本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。

另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1