脸皮替换方法、装置及计算机设备与流程

文档序号:15696241发布日期:2018-10-19 19:05阅读:176来源:国知局
脸皮替换方法、装置及计算机设备与流程

本公开涉及图像处理技术领域,尤其涉及一种脸皮替换方法、装置及计算机设备。



背景技术:

目前,将用户脸皮替换为明星脸皮的方法是,获取用户人脸图像以及明星人脸图像,确定用户人脸图像中的用户人脸区域,确定明星人脸图像中的明星人脸区域,根据用户人脸区域上的纹理,以及明星人脸区域上的纹理,实现脸皮替换。然而,上述方案中,由于针对不同用户,脸部各器官的大小以及位置关系不同,例如,不同用户双眼之间的距离不同,眼睛的大小也不同,从而在进行脸皮替换时,用户需要手动获取明星人脸区域上各器官周围的纹理特征,然后手动替换,从而导致用户需要进行多次人脸绘制,操作较多,成本较高,且脸皮替换效率低。



技术实现要素:

本公开提供一种脸皮替换方法、装置及计算机设备,能够解决现有技术中脸皮替换效率差,成本高的问题。

本公开第一方面实施例提出了一种脸皮替换方法,包括:

获取待替换用户的原始人脸图像;

获取人脸模板三维模型;

确定所述原始人脸图像中图像特征点与所述人脸模板三维模型中模型特征点之间的映射关系;

根据所述映射关系,将所述原始人脸图像中的纹理特征,替换为所述人脸模板三维模型中的纹理特征,得到目标人脸图像。

进一步的,所述的方法还包括:

获取所述待替换用户的原始人脸三维模型;

所述映射关系包括:所述图像特征点与所述原始人脸三维模型中模型特征点之间的映射关系,以及所述人脸模板三维模型中模型特征点与所述原始人脸三维模型中模型特征点之间的映射关系。

进一步的,所述根据所述映射关系,将所述原始人脸图像中的纹理特征,替换为所述人脸模板三维模型中的纹理特征,得到目标人脸图像,包括:

根据所述原始人脸三维模型中模型特征点与所述人脸模板三维模型中模型特征点之间的映射关系,将所述原始人脸三维模型中的纹理特征,替换为所述人脸模板三维模型中的纹理特征,得到目标人脸三维模型;

根据所述图像特征点与所述原始人脸三维模型中模型特征点之间的映射关系,将所述原始人脸图像中的纹理特征,替换为所述目标人脸三维模型中的纹理特征,得到目标人脸图像。

进一步的,所述根据所述原始人脸三维模型中模型特征点与所述人脸模板三维模型中模型特征点之间的映射关系,将所述原始人脸三维模型中的纹理特征,替换为所述人脸模板三维模型中的纹理特征,得到目标人脸三维模型,包括:

根据所述原始人脸三维模型中模型特征点与所述人脸模板三维模型中模型特征点之间的映射关系,确定所述人脸模板三维模型到所述原始人脸三维模型的映射矩阵;

根据所述人脸模板三维模型以及对应的映射矩阵,确定所述人脸模板三维模型对应的映射后模型;

将所述原始人脸三维模型中的纹理特征,替换为所述人脸模板三维模型对应的映射后模型中的纹理特征,得到目标人脸三维模型。

进一步的,所述根据所述图像特征点与所述原始人脸三维模型中模型特征点之间的映射关系,将所述原始人脸图像中的纹理特征,替换为所述目标人脸三维模型中的纹理特征,得到目标人脸图像,包括:

根据所述图像特征点与所述目标人脸三维模型中模型特征点之间的映射关系,确定所述目标人脸三维模型到所述原始人脸图像的映射矩阵;

根据所述目标人脸三维模型以及对应的映射矩阵,确定所述目标人脸三维模型对应的映射后图像;

将所述原始人脸图像中的纹理特征,替换为所述目标人脸三维模型对应的映射后图像的纹理特征,得到目标人脸图像。

进一步的,所述原始人脸图像由图像特征点划分为多个图块;

所述人脸模板三维模型由模型特征点划分为多个区域;

对应的,所述根据所述映射关系,将所述原始人脸图像中的纹理特征,替换为所述人脸模板三维模型中的纹理特征,得到目标人脸图像,包括:

根据所述映射关系,将所述原始人脸图像中各图块的纹理特征,替换为所述人脸模板三维模型中对应区域的纹理特征,得到目标人脸图像。

进一步的,所述的方法还包括:

将所述原始人脸图像,与所述人脸模板三维模型进行肤色融合;

获取所述原始人脸图像的图像背景;

确定所述图像背景的颜色信息;

根据所述图像背景的颜色信息对所述融合后的肤色再次进行肤色融合;

根据融合后的肤色,对所述目标人脸图像进行肤色调整。

本公开实施例的脸皮替换方法,通过获取待替换用户的原始人脸图像;获取人脸模板三维模型;确定原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系;根据映射关系,将原始人脸图像中的纹理特征,替换为人脸模板三维模型中的纹理特征,得到目标人脸图像,从而能够根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,实现从人脸模板三维模型到原始人脸图像的纹理特征的自动替换,避免了用户的多次手动绘制,降低了成本,提高了脸皮替换效率,提高了用户的使用体验。

为达上述目的,本公开第二方面实施例提出了一种脸皮替换装置,包括:

获取模块,用于获取待替换用户的原始人脸图像;

所述获取模块,还用于获取人脸模板三维模型;

确定模块,用于确定所述原始人脸图像中图像特征点与所述人脸模板三维模型中模型特征点之间的映射关系;

替换模块,用于根据所述映射关系,将所述原始人脸图像中的纹理特征,替换为所述人脸模板三维模型中的纹理特征,得到目标人脸图像。

进一步的,所述获取模块,还用于获取所述待替换用户的原始人脸三维模型;

所述映射关系包括:所述图像特征点与所述原始人脸三维模型中模型特征点之间的映射关系,以及所述人脸模板三维模型中模型特征点与所述原始人脸三维模型中模型特征点之间的映射关系。

进一步的,所述替换模块包括:

第一替换单元,用于根据所述原始人脸三维模型中模型特征点与所述人脸模板三维模型中模型特征点之间的映射关系,将所述原始人脸三维模型中的纹理特征,替换为所述人脸模板三维模型中的纹理特征,得到目标人脸三维模型;

第二替换单元,用于根据所述图像特征点与所述原始人脸三维模型中模型特征点之间的映射关系,将所述原始人脸图像中的纹理特征,替换为所述目标人脸三维模型中的纹理特征,得到目标人脸图像。

进一步的,所述第一替换单元具体用于,

根据所述原始人脸三维模型中模型特征点与所述人脸模板三维模型中模型特征点之间的映射关系,确定所述人脸模板三维模型到所述原始人脸三维模型的映射矩阵;

根据所述人脸模板三维模型以及对应的映射矩阵,确定所述人脸模板三维模型对应的映射后模型;

将所述原始人脸三维模型中的纹理特征,替换为所述人脸模板三维模型对应的映射后模型中的纹理特征,得到目标人脸三维模型。

进一步的,所述第二替换单元具体用于,

根据所述图像特征点与所述目标人脸三维模型中模型特征点之间的映射关系,确定所述目标人脸三维模型到所述原始人脸图像的映射矩阵;

根据所述目标人脸三维模型以及对应的映射矩阵,确定所述目标人脸三维模型对应的映射后图像;

将所述原始人脸图像中的纹理特征,替换为所述目标人脸三维模型对应的映射后图像的纹理特征,得到目标人脸图像。

进一步的,所述原始人脸图像由图像特征点划分为多个图块;

所述人脸模板三维模型由模型特征点划分为多个区域;

对应的,所述替换模块具体用于,根据所述映射关系,将所述原始人脸图像中各图块的纹理特征,替换为所述人脸模板三维模型中对应区域的纹理特征,得到目标人脸图像。

进一步的,所述的装置还包括:融合模块和调整模块;

所述融合模块,用于将所述原始人脸图像,与所述人脸模板三维模型进行肤色融合;

所述获取模块,还用于获取所述原始人脸图像的图像背景;

所述确定模块,还用于确定所述图像背景的颜色信息;

所述融合模块,还用于根据所述图像背景的颜色信息对所述融合后的肤色再次进行肤色融合;

所述调整模块,用于根据融合后的肤色,对所述目标人脸图像进行肤色调整。

本公开实施例的脸皮替换装置,通过获取待替换用户的原始人脸图像;获取人脸模板三维模型;确定原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系;根据映射关系,将原始人脸图像中的纹理特征,替换为人脸模板三维模型中的纹理特征,得到目标人脸图像,从而能够根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,实现从人脸模板三维模型到原始人脸图像的纹理特征的自动替换,避免了用户的多次手动绘制,降低了成本,提高了脸皮替换效率,提高了用户的使用体验。

为达上述目的,本公开第三方面实施例提出了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时,实现如上所述的脸皮替换方法。

为达上述目的,本公开第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现如上所述的脸皮替换方法。

为达上述目的,本公开第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,实现如上所述的脸皮替换方法。

本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。

附图说明

本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本公开实施例所提供的一种脸皮替换方法的流程示意图;

图2为本公开实施例所提供的另一种脸皮替换方法的流程示意图;

图3为本公开实施例所提供的另一种脸皮替换方法的流程示意图;

图4为本公开实施例所提供的一种脸皮替换装置的结构示意图;

图5为本公开实施例所提供的另一种脸皮替换装置的结构示意图;

图6为本公开实施例所提供的另一种脸皮替换装置的结构示意图;

图7为本公开实施例所提供的执行脸皮替换方法的电子设备的结构示意图。

具体实施方式

下面详细描述本公开的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本公开,而不能理解为对本公开的限制。

下面参考附图描述本公开实施例的脸皮替换方法、装置及计算机设备。

图1为本公开实施例所提供的一种脸皮替换方法的流程示意图。如图1所示,该脸皮替换方法包括以下步骤:

s101、获取待替换用户的原始人脸图像。

本公开提供的脸皮替换方法的执行主体为脸皮替换装置,脸皮替换装置可以为能够执行脸皮替换方法的硬件或者软件等。本实施例中,待替换用户的原始人脸图像可以为待替换用户的二维人脸图像,该二维人脸图像可以通过对用户进行拍照获取,或者扫描获取,或者从其他设备上接收得到的。

s102、获取人脸模板三维模型。

本实施例中,人脸模板三维模型为对原始人脸图像进行替换时所采用的三维模型,人脸模板三维模型中的纹理特征,为待替换到原始人脸图像中的纹理特征。

s103、确定原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系。

本实施例中,由于原始人脸图像与人脸模板三维模型中包括的器官相同,例如眼睛、鼻子、眉毛、嘴巴、耳朵等,因此,原始人脸图像中各坐标点与人脸模板三维模型中各坐标点之间是存在映射关系的。例如,原始人脸图像中眼睛坐标与人脸模板三维模型中眼睛坐标之间的映射关系;原始人脸图像中嘴巴坐标与人脸模板三维模型中嘴巴坐标之间的映射关系;原始人脸图像中耳朵坐标与人脸模板三维模型中耳朵坐标之间的映射关系。

其中,由于各个人脸图像中,器官之间的位置信息和大小信息等存在差别,例如,双眼之间的距离不同,眼睛到嘴巴的距离不同,耳朵的大小不相同等,因此,需要针对每对原始人脸图像以及人脸模型三维模型,确定之间的特征点映射关系。

本实施例中,原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,与人脸模板三维模型的放置角度以及原始人脸图像的拍摄角度有关。放置角度发生变化,则映射关系发生变化;拍摄角度发生变化,则映射关系发生变化,则针对每个放置角度或者拍摄角度,都需要分别确定原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,计算量大,为了节省计算量,在上述实施例的基础上,所述的方法还可以包括:获取待替换用户的原始人脸三维模型;对应的,映射关系可以包括:图像特征点与原始人脸三维模型中模型特征点之间的映射关系,以及人脸模板三维模型中模型特征点与原始人脸三维模型中模型特征点之间的映射关系。

其中,原始人脸图像的各个拍摄角度,是与原始人脸三维模型的放置角度一一对应的,因此,可以针对原始人脸图像的各个拍摄角度,预先建立图像特征点与原始人脸三维模型中模型特征点之间的映射关系;而针对人脸模板三维模型的放置角度,在人脸模板三维模型的放置角度发生变化时,将原始人脸三维模型调整至相应的放置角度即可,不需要重新确定人脸模板三维模型中模型特征点与原始人脸三维模型中模型特征点之间的映射关系,从而减少了确定映射关系时的计算量,提高了脸皮替换速度和脸皮替换效率。

s104、根据映射关系,将原始人脸图像中的纹理特征,替换为人脸模板三维模型中的纹理特征,得到目标人脸图像。

本实施例中,在第一种实施场景中,脸皮替换装置可以根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,将原始人脸图像中各个图像特征点的纹理特征,替换为人脸模板三维模型中相应模型特征点的纹理特征。

在第二种实施场景中,原始人脸图像可以由图像特征点划分为多个图块;人脸模板三维模型可以由模型特征点划分为多个区域,脸皮替换装置可以根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,将原始人脸图像中由各个图像特征点划分得到的图块的纹理特征,替换为人脸模板三维模型中由相应模型特征点划分得到的区域的纹理特征,从而得到目标人脸图像。

本实施例中,基于图像特征点将原始人脸图像划分为多个图块的方法可以为三角剖分方法。三角剖分方法的操作对象可以为二维图像或者曲面。以曲面为例,三角剖分方法是将曲面剖开成一块块碎片,各个碎片要求满足下面条件:(1)每块碎片都是曲边三角形;(2)曲面上任何两个这样的曲边三角形,要么不相交,要么恰好相交于一条公共边,不能同时交两条或两条以上的边。另外,基于模型特征点将人脸模板三维模型划分为多个区域的方法也可以为三角剖分方法。本实施例中,对原始人脸图像进行剖分得到的每个图块上至少包括一个图像特征点。对人脸模板三维模型进行剖分得到的每个区域上至少包括一个模型特征点。

本公开实施例的脸皮替换方法,通过获取待替换用户的原始人脸图像;获取人脸模板三维模型;确定原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系;根据映射关系,将原始人脸图像中的纹理特征,替换为人脸模板三维模型中的纹理特征,得到目标人脸图像,从而能够根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,实现从人脸模板三维模型到原始人脸图像的纹理特征的自动替换,避免了用户的多次手动绘制,降低了成本,提高了脸皮替换效率,提高了用户的使用体验。

进一步的,结合参考图2,在图1所示实施例的基础上,在映射关系包括:图像特征点与原始人脸三维模型中模型特征点之间的映射关系,以及人脸模板三维模型中模型特征点与原始人脸三维模型中模型特征点之间的映射关系的情况下,步骤104具体可以包括以下步骤:

s1041、根据原始人脸三维模型中模型特征点与人脸模板三维模型中模型特征点之间的映射关系,将原始人脸三维模型中的纹理特征,替换为人脸模板三维模型中的纹理特征,得到目标人脸三维模型。

本实施例中,脸皮替换装置执行步骤1041的过程具体可以为,根据原始人脸三维模型中模型特征点与人脸模板三维模型中模型特征点之间的映射关系,确定人脸模板三维模型到原始人脸三维模型的映射矩阵;根据人脸模板三维模型以及对应的映射矩阵,确定人脸模板三维模型对应的映射后模型;将原始人脸三维模型中的纹理特征,替换为人脸模板三维模型对应的映射后模型中的纹理特征,得到目标人脸三维模型。

本实施例中,在确定人脸模板三维模型到原始人脸三维模型的映射矩阵后,脸皮替换装置可以获取人脸模板三维模型中各个模型特征点的纹理特征,进行组合得到人脸模板三维模型对应的纹理特征矩阵;然后将纹理特征矩阵与该映射矩阵相乘,可以得到映射后的纹理特征矩阵,即人脸模板三维模型对应的映射后模型对应的纹理特征矩阵。其中,人脸模板三维模型对应的映射后模型中各个模型特征点的位置,与原始人脸三维模型中相应模型特征点的位置相同,此时可以直接将原始人脸三维模型中各个模型特征点的纹理特征,替换为人脸模板三维模型对应的映射后模型中相应模型特征点的纹理特征,从而得到目标人脸三维模型。

s1042、根据图像特征点与原始人脸三维模型中模型特征点之间的映射关系,将原始人脸图像中的纹理特征,替换为目标人脸三维模型中的纹理特征,得到目标人脸图像。

本实施例中,脸皮替换装置执行步骤1042的过程具体可以为,根据图像特征点与目标人脸三维模型中模型特征点之间的映射关系,确定目标人脸三维模型到原始人脸图像的映射矩阵;根据目标人脸三维模型以及对应的映射矩阵,确定目标人脸三维模型对应的映射后图像;将原始人脸图像中的纹理特征,替换为目标人脸三维模型对应的映射后图像的纹理特征,得到目标人脸图像。

本实施例中,在确定目标人脸三维模型到原始人脸图像的映射矩阵后,脸皮替换装置可以获取目标人脸三维模型中各个模型特征点的纹理特征,进行组合得到目标人脸三维模型对应的纹理特征矩阵;然后将纹理特征矩阵与该映射矩阵相乘,进行组合得到映射后的纹理特征矩阵,即目标人脸三维模型对应的映射后图像对应的纹理特征矩阵。其中,目标人脸三维模型对应的映射后图像中各个图像特征点的位置,与原始人脸图像中相应图像特征点的位置相同,此时可以直接将原始人脸图像中各个特征点的纹理特征,替换为目标人脸三维模型对应的映射后图像中相应图像特征点的纹理特征,从而得到目标人脸图像。

本公开实施例的脸皮替换方法,通过获取待替换用户的原始人脸图像;获取人脸模板三维模型;确定原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系;其中,映射关系包括:图像特征点与原始人脸三维模型中模型特征点之间的映射关系,以及人脸模板三维模型中模型特征点与原始人脸三维模型中模型特征点之间的映射关系;根据原始人脸三维模型中模型特征点与人脸模板三维模型中模型特征点之间的映射关系,将原始人脸三维模型中的纹理特征,替换为人脸模板三维模型中的纹理特征,得到目标人脸三维模型;根据图像特征点与原始人脸三维模型中模型特征点之间的映射关系,将原始人脸图像中的纹理特征,替换为目标人脸三维模型中的纹理特征,得到目标人脸图像,从而能够根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,实现从人脸模板三维模型到原始人脸图像的纹理特征的自动替换,避免了用户的多次手动绘制,降低了成本,提高了脸皮替换效率,提高了用户的使用体验。

进一步的,结合参考图3,在图1或者图2所示实施例的基础上,所述的方法还可以包括以下步骤:

s105、将原始人脸图像,与人脸模板三维模型进行肤色融合。

本实施例中,在步骤104之后,脸皮替换装置执行步骤105的过程具体可以为,获取原始人脸图像中各个图像特征点的肤色特征,获取人脸模板三维模型中相应模型特征点的肤色特征,确定原始人脸图像中各个图像特征点的肤色特征与人脸模板三维模型中相应模型特征点的肤色特征的均值,用该均值替换原始人脸图像中相应图像特征点的肤色特征,实现原始人脸图像与人脸模板三维模型之间的肤色融合。

s106、获取原始人脸图像的图像背景。

本实施例中,为了确保原始人脸图像的肤色与其图像背景的肤色之间的一致性,避免原始人脸图像的肤色与其图像背景的肤色之间差距过大,导致原始人脸图像肤色不协调的问题,脸皮替换装置可以获取原始人脸图像的图像背景,根据图像背景的颜色信息对融合后的肤色再次进行肤色融合。

s107、确定图像背景的颜色信息。

其中,图像背景的颜色信息可以指,图像背景中各个图像特征点的颜色信息;将各个图像特征点的颜色信息,确定为图像背景中各个图像特征点的肤色特征。

s108、根据图像背景的颜色信息对融合后的肤色再次进行肤色融合。

s109、根据融合后的肤色,对目标人脸图像进行肤色调整。

本实施例中,脸皮替换装置具体可以获取肤色融合后原始人脸图像中各个图像特征点的肤色特征,将肤色融合后原始人脸图像中各个图像特征点的肤色特征与图像背景的颜色信息做均值等处理,得到处理后各个图像特征点的肤色特征,采用处理后各个图像特征点的肤色特征对原始人脸图像中相应图像特征点的肤色特征进行替换或者调整,实现再次肤色融合,从而实现原始人脸图像的肤色与其图像背景的肤色之间的一致性。

本公开实施例的脸皮替换方法,通过获取待替换用户的原始人脸图像;获取人脸模板三维模型;确定原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系;根据映射关系,将原始人脸图像中的纹理特征,替换为人脸模板三维模型中的纹理特征,得到目标人脸图像,从而能够根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,实现从人脸模板三维模型到原始人脸图像的纹理特征的自动替换,避免了用户的多次手动绘制,降低了成本,提高了脸皮替换效率,提高了用户的使用体验,以及将原始人脸图像,与人脸模板三维模型进行肤色融合,根据原始人脸图像的图像背景的颜色信息对融合后的肤色再次进行肤色融合,根据融合后的肤色,对目标人脸图像进行肤色调整,实现原始人脸图像的肤色与其图像背景的肤色之间的一致性。

本公开实施例还提出一种脸皮替换装置。图4为本公开实施例所提供的一种脸皮替换装置的结构示意图。如图4所示,该脸皮替换装置包括:获取模块41、确定模块42和替换模块43。

获取模块41,用于获取待替换用户的原始人脸图像;

所述获取模块41,还用于获取人脸模板三维模型;

确定模块42,用于确定所述原始人脸图像中图像特征点与所述人脸模板三维模型中模型特征点之间的映射关系;

替换模块43,用于根据所述映射关系,将所述原始人脸图像中的纹理特征,替换为所述人脸模板三维模型中的纹理特征,得到目标人脸图像。

本实施例中,待替换用户的原始人脸图像可以为待替换用户的二维人脸图像,该二维人脸图像可以通过对用户进行拍照获取,或者扫描获取,或者从其他设备上接收得到的。

本实施例中,由于原始人脸图像与人脸模板三维模型中包括的器官相同,例如眼睛、鼻子、眉毛、嘴巴、耳朵等,因此,原始人脸图像中各坐标点与人脸模板三维模型中各坐标点之间是存在映射关系的。例如,原始人脸图像中眼睛坐标与人脸模板三维模型中眼睛坐标之间的映射关系;原始人脸图像中嘴巴坐标与人脸模板三维模型中嘴巴坐标之间的映射关系;原始人脸图像中耳朵坐标与人脸模板三维模型中耳朵坐标之间的映射关系。

其中,由于各个人脸图像中,器官之间的位置信息和大小信息等存在差别,例如,双眼之间的距离不同,眼睛到嘴巴的距离不同,耳朵的大小不相同等,因此,需要针对每对原始人脸图像以及人脸模型三维模型,确定之间的特征点映射关系。

本实施例中,原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,与人脸模板三维模型的放置角度以及原始人脸图像的拍摄角度有关。放置角度发生变化,则映射关系发生变化;拍摄角度发生变化,则映射关系发生变化,则针对每个放置角度或者拍摄角度,都需要分别确定原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,计算量大,为了节省计算量,在上述实施例的基础上,所述的方法还可以包括:获取待替换用户的原始人脸三维模型;对应的,映射关系可以包括:图像特征点与原始人脸三维模型中模型特征点之间的映射关系,以及人脸模板三维模型中模型特征点与原始人脸三维模型中模型特征点之间的映射关系。

其中,原始人脸图像的各个拍摄角度,是与原始人脸三维模型的放置角度一一对应的,因此,可以针对原始人脸图像的各个拍摄角度,预先建立图像特征点与原始人脸三维模型中模型特征点之间的映射关系;而针对人脸模板三维模型的放置角度,在人脸模板三维模型的放置角度发生变化时,将原始人脸三维模型调整至相应的放置角度即可,不需要重新确定人脸模板三维模型中模型特征点与原始人脸三维模型中模型特征点之间的映射关系,从而减少了确定映射关系时的计算量,提高了脸皮替换速度和脸皮替换效率。

本实施例中,在第一种实施场景中,替换模块43可以根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,将原始人脸图像中各个图像特征点的纹理特征,替换为人脸模板三维模型中相应模型特征点的纹理特征。

在第二种实施场景中,原始人脸图像可以由图像特征点划分为多个图块;人脸模板三维模型可以由模型特征点划分为多个区域,替换模块43可以根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,将原始人脸图像中由各个图像特征点划分得到的图块的纹理特征,替换为人脸模板三维模型中由相应模型特征点划分得到的区域的纹理特征,从而得到目标人脸图像。本实施例中,基于图像特征点将原始人脸图像划分为多个图块的方法可以为三角剖分方法。

本公开实施例的脸皮替换装置,通过获取待替换用户的原始人脸图像;获取人脸模板三维模型;确定原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系;根据映射关系,将原始人脸图像中的纹理特征,替换为人脸模板三维模型中的纹理特征,得到目标人脸图像,从而能够根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,实现从人脸模板三维模型到原始人脸图像的纹理特征的自动替换,避免了用户的多次手动绘制,降低了成本,提高了脸皮替换效率,提高了用户的使用体验。

进一步的,结合参考图5,在图4所示实施例的基础上,在映射关系包括:图像特征点与原始人脸三维模型中模型特征点之间的映射关系,以及人脸模板三维模型中模型特征点与原始人脸三维模型中模型特征点之间的映射关系的情况下,所述替换模块43包括:第一替换单元431和第二替换单元432。

其中,第一替换单元431,用于根据所述原始人脸三维模型中模型特征点与所述人脸模板三维模型中模型特征点之间的映射关系,将所述原始人脸三维模型中的纹理特征,替换为所述人脸模板三维模型中的纹理特征,得到目标人脸三维模型;

第二替换单元432,用于根据所述图像特征点与所述原始人脸三维模型中模型特征点之间的映射关系,将所述原始人脸图像中的纹理特征,替换为所述目标人脸三维模型中的纹理特征,得到目标人脸图像。

本实施例中,第一替换单元431具体可以用于,根据原始人脸三维模型中模型特征点与人脸模板三维模型中模型特征点之间的映射关系,确定人脸模板三维模型到原始人脸三维模型的映射矩阵;根据人脸模板三维模型以及对应的映射矩阵,确定人脸模板三维模型对应的映射后模型;将原始人脸三维模型中的纹理特征,替换为人脸模板三维模型对应的映射后模型中的纹理特征,得到目标人脸三维模型。

本实施例中,第二替换单元432具体可以用于,根据图像特征点与目标人脸三维模型中模型特征点之间的映射关系,确定目标人脸三维模型到原始人脸图像的映射矩阵;根据目标人脸三维模型以及对应的映射矩阵,确定目标人脸三维模型对应的映射后图像;将原始人脸图像中的纹理特征,替换为目标人脸三维模型对应的映射后图像的纹理特征,得到目标人脸图像。

本公开实施例的脸皮替换装置,通过获取待替换用户的原始人脸图像;获取人脸模板三维模型;确定原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系;其中,映射关系包括:图像特征点与原始人脸三维模型中模型特征点之间的映射关系,以及人脸模板三维模型中模型特征点与原始人脸三维模型中模型特征点之间的映射关系;根据原始人脸三维模型中模型特征点与人脸模板三维模型中模型特征点之间的映射关系,将原始人脸三维模型中的纹理特征,替换为人脸模板三维模型中的纹理特征,得到目标人脸三维模型;根据图像特征点与原始人脸三维模型中模型特征点之间的映射关系,将原始人脸图像中的纹理特征,替换为目标人脸三维模型中的纹理特征,得到目标人脸图像,从而能够根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,实现从人脸模板三维模型到原始人脸图像的纹理特征的自动替换,避免了用户的多次手动绘制,降低了成本,提高了脸皮替换效率,提高了用户的使用体验。

进一步的,结合参考图6,在图4或者图5所示实施例的基础上,所述的装置还可以包括:融合模块44和调整模块45;

其中,所述融合模块44,用于将所述原始人脸图像,与所述人脸模板三维模型进行肤色融合;

所述获取模块41,还用于获取所述原始人脸图像的图像背景;

所述确定模块42,还用于确定所述图像背景的颜色信息;

所述融合模块44,还用于根据所述图像背景的颜色信息对所述融合后的肤色再次进行肤色融合;

所述调整模块45,用于根据融合后的肤色,对所述目标人脸图像进行肤色调整。

其中,融合模块44将原始人脸图像,与人脸模板三维模型进行肤色融合的过程中,融合模块44具体用于,获取原始人脸图像中各个图像特征点的肤色特征,获取人脸模板三维模型中相应模型特征点的肤色特征,确定原始人脸图像中各个图像特征点的肤色特征与人脸模板三维模型中相应模型特征点的肤色特征的均值,用该均值替换原始人脸图像中相应图像特征点的肤色特征,实现原始人脸图像与人脸模板三维模型之间的肤色融合。

本实施例中,为了确保原始人脸图像的肤色与其图像背景的肤色之间的一致性,避免原始人脸图像的肤色与其图像背景的肤色之间差距过大,导致原始人脸图像肤色不协调的问题,融合模块44可以获取原始人脸图像的图像背景,根据图像背景的颜色信息对融合后的肤色再次进行肤色融合。

本实施例中,融合模块44具体可以获取肤色融合后原始人脸图像中各个图像特征点的肤色特征,将肤色融合后原始人脸图像中各个图像特征点的肤色特征与图像背景的颜色信息做均值等处理,得到处理后各个图像特征点的肤色特征,采用处理后各个图像特征点的肤色特征对原始人脸图像中相应图像特征点的肤色特征进行替换或者调整,实现再次肤色融合,从而实现原始人脸图像的肤色与其图像背景的肤色之间的一致性。

本公开实施例的脸皮替换装置,通过获取待替换用户的原始人脸图像;获取人脸模板三维模型;确定原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系;根据映射关系,将原始人脸图像中的纹理特征,替换为人脸模板三维模型中的纹理特征,得到目标人脸图像,从而能够根据原始人脸图像中图像特征点与人脸模板三维模型中模型特征点之间的映射关系,实现从人脸模板三维模型到原始人脸图像的纹理特征的自动替换,避免了用户的多次手动绘制,降低了成本,提高了脸皮替换效率,提高了用户的使用体验,以及将原始人脸图像,与人脸模板三维模型进行肤色融合,根据原始人脸图像的图像背景的颜色信息对融合后的肤色再次进行肤色融合,根据融合后的肤色,对目标人脸图像进行肤色调整,实现原始人脸图像的肤色与其图像背景的肤色之间的一致性。

需要说明的是,前述对脸皮替换方法实施例的解释说明也适用于该实施例的脸皮替换装置,此处不再赘述。

为了实现上述实施例,本公开实施例还提出一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现如上所述的脸皮替换方法。

为了实现上述实施例,本公开实施例还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现如上所述的脸皮替换方法。

为了实现上述实施例,本公开实施例还提出一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,实现如上所述的脸皮替换方法。

图7是本公开实施例提供的执行脸皮替换方法的电子设备的硬件结构示意图,如图7所示,该电子设备包括:

一个或多个处理器710以及存储器720,图7中以一个处理器710为例。

该电子设备还可以包括:输入装置730和输出装置740。

处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接,图7中以通过总线连接为例。

存储器720作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的脸皮替换方法对应的程序指令/模块(例如,附图4所示的获取模块41、确定模块42和替换模块43)。处理器710通过运行存储在存储器720中的非暂态软件程序、指令以及模块,从而执行各种功能应用以及数据处理,即实现上述方法实施例中的脸皮替换方法。

存储器720可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据脸皮替换装置的使用所创建的数据等。此外,存储器720可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器720可选包括相对于处理器710远程设置的存储器,这些远程存储器可以通过网络连接至脸皮替换装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置730可接收输入的数据,输入的数据例如,待替换用户的原始人脸图像、人脸模板三维模型等。输出装置740可输出目标人脸图像。输出装置740还可以包括显示屏等显示设备,用于显示待处理的原始人脸图像、人脸模板三维模型、目标人脸图像等。

所述一个或者多个模块存储在所述存储器720中,当被所述一个或者多个处理器710执行时,执行上述任意方法实施例中的脸皮替换方法。

上述产品可执行本申请实施例所提供的脸皮替换方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的脸皮替换方法。

本公开实施例的电子设备以多种形式存在,包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机,以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等,例如ipad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如ipod),掌上游戏机,电子书,以及智能玩具和便携式车载设备。

(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如磁碟、光盘、只读存储记忆体(rom)或随机存储记忆体(ram)等等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1