本发明涉及图像处理技术领域，具体涉及一种图像融合方法、装置及存储介质。
背景技术
图像融合技术是计算机视觉中的一种关键技术，有着广泛的应用场景，例如，换脸、平均脸、疯狂变脸等深受用户喜爱，其关键技术就是人脸融合技术。
现有技术中，人脸融合主要是将包含用户人脸的人脸图像中的脸部区域，融合到包含人脸的模板图中，以替换模板图中的人脸，例如，将人脸图像中的脸部区域的像素点迁移到模板图中对应的脸部区域。该方案只有在模板图和人脸图像中的人脸方向一致(例如都是正脸或都是侧脸)的情况下才能够得到较好的融合效果，而用户拍照的人脸图像中人脸方向很难达到与模板图中一致，例如，如果让用户拍一张包含侧脸的人脸图像，试图保持与模板图中一致的侧脸姿势，则在拍照的过程中，用户侧脸的姿势和角度很难达到与模板图中的侧脸一致。而当模板图和人脸图像中的人脸方向不一致时，模板图与人脸图像中的人脸特征点会有较大偏差，只能强行进行融合。例如，当模板图中的人脸是侧脸，且人脸图像中的人脸是正脸时，由于模板图中的侧脸有部分区域是不可见的，比如被挡住一侧鼻子，而人脸图像中的所有正脸区域都会融合到模板图中，此时，模板图中的侧脸与人脸图像中的正脸之间的人脸特征点会有偏差，强行进行融合会造成扭曲和偏移等。
在对现有技术的研究和实践过程中，本发明的发明人发现，由于当需要模板图和人脸图像中的人脸方向一致时，用户提供的人脸图像中人脸方向(例如姿势和角度)很难达到与模板图保持一致，因此得到的人脸融合效果比较差。而当模板图和人脸图像中的人脸方向不一致(例如模板图中的人脸是侧脸，且人脸图像中的人脸是正脸)时，强行进行融合会造成扭曲和偏移等误差，导致人脸融合效果非常差。
技术实现要素：
本发明实施例提供一种图像融合方法、装置及存储介质，旨在提高对图像中人脸进行融合的效果。
为解决上述技术问题，本发明实施例提供以下技术方案：
一种图像融合方法，包括：
获取待融合二维图像，并根据所述待融合二维图像中的人脸构建三维人脸模型；
获取模板图像，以及获取所述模板图像中的人脸在三维空间中的旋转参数；
基于所述旋转参数对所述三维人脸模型进行旋转，得到旋转后三维人脸模型；
将所述旋转后人脸三维模型转换为二维人脸图像；
将所述二维人脸图像与所述模板图像进行融合。
一种图像融合装置，包括：
构建单元，用于获取待融合二维图像，并根据所述待融合二维图像中的人脸构建三维人脸模型；
获取单元，用于获取模板图像，以及获取所述模板图像中的人脸在三维空间中的旋转参数；
旋转单元，用于基于所述旋转参数对所述三维人脸模型进行旋转，得到旋转后三维人脸模型；
转换单元，用于将所述旋转后人脸三维模型转换为二维人脸图像；
融合单元，用于将所述二维人脸图像与所述模板图像进行融合。
一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施所提供的任一种图像融合方法中的步骤。
本发明实施例可以获取待融合二维图像，并根据待融合二维图像中的人脸构建三维人脸模型，以及，获取模板图像及模板图像中的人脸在三维空间中的旋转参数，然后基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型，再将旋转后三维人脸模型转换为二维人脸图像，此时，可以将二维人脸图像与模板图像进行融合，例如将二维人脸图像中的人脸融合至模板图像中的人脸所在区域。该方案通过构建并旋转三维人脸模型，从而可以基于旋转后三维人脸模型得到二维人脸图像，使得二维人脸图像与模板图像中人脸的方向一致，以便将二维人脸图像中的人脸精准融合至模板图像中的人脸所在区域，提高了对图像中人脸进行融合的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像融合方法的场景示意图；
图2是本发明实施例提供的图像融合方法的流程示意图；
图3(a)是本发明实施例提供的待融合二维图像的示意图；
图3(b)是本发明实施例提供的模板图像的示意图；
图4(a)是本发明实施例提供的三维人脸模型的示意图；
图4(b)是本发明实施例提供的旋转后三维人脸模型的示意图；
图5是本发明实施例提供的二维人脸图像的示意图；
图6(a)是本发明实施例提供的人脸特征点检测得到人脸特征点的示意图；
图6(b)是本发明实施例提供的三角形划分得到人脸三角形区域的示意图；
图7是本发明实施例提供的融合后图像的示意图；
图8是本发明实施例提供的图像融合方法的另一流程示意图；
图9是本发明实施例提供的图像融合装置的结构示意图；
图10是本发明实施例提供的图像融合装置的另一结构示意图；
图11是本发明实施例提供的终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像融合方法、装置及存储介质。
请参阅图1，图1为本发明实施例所提供的图像融合方法的场景示意图，其中，图像融合装置具体可以集成在平板电脑、手机、笔记本电脑、及台式电脑等具备储存单元并安装有微处理器而具有运算能力的终端中，该终端可以用于接收用户输入的图像融合指令，基于图像融合指令获取待融合二维图像，该待融合二维图像包含用户的人脸，例如，可以向服务器发送图像获取请求，并接收服务器基于返回的待融合二维图像；或者通过摄像头采集用户的图像，得到待融合二维图像等。此时，可以根据待融合二维图像中的人脸构建三维人脸模型，例如，可以向服务器发送模型获取请求，并接收服务器基于模型获取请求返回的预设人脸模型，根据预设人脸模型获取待融合二维图像中的人脸在三维平面内的三维坐标点，并根据三维坐标点构建三维人脸模型等，在得到三维人脸模型后，可以将三维人脸模型上传至服务器进行存储。以及，可以获取模板图像，该模板图像中包含人脸，例如可以从服务器上获取模板图像，此时，可以获取模板图像中的人脸在三维空间中的旋转参数。然后，基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型，并将旋转后人脸三维模型转换为二维人脸图像。最后，可以将二维人脸图像与模板图像进行融合，例如，可以分别对二维人脸图像和模板图像进行人脸特征点检测，得到各自对应的人脸特征点，并根据人脸特征点将二维人脸图像中的人脸融合至模板图像中的人脸所在区域，得到融合后图像；等等。
需要说明的是，图1所示的图像融合方法的场景示意图仅仅是一个示例，本发明实施例描述的图像融合方法的场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着图像融合方法的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
以下分别进行详细说明。
在本实施例中，将从图像融合装置的角度进行描述，该图像融合装置具体可以集成在平板电脑、手机、笔记本电脑、及台式电脑等具备储存单元并安装有微处理器而具有运算能力的终端中。
一种图像融合方法，包括：获取待融合二维图像，并根据待融合二维图像中的人脸构建三维人脸模型；获取模板图像，以及获取模板图像中的人脸在三维空间中的旋转参数；基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型；将旋转后人脸三维模型转换为二维人脸图像；将二维人脸图像与模板图像进行融合。
请参阅图2，图2是本发明一实施例提供的图像融合方法的流程示意图。该图像融合方法可以包括：
在步骤s101中，获取待融合二维图像，并根据待融合二维图像中的人脸构建三维人脸模型。
该待融合二维图像中可以包含一张或多张人脸，还可以包括其他的物体，其中，该人脸可以是正面的人脸(即正脸)，或者任意角度的人脸(即侧脸)等。例如，如图3(a)所示，该待融合二维图像中可以包括一张正脸。
待融合二维图像可以是图像融合装置在拍照的过程中，拍照摄像头采集到的图像；待融合二维图像也可以是图像融合装置预存的图像，待融合二维图像还可以是通过在互联网上搜索或者从图像数据库中获取到的图像等；当然，待融合二维图像也可以是通过其他方式获取到的图像，具体获取方式在此处不作限定。
在得到待融合二维图像后，图像融合装置可以根据待融合二维图像中的人脸构建三维人脸模型，在某些实施方式中，根据待融合二维图像中的人脸构建三维人脸模型的步骤可以包括：
获取预设人脸模型；根据预设人脸模型，获取待融合二维图像中的人脸在三维平面内的三维坐标点，并根据三维坐标点构建三维人脸模型。
其中，预设人脸模型可以是三维平均人脸模型，该三维平均人脸模型可以是预先设置，可以通过改变三维平均人脸模型的三维坐标点的位置信息来生成不同的表情及不同身份的用户的三维人脸模型，也就是说所有三维人脸模型都可以通过在三维平均人脸模型的三维坐标点上增加偏移来表示。
图像融合装置可以接收设置指令，并基于设置指令设置预设人脸模型；或者，图像融合装置可以向服务器发送模型获取请求，并接收服务器基于模型获取请求返回的预设人脸模型。在得到预设人脸模型后，图像融合装置可以根据预设人脸模型，获取待融合二维图像中的人脸在三维平面内的三维坐标点，并根据三维坐标点构建三维人脸模型。
在某些实施方式中，根据预设人脸模型，获取待融合二维图像中的人脸在三维平面内的三维坐标点，并根据三维坐标点构建三维人脸模型的步骤可以包括：
(1)获取待融合二维图像中的人脸投影在二维平面内的第一投影参数；
(2)获取预设人脸模型投影在二维平面内的第二投影参数；
(3)根据第一投影参数及第二投影参数，获取待融合二维图像中的人脸在三维平面内的三维坐标点；
(4)根据三维坐标点构建三维人脸模型。
具体地，图像融合装置根据待融合二维图像中的人脸构建三维人脸模型的过程中，可以从待融合二维图像中提取出人脸，并获取待融合二维图像中的人脸投影在二维平面内的第一投影参数，该第一投影参数可以是人脸在二维平面内的坐标点。
以及，图像融合装置获取预设人脸模型投影在二维平面内的第二投影参数，该第二投影参数可以是预设人脸模型在二维平面内的坐标点。由于可以通过改变三维平均人脸模型的三维坐标点的位置信息来生成不同的表情及不同身份的用户的三维人脸模型，也就是说所有三维人脸模型都可以通过在三维平均人脸模型的三维坐标点上增加偏移来表示，因此，用户的人脸的三维人脸模型可以用如下公式(1)表示：
其中，公式(1)中的m表示人脸的三维人脸模型，
在得到人脸投影在二维平面内的第一投影参数，以及预设人脸模型投影在二维平面内的第二投影参数后，图像融合装置可以根据第一投影参数及第二投影参数，获取人脸在三维平面内的三维坐标点，例如，如下公式(2)和公式(3)所示：
argmin||x3d-x2d||(2)
x3d＝p(mkeypoint)(3)
其中，x3d表示预设人脸模型的三维坐标点，mkeypoint表示预设人脸模型在二维平面内的第二投影参数，p为投影函数，x2d为人脸投影在二维平面内的第一投影参数。
其中，投影可以包括正交投影和透视投影等，以正交投影进行三维建模为例，可以通过如下公式(4)进行正交投影：
x3d＝s×r×mkeypoint+t(4)
其中，s为放缩系数，r为旋转系数，t为二维平移分量，因此，可以通过公式(1)、公式(3)及公式(4)迭代求解公式(2)，即可得到身份参数pid和表情参数pexp、放缩系数s、旋转系数r及二维平移分量t，根据参数[pid，pexp，s，r，t]得到三维坐标点，根据三维坐标点即可生成三维人脸模型。也就是说，如果将各个角度的三维人脸模型投影到二维平面都可以与待融合二维图像中人脸相匹配，那么这个三维人脸模型就是需要获取的三维人脸模型。例如，根据待融合二维图像中的人脸构建得到的三维人脸模型如图4(a)所示。
需要说明的是，除了可以通过上述公式构建三维人脸模型之外，三维人脸模型还可以是通过其他方式获取，具体构建方式在此不做限定。
需要说明的是，当待融合二维图像中的人脸包括多个时，图像融合装置可以从待融合二维图像中任意提取一张人脸来构建三维人脸模型，或者，图像融合装置可以输出选择项，并接收用户基于选择项从待融合二维图像中选择其中一张人脸来构建三维人脸模型，或者，图像融合装置可以从待融合二维图像中提取出所有人脸，并根据各个人脸分别构建三维人脸模型；等等。
在步骤s102中，获取模板图像，以及获取模板图像中的人脸在三维空间中的旋转参数。
其中，步骤s102可以在步骤s101之前执行，也可以在步骤s101之后执行，具体执行顺序可以根据实际需要进行灵活设置，在此处不作限定。
该模板图像中可以包含一张或多张人脸，还可以包括其他的物体，其中，该人脸可以是正面的人脸(即正脸)，或者任意角度的人脸(即侧脸)等。例如，如图3(b)所示，该模板图像中可以包含一张侧脸。模板图像可以是图像融合装置通过拍照摄像头采集到的图像，也可以是图像融合装置预先设置的图像，还可以是通过在互联网上搜索或者从图像数据库中获取到的图像等；当然，模板图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。
在得到模板图像后，图像融合装置可以获取模板图像中的人脸在三维空间中的旋转参数，该旋转参数可以是人脸在三维空间中的x轴、y轴、及z轴方向上的转向，例如，当模板图像中的人脸为正脸时，可以设置模板图像中的正脸在三维空间中的旋转参数为0；当模板图像中的人脸为侧脸时，可以设置模板图像中的侧脸相对于正脸的旋转参数为：在x轴方向上旋转的x角度、在y轴方向上旋转的y角度、及在z轴方向上旋转的z角度。
图像融合装置可以接收用户输入的旋转参数，并将该旋转参数设置为模板图像中的人脸在三维空间中的旋转参数，即该旋转参数可以由人工设置。
在某些实施方式中，获取模板图像中的人脸在三维空间中的旋转参数的步骤可以包括：根据模板图像中的人脸构建三维模型；基于三维模型获取模板图像中人脸在三维空间中的旋转参数。
在某些实施方式中，根据模板图像中的人脸构建三维模型的步骤可以包括：
获取模板图像中的人脸投影在二维平面内的第三投影参数；获取预设人脸模型，及预设人脸模型投影在二维平面内的第四投影参数；根据第三投影参数及第四投影参数，获取模板图像中的人脸在三维平面内的目标三维坐标点；根据目标三维坐标点构建三维模型。
具体地，图像融合装置可以从模板图像中提取出人脸，并获取模板图像中的人脸投影在二维平面内的第三投影参数，该第三投影参数可以是人脸在二维平面内的坐标点。以及，图像融合装置可以获取预设人脸模型(该预设人脸模型与上述提及的预设人脸模型一致，即为三维平均人脸模型)投影在二维平面内的第四投影参数，该第四投影参数可以是预设人脸模型在二维平面内的坐标点。然后可以利用上述公式(1)、公式(2)、公式(3)和公式(4)根据第三投影参数及第四投影参数，计算模板图像中的人脸在三维平面内的目标三维坐标点，并根据目标三维坐标点构建三维模型。在得到三维模型后，可以基于三维模型获取模板图像中人脸在三维空间中的旋转参数，该旋转参数即为上述公式(4)中的旋转系数r。
在步骤s103中，基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型。
在得到三维人脸模型和旋转参数后，图像融合装置可以将旋转参数应用到三维人脸模型上，控制三维人脸模型在三维空间中进行x轴、y轴、及z轴等方向上的旋转，使得三维人脸模型中人脸的方向(包括姿势和角度等)与模板图中人脸方向一致。例如，基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型如图4(b)所示。
例如，当三维人脸模型中的人脸为正脸，且模板图像中的人脸为侧脸时，为了使得三维人脸模型中人脸的方向与模板图中人脸方向一致，可以基于模板图中侧脸在三维空间中相对于正脸的旋转参数，对三维人脸模型中的正脸进行旋转，得到旋转后三维人脸模型中的人脸为侧脸。
又例如，当三维人脸模型中的人脸为侧脸，且模板图像中的人脸为正脸时，为了使得三维人脸模型中人脸的方向与模板图中人脸方向一致，可以基于模板图中正脸在三维空间中相对于侧脸的旋转参数，对三维人脸模型中的侧脸进行旋转，得到旋转后三维人脸模型中的人脸为正脸。
需要说明的是，在得到旋转后三维人脸模型后，图像融合装置可以对该旋转后三维人脸模型进行预处理，例如通过亮度调节方式，使得旋转后三维人脸模型中人脸上的光照环境保持与模板图相当等。
在步骤s104中，将旋转后人脸三维模型转换为二维人脸图像。
在得到旋转后人脸三维模型后，图像融合装置可以将旋转后人脸三维模型转换为二维人脸图像，该二维人脸图像可以如图5所示，例如，可以接收截图指令，根据截图指令直接截取旋转后人脸三维模型在显示界面内显示的图像，得到二维人脸图像；或者，按照上述根据人脸构建三维人脸模型的方法进行逆映射，将旋转后人脸三维模型逆映射为二维人脸图像，当然，还可以通过其他方式将旋转后人脸三维模型转换为二维人脸图像。
在步骤s105中，将二维人脸图像与模板图像进行融合。
图像融合装置可以先做人脸特征点检测，然后根据人脸特征点划分人脸三角形区域，然后根据人脸三角形区域做仿射变换，最后将二维人脸图像中人脸上的每一块人脸三角形区域融合到模板图像中人脸的对应位置上，还可以做一些边缘柔等后处理操作，即可完成人脸图像融合。
需要说明的是，当二维人脸图像和模板图像中的人脸均为多个时，图像融合装置可以根据待融合二维图像中的各个人脸分别构建三维人脸模型，以及获取模板图像中的各个人脸在三维空间中的旋转参数，基于各个旋转参数分别对各个三维人脸模型进行旋转，得到旋转后三维人脸模型；然后将各个旋转后人脸三维模型转换为二维人脸图像，并将二维人脸图像中各个人脸与模板图像中各个人脸进行融合。例如，当二维人脸图像中包括第一人脸和第二人脸，模板图像中包括第三人脸和第四人脸时，可以根据第一人脸和第二人脸分别构建三维人脸模型，以及第三人脸和第四人脸在三维空间中的旋转参数，基于第三人脸对应的旋转参数对第一人脸对应的三维人脸模型进行旋转，基于第四人脸对应的旋转参数对第二人脸对应的三维人脸模型进行旋转，得到旋转后三维人脸模型；然后将各个旋转后人脸三维模型转换为二维人脸图像，最后将二维人脸图像中的第一人脸与模板图像中的第三人脸进行融合，将二维人脸图像中的第二人脸与模板图像中的第四人脸进行融合。
在某些实施方式中，将二维人脸图像与模板图像进行融合的步骤可以包括：
(1)对二维人脸图像进行人脸特征点检测，得到第一人脸特征点；
(2)对模板图像进行人脸特征点检测，得到第二人脸特征点；
(3)根据第一人脸特征点和第二人脸特征点，将二维人脸图像中的人脸融合至模板图像中的人脸所在区域。
图像融合装置可以通过人脸识别技术，对二维人脸图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行特征点检测，生成第一人脸特征点，该第一人脸特征点可以是各个人脸器官对应的关键点的位置坐标信息，该第一人脸特征点可以在人脸的外部轮廓和各个人脸器官的边缘或中心等，该第一人脸特征点的个数可以是106个、83个或68个等，具体个数可以根据实际需要进行灵活设置。
以及，图像融合装置可以通过人脸识别技术，对模板图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行特征点检测，生成第二人脸特征点，该第二人脸特征点可以是各个人脸器官对应的关键点的位置坐标信息，该第二人脸特征点可以在人脸的外部轮廓和各个人脸器官的边缘或中心等，该第二人脸特征点的个数可以是106个、83个或68个等，具体个数可以根据实际需要进行灵活设置。为了能够将二维人脸图像与模板图像进行精准融合，可以设置第一人脸特征点和第二人脸特征点的个数一致。例如，进行人脸特征点检测得到包含的人脸特征点人脸图像，如图6(a)所示。
此时，图像融合装置可以根据第一人脸特征点和第二人脸特征点，将二维人脸图像中的人脸融合至模板图像中的人脸所在区域。
在某些实施方式中，根据第一人脸特征点和第二人脸特征点，将二维人脸图像中的人脸融合至模板图像中的人脸所在区域的步骤包括：
(a)根据第一人脸特征点，对二维人脸图像中的人脸进行三角形划分，得到第一人脸三角形区域；
(b)根据第二人脸特征点，对模板图像中的人脸进行三角形划分，得到第二人脸三角形区域；
(c)基于第一人脸三角形区域和第二人脸三角形区域进行仿射变换，得到目标人脸三角形区域；
(d)将目标人脸三角形区域融合至模板图像中的人脸所在区域。
具体地，图像融合装置可以根据第一人脸特征点对二维人脸图像中的人脸进行三角形划分，得到第一人脸三角形区域，例如，将各个人脸特征点按照预设算法进行连线，从而可以将人脸划分为多个三角形区域，该预设算法可以根据实际需要进行灵活设置。以及，根据第二人脸特征点对模板图像中的人脸进行三角形划分，得到第二人脸三角形区域，例如，根据人脸特征点对人脸进行三角形划分得到包含人脸三角形区域的人脸图像，如图6(b)所示。
然后，图像融合装置可以基于二维人脸图像对应的第一人脸三角形区域和模板图像对应的第二人脸三角形区域进行仿射变换，得到目标人脸三角形区域。例如，可以将第一人脸三角形区域和第二人脸三角形区域中对应位置的人脸三角形区域进行比较，若第一人脸三角形区域和第二人脸三角形区域中对应位置的人脸三角形区域的形状和大小等不一致，此时可以对第一人脸三角形区域中该位置的人脸三角形区域进行缩放、旋转或平移等操作，得到目标人脸三角形区域，使得目标人脸三角形区域和第二人脸三角形区域中对应位置的人脸三角形区域形状和大小等一致。
此时，可以将目标人脸三角形区域融合至模板图像中的人脸所在区域，得到融合后图像，例如，该融合后图像可以如图7所示。为了使得融合效果更加自然，可以使用alpha-blend或者seamlessclone等融合算法进行融合。
以下将进行举例说明，当待融合二维图像中的人脸为正脸，且模板图像中的人脸为侧脸时，根据待融合二维图像中的正脸构建三维人脸模型，得到的该三维人脸模型中的人脸为正脸，以及获取模板图像中的侧脸在三维空间中相对于正脸的旋转参数，该旋转参数为模板图像中侧脸在三维空间中的相对于正脸的旋转参数。
此时，基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型的步骤可以包括：基于旋转参数对三维人脸模型中正脸的进行旋转，得到旋转后三维人脸模型，旋转后三维人脸模型中的人脸为侧脸。将二维人脸图像与模板图像进行融合的步骤可以包括：将二维人脸图像中的旋转后侧脸融合至模板图像中的侧脸所在区域。从而通过构建三维人脸模型的方式来解决侧脸融合难的问题，用户只需正常拍摄正脸图像，通过正脸图像构建三维人脸模型，再自动化旋转三维人脸模型到与模板图中侧脸方向一致，最后将旋转后三维人脸模型转换为二维人脸图像，进行二维人脸图像与模板图像之间进行侧脸融合。例如，只需要待融合二维图像中人脸为正脸，就能实现与各个侧脸的模板图进行侧脸融合，方便快捷且效果很好。
需要说明的是，图像融合装置可以先获取待融合二维图像，并根据待融合二维图像中的人脸构建三维人脸模型；获取模板图像，根据模板图像中的人脸构建三维模型，以及基于三维模型获取模板图像中人脸在三维空间中的旋转参数；然后，基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型；其次，将旋转后三维人脸模型中的人脸区域与三维模型中的人脸区域进行融合，得到融合后三维人脸模型，最后将融合后三维人脸模型转换为二维人脸图像；等等。
由上可知，本发明实施例可以获取待融合二维图像，并根据待融合二维图像中的人脸构建三维人脸模型，以及，获取模板图像及模板图像中的人脸在三维空间中的旋转参数，然后基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型，再将旋转后三维人脸模型转换为二维人脸图像，此时，可以将二维人脸图像与模板图像进行融合，例如将二维人脸图像中的人脸融合至模板图像中的人脸所在区域。该方案通过构建并旋转三维人脸模型，从而可以基于旋转后三维人脸模型得到二维人脸图像，使得二维人脸图像与模板图像中人脸的方向一致，以便将二维人脸图像中的人脸精准融合至模板图像中的人脸所在区域，提高了对图像中人脸进行融合的效果。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
本实施例以图像融合装置为终端为例，以待融合二维图像中的人脸为正脸，且模板图像中的人脸为侧脸，待融合二维图像和模板图像中的人脸均为一个为例，可以理解的是，本实施例只是为了便于描述所举的例子，不应理解为是对待融合二维图像和模板图像中的人脸方向、及个数进行限定，但不管待融合二维图像和模板图像中的人脸方向是何种方向、及个数为多少，其图像融合的过程都是类似的，都可以按照该示例进行理解。
请参阅图8，图8为本发明实施例提供的图像融合方法的流程示意图。该方法流程可以包括：
s201、终端获取待融合二维图像和模板图像。
其中，该待融合二维图像中可以包括一张正脸，如图3(a)所示；该模板图像中可以包含一张侧脸，如图3(b)所示，当然，待融合二维图像和模板图像中还可以包括其他的物体。
待融合二维图像和模板图像可以是终端在拍照的过程中，拍照摄像头采集到的图像，也可以是终端预先设置的图像，还可以通过在互联网上搜索或者从图像数据库中获取得到的图像等；当然，也可以是通过其他方式获取到的图像，具体获取方式在此处不作限定。例如，待融合二维图像可以是用户自拍得到包含正脸的图像，模板图像可以是预先设置的图像。
s202、终端根据预设人脸模型，获取待融合二维图像中的人脸在三维平面内的三维坐标点，并根据三维坐标点构建三维人脸模型。
其中，预设人脸模型可以是三维平均人脸模型，该三维平均人脸模型可以是预先设置，可以通过改变三维平均人脸模型的三维坐标点的位置信息来生成不同的表情及不同身份的用户的三维人脸模型，也就是说所有三维人脸模型都可以通过在三维平均人脸模型的三维坐标点上增加偏移来表示。
终端可以根据预设人脸模型，获取待融合二维图像中的正脸在三维平面内的三维坐标点，并根据三维坐标点构建三维人脸模型。例如，终端可以按照上述公式(1)、公式(2)、公式(3)及公式(4)，获取待融合二维图像中的人脸投影在二维平面内的第一投影参数，以及获取预设人脸模型投影在二维平面内的第二投影参数，然后根据第一投影参数及第二投影参数，获取待融合二维图像中的人脸在三维平面内的三维坐标点，并根据三维坐标点构建三维人脸模型；等等，该三维人脸模型可以如图4(a)所示。
s203、终端根据模板图像中的人脸构建三维模型，基于三维模型获取模板图像中人脸在三维空间中的旋转参数。
其中，s203可以在步骤s202之前执行，也可以在步骤s202之后执行。
终端可以按照上述公式(1)、公式(2)、公式(3)及公式(4)，获取模板图像中的人脸投影在二维平面内的第三投影参数；获取预设人脸模型，及预设人脸模型投影在二维平面内的第四投影参数；然后根据第三投影参数及第四投影参数，获取模板图像中的人脸在三维平面内的目标三维坐标点，并根据目标三维坐标点构建三维模型；等等。在得到三维模型后，可以基于三维模型获取模板图像中侧脸在三维空间中相对于正脸的旋转参数，该旋转参数即为上述公式(4)中的旋转系数r。例如，旋转参数可以包括在x轴方向上旋转的x角度、在y轴方向上旋转的y角度、及在z轴方向上旋转的z角度等。该旋转参数还可以是由用户设定的。
s204、终端基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型。
终端可以将旋转参数应用到三维人脸模型上，控制三维人脸模型在三维空间中进行x轴、y轴、及z轴等方向上的旋转，使得三维人脸模型中人脸的方向与模板图中人脸方向一致。例如，可以基于模板图中侧脸在三维空间中相对于正脸的旋转参数，对三维人脸模型中的正脸进行旋转，得到旋转后三维人脸模型中的人脸为侧脸，旋转后三维人脸模型如图4(b)所示。
s205、终端将旋转后人脸三维模型转换为二维人脸图像。
终端可以接收截图指令，根据截图指令直接截取旋转后人脸三维模型在显示界面内显示的图像，得到二维人脸图像；或者，按照上述根据人脸构建三维人脸模型的方法进行逆映射，将旋转后人脸三维模型逆映射为二维人脸图像，当然，还可以通过其他方式将旋转后人脸三维模型转换为二维人脸图像。例如，该二维人脸图像可以如图5所示，得到的二维人脸图像中的人脸为侧脸。
s206、终端对二维人脸图像和模板图像分别进行人脸特征点检测，对应得到第一人脸特征点和第二人脸特征点。
终端可以通过人脸识别技术分别对二维人脸图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行特征点检测，生成第一人脸特征点，以及分别对模板图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行特征点检测，生成第二人脸特征点。该第一人脸特征点和第二人脸特征点可以是各个人脸器官对应的关键点的位置坐标信息，该第一人脸特征点和第二人脸特征点可以在人脸的外部轮廓和各个人脸器官的边缘或中心等。该第一人脸特征点和第二人脸特征点的个数可以是106个、83个或68个等，具体个数可以根据实际需要进行灵活设置。例如，进行人脸特征点检测得到包含的人脸特征点人脸图像，如图6(a)所示。
s207、终端根据第一人脸特征点和第二人脸特征点，将二维人脸图像中的人脸融合至模板图像中的人脸所在区域。
终端可以根据第一人脸特征点对二维人脸图像中的人脸进行三角形划分，得到第一人脸三角形区域，以及，根据第二人脸特征点对模板图像中的人脸进行三角形划分，得到第二人脸三角形区域，例如，根据人脸特征点对人脸进行三角形划分得到包含人脸三角形区域的人脸图像，如图6(b)所示。
然后，终端可以基于二维人脸图像对应的第一人脸三角形区域和模板图像对应的第二人脸三角形区域进行仿射变换，得到目标人脸三角形区域。例如，二维人脸图像中人脸特征点56、62和64之间的连线构成一个人脸三角形区域a1，模板图像中人脸特征点56、62和64之间的连线构成一个人脸三角形区域a2，将人脸三角形区域a1与人脸三角形区域a2进行比较，若人脸三角形区域a1与人脸三角形区域a2的形状和大小等不一致，此时可以对人脸三角形区域a1进行缩放、旋转或平移等操作，得到目标人脸三角形区域a，该目标人脸三角形区域a可以与人脸三角形区域a2形状和大小等一致，其他人脸三角形区域也进行同样的处理。此时，终端可以将目标人脸三角形区域融合至模板图像中的人脸所在区域，得到融合后图像，例如，该融合后图像可以如图7所示。
本发明实施例通过待融合二维图像中的正脸构建三维人脸模型，并根据模板图像中的侧脸的旋转参数自动化旋转三维人脸模型，使得三维人脸模型中正脸与模板图中侧脸方向一致，最后将旋转后三维人脸模型转换为二维人脸图像，将二维人脸图像与模板图像进行侧脸融合。该方案通过构建三维人脸模型的方式改善二维侧脸融合效果，只需要待融合二维图像中人脸为正脸，就能实现与模板图中任意角度的侧脸进行完美融合，得到融合后图像的融合效果非常好，融合后的人脸自然美观，并且全程自动化，方便快捷。例如，可以完善疯狂变脸的应用场景，增加趣味和可玩性。
为便于更好的实施本发明实施例提供的图像融合方法，本发明实施例还提供一种基于上述图像融合方法的装置。其中名词的含义与上述图像融合方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图9，图9为本发明实施例提供的图像融合装置的结构示意图，其中该图像融合装置可以包括构建单元301、获取单元302、旋转单元303、转换单元304及融合单元305等。
其中，构建单元301，用于获取待融合二维图像，并根据待融合二维图像中的人脸构建三维人脸模型。
该待融合二维图像中可以包含一张或多张人脸，还可以包括其他的物体，其中，该人脸可以正脸或者侧脸等。例如，如图3(a)所示，该待融合二维图像中可以包括一张正脸。
待融合二维图像可以是在拍照的过程中，拍照摄像头采集到的图像；也可以是图像融合装置预存的图像；还可以是通过在互联网上搜索或者从图像数据库中获取到的图像等；当然，待融合二维图像也可以是通过其他方式获取到的图像，具体获取方式在此处不作限定。
在某些实施方式中，构建单元301可以包括第一获取子单元和第一构建子单元等具体可以如下：
第一获取子单元，用于获取预设人脸模型；
第一构建子单元，用于根据预设人脸模型，获取待融合二维图像中的人脸在三维平面内的三维坐标点，并根据三维坐标点构建三维人脸模型。
其中，预设人脸模型可以是三维平均人脸模型，该三维平均人脸模型可以是预先设置，可以通过改变三维平均人脸模型的三维坐标点的位置信息来生成不同的表情及不同身份的用户的三维人脸模型，也就是说所有三维人脸模型都可以通过在三维平均人脸模型的三维坐标点上增加偏移来表示。
第一获取子单元可以接收设置指令，并基于设置指令设置预设人脸模型；或者，第一获取子单元可以向服务器发送模型获取请求，并接收服务器基于模型获取请求返回的预设人脸模型。在得到预设人脸模型后，第一构建子单元可以根据预设人脸模型，获取待融合二维图像中的人脸在三维平面内的三维坐标点，并根据三维坐标点构建三维人脸模型。
在某些实施方式中，第一构建子单元具体可以用于：获取待融合二维图像中的人脸投影在二维平面内的第一投影参数；获取预设人脸模型投影在二维平面内的第二投影参数；根据第一投影参数及第二投影参数，获取待融合二维图像中的人脸在三维平面内的三维坐标点；根据三维坐标点构建三维人脸模型。
具体地，第一构建子单元根据待融合二维图像中的人脸构建三维人脸模型的过程中，可以从待融合二维图像中提取出人脸，并获取待融合二维图像中的人脸投影在二维平面内的第一投影参数，该第一投影参数可以是人脸在二维平面内的坐标点。以及，第一构建子单元可以获取预设人脸模型投影在二维平面内的第二投影参数，该第二投影参数可以是预设人脸模型在二维平面内的坐标点。由于可以通过改变三维平均人脸模型的三维坐标点的位置信息来生成不同的表情及不同身份的用户的三维人脸模型，因此，可以通过上述公式(1)、公式(2)、公式(3)和公式(4)，根据第一投影参数及第二投影参数，获取待融合二维图像中的人脸在三维平面内的三维坐标点，并根据三维坐标点构建三维人脸模型。也就是说，如果将各个角度的三维人脸模型投影到二维平面都可以与待融合二维图像中人脸相匹配，那么这个三维人脸模型就是需要获取的三维人脸模型。例如，根据待融合二维图像中的人脸构建得到的三维人脸模型如图4(a)所示。
需要说明的是，除了可以通过上述公式构建三维人脸模型之外，三维人脸模型还可以是通过其他方式获取，具体构建方式在此不做限定。
需要说明的是，当待融合二维图像中的人脸包括多个时，第一构建子单元可以从待融合二维图像中任意提取一张人脸来构建三维人脸模型，或者，第一构建子单元可以输出选择项，并接收用户基于选择项从待融合二维图像中选择其中一张人脸来构建三维人脸模型，或者，第一构建子单元可以从待融合二维图像中提取出所有人脸，并根据各个人脸分别构建三维人脸模型；等等。
获取单元302，用于获取模板图像，以及获取模板图像中的人脸在三维空间中的旋转参数。
该模板图像中可以包含一张或多张人脸，还可以包括其他的物体，其中，该人脸可以是正脸或者任意角度的侧脸。例如，如图3(b)所示，该模板图像中可以包含一张侧脸。模板图像可以是通过拍照摄像头采集到的图像，也可以是预先设置的图像，还可以是通过在互联网上搜索或者从图像数据库中获取到的图像等；当然，模板图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。
获取单元302可以获取模板图像中的人脸在三维空间中的旋转参数，该旋转参数可以是人脸在三维空间中的x轴、y轴、及z轴方向上的转向，例如，当模板图像中的人脸为正脸时，可以设置模板图像中的正脸在三维空间中的旋转参数为0；当模板图像中的人脸为侧脸时，可以设置模板图像中的侧脸相对于正脸的旋转参数为：在x轴方向上旋转的x角度、在y轴方向上旋转的y角度、及在z轴方向上旋转的z角度。
获取单元302可以接收用户输入的旋转参数，并将该旋转参数设置为模板图像中的人脸在三维空间中的旋转参数，即该旋转参数可以由人工设置。
在某些实施方式中，获取单元302可以包括第二构建子单元和第二获取子单元等，具体可以如下：
第二构建子单元，用于根据模板图像中的人脸构建三维模型；
第二获取子单元，用于基于三维模型获取模板图像中人脸在三维空间中的旋转参数。
在某些实施方式中，第二构建子单元具体可以用于：
获取模板图像中的人脸投影在二维平面内的第三投影参数；
获取预设人脸模型，及预设人脸模型投影在二维平面内的第四投影参数；
根据第三投影参数及第四投影参数，获取模板图像中的人脸在三维平面内的目标三维坐标点；
根据目标三维坐标点构建三维模型。
具体地，第二构建子单元可以从模板图像中提取出人脸，并获取模板图像中的人脸投影在二维平面内的第三投影参数，该第三投影参数可以是人脸在二维平面内的坐标点。以及，图像融合装置可以获取预设人脸模型投影在二维平面内的第四投影参数，该第四投影参数可以是预设人脸模型在二维平面内的坐标点。然后可以利用上述公式(1)、公式(2)、公式(3)和公式(4)根据第三投影参数及第四投影参数，计算模板图像中的人脸在三维平面内的目标三维坐标点，并根据目标三维坐标点构建三维模型。在得到三维模型后，第二获取子单元可以基于三维模型获取模板图像中人脸在三维空间中的旋转参数，该旋转参数即为上述公式(4)中的旋转系数r。
旋转单元303，用于基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型。
在得到三维人脸模型和旋转参数后，旋转单元303可以将旋转参数应用到三维人脸模型上，控制三维人脸模型在三维空间中进行x轴、y轴、及z轴等方向上的旋转，使得三维人脸模型中人脸的方向与模板图中人脸方向一致。例如，基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型如图4(b)所示。
例如，当三维人脸模型中的人脸为正脸，且模板图像中的人脸为侧脸时，为了使得三维人脸模型中人脸的方向与模板图中人脸方向一致，可以基于模板图中侧脸在三维空间中相对于正脸的旋转参数，对三维人脸模型中的正脸进行旋转，得到旋转后三维人脸模型中的人脸为侧脸。
又例如，当三维人脸模型中的人脸为侧脸，且模板图像中的人脸为正脸时，为了使得三维人脸模型中人脸的方向与模板图中人脸方向一致，可以基于模板图中正脸在三维空间中相对于侧脸的旋转参数，对三维人脸模型中的侧脸进行旋转，得到旋转后三维人脸模型中的人脸为正脸。
转换单元304，用于将旋转后人脸三维模型转换为二维人脸图像。
在得到旋转后人脸三维模型后，转换单元304可以将旋转后人脸三维模型转换为二维人脸图像，该二维人脸图像可以如图5所示，例如，可以接收截图指令，根据截图指令直接截取旋转后人脸三维模型在显示界面内显示的图像，得到二维人脸图像；或者，按照上述根据人脸构建三维人脸模型的方法进行逆映射，将旋转后人脸三维模型逆映射为二维人脸图像，当然，还可以通过其他方式将旋转后人脸三维模型转换为二维人脸图像。
融合单元305，用于将二维人脸图像与模板图像进行融合。
融合单元305可以先做人脸特征点检测，然后根据人脸特征点划分人脸三角形区域，然后根据人脸三角形区域做仿射变换，最后将二维人脸图像中人脸上的每一块人脸三角形区域融合到模板图像中人脸的对应位置上，还可以做一些边缘柔等后处理操作，即可完成人脸图像融合。
需要说明的是，当二维人脸图像和模板图像中的人脸均为多个时，融合单元305可以根据待融合二维图像中的各个人脸分别构建三维人脸模型，以及获取模板图像中的各个人脸在三维空间中的旋转参数，基于各个旋转参数分别对各个三维人脸模型进行旋转，得到旋转后三维人脸模型；然后将各个旋转后人脸三维模型转换为二维人脸图像，并将二维人脸图像中各个人脸与模板图像中各个人脸进行融合。例如，当二维人脸图像中包括第一人脸和第二人脸，模板图像中包括第三人脸和第四人脸时，可以根据第一人脸和第二人脸分别构建三维人脸模型，以及第三人脸和第四人脸在三维空间中的旋转参数，基于第三人脸对应的旋转参数对第一人脸对应的三维人脸模型进行旋转，基于第四人脸对应的旋转参数对第二人脸对应的三维人脸模型进行旋转，得到旋转后三维人脸模型；然后将各个旋转后人脸三维模型转换为二维人脸图像，最后将二维人脸图像中的第一人脸与模板图像中的第三人脸进行融合，将二维人脸图像中的第二人脸与模板图像中的第四人脸进行融合。
在某些实施方式中，如图10所示，融合单元305可以包括第一检测子单元3051、第二检测子单元3052、及融合子单元3053等，具体可以如下：
第一检测子单元3051，用于对二维人脸图像进行人脸特征点检测，得到第一人脸特征点；
第二检测子单元3052，用于对模板图像进行人脸特征点检测，得到第二人脸特征点；
融合子单元3053，用于根据第一人脸特征点和第二人脸特征点，将二维人脸图像中的人脸融合至模板图像中的人脸所在区域。
第一检测子单元3051可以通过人脸识别技术，对二维人脸图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行特征点检测，生成第一人脸特征点，该第一人脸特征点可以是各个人脸器官对应的关键点的位置坐标信息，该第一人脸特征点可以在人脸的外部轮廓和各个人脸器官的边缘或中心等，该第一人脸特征点的个数可以是106个、83个或68个等，具体个数可以根据实际需要进行灵活设置。
第二检测子单元3052可以通过人脸识别技术，对模板图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行特征点检测，生成第二人脸特征点，该第二人脸特征点可以是各个人脸器官对应的关键点的位置坐标信息，该第二人脸特征点可以在人脸的外部轮廓和各个人脸器官的边缘或中心等，该第二人脸特征点的个数可以是106个、83个或68个等，具体个数可以根据实际需要进行灵活设置。为了能够将二维人脸图像与模板图像进行精准融合，可以设置第一人脸特征点和第二人脸特征点的个数一致。例如，进行人脸特征点检测得到包含的人脸特征点人脸图像，如图6(a)所示。
此时，融合子单元3053可以根据第一人脸特征点和第二人脸特征点，将二维人脸图像中的人脸融合至模板图像中的人脸所在区域。
在某些实施方式中，融合子单元3053具体可以用于：
根据第一人脸特征点，对二维人脸图像中的人脸进行三角形划分，得到第一人脸三角形区域；根据第二人脸特征点，对模板图像中的人脸进行三角形划分，得到第二人脸三角形区域；基于第一人脸三角形区域和第二人脸三角形区域进行仿射变换，得到目标人脸三角形区域；将目标人脸三角形区域融合至模板图像中的人脸所在区域。
具体地，融合子单元3053可以根据第一人脸特征点对二维人脸图像中的人脸进行三角形划分，得到第一人脸三角形区域，例如，将各个人脸特征点按照预设算法进行连线，从而可以将人脸划分为多个三角形区域，该预设算法可以根据实际需要进行灵活设置。以及，根据第二人脸特征点对模板图像中的人脸进行三角形划分，得到第二人脸三角形区域，例如，根据人脸特征点对人脸进行三角形划分得到包含人脸三角形区域的人脸图像，如图6(b)所示。
然后，融合子单元3053可以基于二维人脸图像对应的第一人脸三角形区域和模板图像对应的第二人脸三角形区域进行仿射变换，得到目标人脸三角形区域。例如，可以将第一人脸三角形区域和第二人脸三角形区域中对应位置的人脸三角形区域进行比较，若第一人脸三角形区域和第二人脸三角形区域中对应位置的人脸三角形区域的形状和大小等不一致，此时可以对第一人脸三角形区域中该位置的人脸三角形区域进行缩放、旋转或平移等操作，得到目标人脸三角形区域，使得目标人脸三角形区域和第二人脸三角形区域中对应位置的人脸三角形区域形状和大小等一致。此时，可以将目标人脸三角形区域融合至模板图像中的人脸所在区域，得到融合后图像，例如该融合后图像可以如图7所示。
以下将进行举例说明，当待融合二维图像中的人脸为正脸，且模板图像中的人脸为侧脸时，根据待融合二维图像中的正脸构建三维人脸模型，得到的该三维人脸模型中的人脸为正脸，以及获取模板图像中的侧脸在三维空间中相对于正脸的旋转参数，该旋转参数为模板图像中侧脸在三维空间中的相对于正脸的旋转参数。
此时，旋转单元303具体可以用于：基于旋转参数对三维人脸模型中正脸的进行旋转，得到旋转后三维人脸模型，旋转后三维人脸模型中的人脸为侧脸。
融合单元305具体可以用于：将二维人脸图像中的旋转后侧脸融合至模板图像中的侧脸所在区域。从而通过构建三维人脸模型的方式来解决侧脸融合难的问题，用户只需正常拍摄正脸图像，通过正脸图像构建三维人脸模型，再自动化旋转三维人脸模型到与模板图中侧脸方向一致，最后将旋转后三维人脸模型转换为二维人脸图像，进行二维人脸图像与模板图像之间进行侧脸融合。例如，只需要待融合二维图像中人脸为正脸，就能实现与各个侧脸的模板图进行侧脸融合，方便快捷且效果很好。
由上可知，本发明实施例可以由构建单元301获取待融合二维图像，并根据待融合二维图像中的人脸构建三维人脸模型，以及，由获取单元302获取模板图像及模板图像中的人脸在三维空间中的旋转参数，然后由旋转单元303基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型，再由转换单元304将旋转后三维人脸模型转换为二维人脸图像，此时，融合单元305可以将二维人脸图像与模板图像进行融合，例如将二维人脸图像中的人脸融合至模板图像中的人脸所在区域。该方案通过构建并旋转三维人脸模型，从而可以基于旋转后三维人脸模型得到二维人脸图像，使得二维人脸图像与模板图像中人脸的方向一致，以便将二维人脸图像中的人脸精准融合至模板图像中的人脸所在区域，提高了对图像中人脸进行融合的效果。
相应的，本发明实施例还提供一种终端，如图11所示，该终端可以包括射频(rf，radiofrequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(wifi，wirelessfidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图11中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
rf电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。通常，rf电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(sim，subscriberidentitymodule)卡、收发信机、耦合器、低噪声放大器(lna，lownoiseamplifier)、双工器等。此外，rf电路601还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(gsm，globalsystemofmobilecommunication)、通用分组无线服务(gprs，generalpacketradioservice)、码分多址(cdma，codedivisionmultipleaccess)、宽带码分多址(wcdma，widebandcodedivisionmultipleaccess)、长期演进(lte，longtermevolution)、电子邮件、短消息服务(sms，shortmessagingservice)等。
存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元603可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器608，并能接收处理器608发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元603还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板，可选的，可以采用液晶显示器(lcd，liquidcrystaldisplay)、有机发光二极管(oled，organiclight-emittingdiode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器608以确定触摸事件的类型，随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图11中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路606、扬声器，传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路606接收后转换为音频数据，再将音频数据输出处理器608处理后，经rf电路601以发送给比如另一终端，或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔，以提供外设耳机与终端的通信。
wifi属于短距离无线传输技术，终端通过wifi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图11示出了wifi模块607，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器608可包括一个或多个处理核心；优选的，处理器608可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器608中。
终端还包括给各个部件供电的电源609(比如电池)，优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现各种功能：
获取待融合二维图像，并根据待融合二维图像中的人脸构建三维人脸模型；获取模板图像，以及获取模板图像中的人脸在三维空间中的旋转参数；基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型；将旋转后人脸三维模型转换为二维人脸图像；将二维人脸图像与模板图像进行融合。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像融合方法的详细描述，此处不再赘述。
由上可知，本发明实施例可以获取待融合二维图像，并根据待融合二维图像中的人脸构建三维人脸模型，以及，获取模板图像及模板图像中的人脸在三维空间中的旋转参数，然后基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型，再将旋转后三维人脸模型转换为二维人脸图像，此时，可以将二维人脸图像与模板图像进行融合，例如将二维人脸图像中的人脸融合至模板图像中的人脸所在区域。该方案通过构建并旋转三维人脸模型，从而可以基于旋转后三维人脸模型得到二维人脸图像，使得二维人脸图像与模板图像中人脸的方向一致，以便将二维人脸图像中的人脸精准融合至模板图像中的人脸所在区域，提高了对图像中人脸进行融合的效果。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像融合方法中的步骤。例如，该指令可以执行如下步骤：
获取待融合二维图像，并根据待融合二维图像中的人脸构建三维人脸模型；获取模板图像，以及获取模板图像中的人脸在三维空间中的旋转参数；基于旋转参数对三维人脸模型进行旋转，得到旋转后三维人脸模型；将旋转后人脸三维模型转换为二维人脸图像；将二维人脸图像与模板图像进行融合。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像融合方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像融合方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像融合方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。