图像处理方法、装置、终端设备以及可读存储介质与流程

1.本发明涉及数据处理技术领域，特别是涉及一种图像处理方法、装置、终端设备以及可读存储介质。


背景技术：

2.图像风格变换是计算机视觉任务中的一个重要的研究方向，其主要分为成对及不成对两种任务。不成对的图像风格变换是指训练数据是不成对的，训练图像风格变换模型时，输入图像和输出图像并不能够一一对齐。而成对的人脸风格变换是指训练数据是成对的，每一张输入图像就会有对应的输出图像，输入图像和输出图像能够一一对齐。
3.在现实世界中，能够完全对齐的成对图像很难获取到。在人脸风格变换任务中，获取的成对图像也是非完全对齐的，如果直接使用这样的图像数据训练图像风格变换模型，会导致模型无法准确输出与输入图对应的图像，训练效果较差。因此，为提升基于成对数据的图像风格变换模型的训练效果，相关技术中急需一种图像处理方法来获得完全对齐的成对图像数据。


技术实现要素：

4.本技术实施例提供了一种图像处理方法、装置、终端设备以及可读存储介质，可获得完全对齐的成对图像数据，该图像对可用于训练得到变换效果更好的图像风格变换模型，从而更好地满足各类图像风格变换需求。具体技术方案如下：
5.在本技术实施例的第一方面，首先提供了一种图像处理方法，所述方法包括：
6.获得待处理图像和针对所述待处理图像的参考图像，所述待处理图像中的第一目标对象和所述参考图像中的第二目标对象之间的相似度大于第一预设值；
7.根据所述参考图像中预设区域的图像对所述待处理图像中相应区域的图像进行调整，直至所述待处理图像和所述参考图像之间的相似度大于第二预设值；
8.将调整后的待处理图像作为目标图像。
9.可选地，所述方法还包括：
10.将所述目标图像和所述参考图像作为样本图像对；
11.利用所述样本图像对对初始图像风格变换模型进行训练，得到图像风格变换模型，所述图像风格变换模型用于在接收到输入图像后，输出与所述输入图像之间相似度大于第二预设值的图像。
12.可选地，根据所述参考图像中预设区域的图像对所述待处理图像中相应区域的图像进行调整，包括：
13.识别出所述第一目标对象的面部区域的关键点，所述关键点包括五官点和面部轮廓点；
14.识别出所述第二目标对象的面部区域的关键点；
15.保持所述第一目标对象的五官点不变，根据所述第二目标对象的面部轮廓点，对
所述第一目标对象的面部轮廓点进行调整。
16.可选地，保持所述第一目标对象的五官点不变，根据所述第二目标对象的面部轮廓点，对所述第一目标对象的面部轮廓点进行调整，包括：
17.根据所述第一目标对象的面部区域的各个关键点生成第一三角剖分图，所述第一三角剖分图中包括多个三角形，且每一个三角形的顶点均为关键点；
18.根据所述第二目标对象的面部区域的各个关键点生成第二三角剖分图，所述第二三角剖分图中包括多个三角形，且每一个三角形的顶点均为关键点；
19.保持所述第一三角剖分图中五官点所在的三角形的顶点固定不变，根据所述第二三角剖分图中面部轮廓点所在的三角形的顶点的位置，对所述第一三角剖分图中面部轮廓点所在的三角形的顶点的位置进行调整。
20.可选地，所述第一目标对象的区域包括所述第一目标对象的面部区域和修饰区域，所述第二目标对象的区域包括所述第二目标对象的面部区域和修饰区域；所述方法还包括：
21.在所述第一目标对象的区域和所述第二目标对象的区域之间的重合度不大于第三预设值时，获得所述第一目标对象的区域和所述第二目标对象的区域之间的重合区域对应的掩模；
22.利用所述重合区域对应的掩模分别对所述待处理图像和所述参考图像进行调整。
23.可选地，获得所述第一目标对象的区域和所述第二目标对象的区域之间的重合区域对应的掩模，包括：
24.获得所述待处理图像中第一目标对象的区域所对应的掩模；
25.获得所述参考图像中第二目标对象的区域所对应的掩模；
26.根据所述第一目标对象的区域所对应的掩模，和所述第二目标对象的区域所对应的掩模的交集获得所述重合区域对应的掩模。
27.可选地，所述待处理图像包括背景区域和所述第一目标对象的区域，所述参考图像包括背景区域和所述第二目标对象的区域，所述方法还包括：
28.将所述待处理图像和所述参考图像各自的背景区域替换为相同的背景图像。
29.在本技术实施例的第二方面，还提供了一种图像处理装置，所述装置包括：
30.第一获得模块，用于获得待处理图像和针对所述待处理图像的参考图像，所述待处理图像中的第一目标对象和所述参考图像中的第二目标对象之间的相似度大于第一预设值；
31.第一调整模块，用于根据所述参考图像中预设区域的图像对所述待处理图像中相应区域的图像进行调整，直至所述待处理图像和所述参考图像之间的相似度大于第二预设值；
32.第一确定模块，用于将调整后的待处理图像作为目标图像。
33.可选地，所述装置还包括：
34.第二确定模块，用于将所述目标图像和所述参考图像作为样本图像对；
35.训练模块，用于利用所述样本图像对对初始图像风格变换模型进行训练，得到图像风格变换模型，所述图像风格变换模型用于在接收到输入图像后，输出与所述输入图像之间相似度大于第二预设值的图像。
36.可选地，所述第一调整模块包括：
37.第一识别子模块，用于识别出所述第一目标对象的面部区域的关键点，所述关键点包括五官点和面部轮廓点；
38.第二识别子模块，用于识别出所述第二目标对象的面部区域的关键点；
39.第一调整子模块，用于保持所述第一目标对象的五官点不变，根据所述第二目标对象的面部轮廓点，对所述第一目标对象的面部轮廓点进行调整。
40.可选地，所述第一调整子模块包括：
41.第一生成子模块，用于根据所述第一目标对象的面部区域的各个关键点生成第一三角剖分图，所述第一三角剖分图中包括多个三角形，且每一个三角形的顶点均为关键点；
42.第二生成子模块，用于根据所述第二目标对象的面部区域的各个关键点生成第二三角剖分图，所述第二三角剖分图中包括多个三角形，且每一个三角形的顶点均为关键点；
43.第二调整子模块，用于保持所述第一三角剖分图中五官点所在的三角形的顶点固定不变，根据所述第二三角剖分图中面部轮廓点所在的三角形的顶点的位置，对所述第一三角剖分图中面部轮廓点所在的三角形的顶点的位置进行调整。
44.可选地，所述第一目标对象的区域包括所述第一目标对象的面部区域和修饰区域，所述第二目标对象的区域包括所述第二目标对象的面部区域和修饰区域；所述装置还包括：
45.第二获得模块，用于在所述第一目标对象的区域和所述第二目标对象的区域之间的重合度不大于第三预设值时，获得所述第一目标对象的区域和所述第二目标对象的区域之间的重合区域对应的掩模；
46.第二调整模块，用于利用所述重合区域对应的掩模分别对所述待处理图像和所述参考图像进行调整。
47.可选地，所述第二获得模块包括：
48.第一获得子模块，用于获得所述待处理图像中第一目标对象的区域所对应的掩模；
49.第二获得子模块，用于获得所述参考图像中第二目标对象的区域所对应的掩模；
50.第三获得子模块，用于根据所述第一目标对象的区域所对应的掩模，和所述第二目标对象的区域所对应的掩模的交集获得所述重合区域对应的掩模。
51.可选地，所述待处理图像包括背景区域和所述第一目标对象的区域，所述参考图像包括背景区域和所述第二目标对象的区域，所述装置还包括：
52.替换模块，用于将所述待处理图像和所述参考图像各自的背景区域替换为相同的背景图像。
53.在本技术实施例的第三方面，还提供了一种终端设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
54.存储器，用于存放计算机程序；
55.处理器，用于执行存储器上所存放的程序时，实现本技术实施例的第一方面所述的图像处理方法中的步骤。
56.在本技术实施例的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的图像
处理方法中的步骤。
57.采用本技术的图像处理方法，首先获得待处理图像和针对待处理图像的参考图像，待处理图像中的第一目标对象和参考图像中的第二目标对象之间的相似度大于第一预设值。接着，根据参考图像中预设区域的图像对待处理图像中相应区域的图像进行调整，直至待处理图像和参考图像之间的相似度大于第二预设值。最后将调整后的待处理图像作为目标图像。通过本技术的图像处理方法，可以获得完全对齐的图像对(目标图像与参考图像)，该图像对可用于训练得到变换效果更好的图像风格变换模型，从而更好地满足各类图像风格变换需求，优化用户体验。
附图说明
58.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
59.图1是本技术一实施示出的一种图像处理方法的流程图；
60.图2是本技术一实施例示出的一种待处理图像；
61.图3是本技术一实施例示出的一种参考图像；
62.图4是本技术一实施例示出的一种面部区域的关键点的示意图；
63.图5是本技术一实施例示出的一种目标图像的示意图；
64.图6是本技术一实施例示出的另一种参考图像的示意图；
65.图7是本技术一实施例示出的一种获得目标图像的完整过程示意图；
66.图8是本技术一实施例示出的一种图像处理装置的结构框图；
67.图9是本技术一实施例示出的一种终端设备的结构示意图。
具体实施方式
68.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
69.本技术中的图像处理方法主要是基于成对的图像风格变换提出的。为了在成对的图像风格变换任务中，训练出变换效果较好的图像风格变换模型，本技术提出了一种获得完全对齐的成对图像的方法，如图1所示。图1是本技术一实施示出的一种图像处理方法的流程图。参照图1，本技术的图像处理方法具体可以包括如下步骤：
70.步骤s11：获得待处理图像和针对所述待处理图像的参考图像，所述待处理图像中的第一目标对象和所述参考图像中的第二目标对象之间的相似度大于第一预设值。
71.在本实施例中，对待处理图像进行图像处理的目标是：将待处理图像调整为与参考图像完全对齐的图像。在两帧图像中，如果一帧图像中每一位置区域的图像，与另一帧图像中对应位置区域的图像完全重合，那么这两帧图像是完全对齐的。例如，图像a的左上区域的图像与图像b的左上区域的图像重合，图像a的右上区域的图像与图像b的右上区域的图像重合，图像a的左下区域的图像与图像b的左下区域的图像重合，图像a的右下区域的图像与图像b的右下区域的图像重合，那么图像a与图像b是完全对齐的图像对。
72.在本实施例中，待处理图像和针对待处理图像的参考图像的图像尺寸完全相同。
73.目标对象可以是人物对象，也可以是非人物对象。非人物对象例如可以是动物、车辆之类。本实施例中对目标对象的具体类型不作限制。一般地，第一目标对象和第二目标对
象是指同一个对象，例如指同一个人或者同一辆车。
74.为了更好地陈述本技术的图像处理方法，在此特别说明，本技术后续各个实施例中的目标对象均是以人物对象为例的，如图2和图3所示。图2是本技术一实施例示出的一种待处理图像。图3是本技术一实施例示出的一种参考图像。
75.图2和图3中均包含人物对象，图3可以看作是图2进行图像风格变换后的图像。但图2和图3并不是完全对齐的，因此本技术中进行图像处理的目标就是将图2调整成与图3完全对齐的图像。
76.对于某帧待处理图像，并不是所有的其它图像都可以作为其参考图像，而是要满足一定的相似度要求。对于待处理图像，如果存在其它的某帧图像，该图像中的目标对象，与待处理图像中的目标对象之间的相似度大于第一预设值，那么该图像可以作为待处理图像的参考图像。例如图2中的人物与图3中的人物之间的相似度大于第一预设值，因此，图3可以作为图2的参考图像。
77.步骤s12：根据所述参考图像中预设区域的图像对所述待处理图像中相应区域的图像进行调整，直至所述待处理图像和所述参考图像之间的相似度大于第二预设值。
78.在本实施例中，在对待处理图像进行调整时，以待处理图像和参考图像之间的相似度大于第二预设值为目标，根据参考图像中预设区域的图像对待处理图像中相应区域的图像进行调整。
79.在本实施例中，图像区域具体包括背景区域和目标对象(例如图2或图3中的人物对象)的区域，目标对象的区域包括目标对象的面部区域(例如图2或图3中的人物对象的脸部区域)和修饰区域(例如图2或图3中的人物对象的发型区域)。修饰区域例如可以是发型区域、帽子区域、衣服区域等，修饰区域可以根据实际需求定义。预设区域可以是背景区域、目标对象的面部区域、目标对象的修饰区域中的任意一种或多种，本实施例对此不作具体限制。
80.示例地，如果预设区域是目标对象的面部区域，那么步骤s12包括：根据参考图像中目标对象的面部区域的图像，对待处理图像中目标对象的面部区域的图像进行调整，直至待处理图像和参考图像之间的相似度大于第二预设值。例如，根据图3中人物的面部区域的图像，对图2中人物的面部区域的图像进行调整，直至图2和图3之间的相似度大于第二预设值。
81.再示例地，如果预设区域是目标对象的面部区域和发型区域，那么步骤s12包括：根据图3中人物的面部区域的图像，对图2中人物的面部区域的图像进行调整，再根据图3中人物的发型区域的图像，对图2中人物的发型区域的图像进行调整，直至图2和图3之间的相似度大于第二预设值。
82.在本实施例中，如果预设区域同时包括目标对象的面部区域和修饰区域，那么可以先对待处理图像的面部区域进行调整，然后再对待处理图像的修饰区域进行调整。因为在对待处理图像的面部区域进行调整时，可能会对修饰区域产生影响，因此，按照先调整面部区域再调整修饰区域的顺序可以提升图像处理的效率。
83.步骤s13：将调整后的待处理图像作为目标图像。
84.在本实施例中，调整得到的目标图像与参考图像之间的相似度大于第二预设值，因此目标图像与参考图像之间是完全对齐的图像。
85.通过本实施例的图像处理方法，首先获得待处理图像和针对待处理图像的参考图像，待处理图像中的第一目标对象和参考图像中的第二目标对象之间的相似度大于第一预设值。接着，根据参考图像中预设区域的图像对待处理图像中相应区域的图像进行调整，直至待处理图像和参考图像之间的相似度大于第二预设值。最后将调整后的待处理图像作为目标图像。通过本技术的图像处理方法，可以获得完全对齐的图像对(目标图像与参考图像)，该图像对可用于训练得到变换效果更好的图像风格变换模型，从而更好地满足各类图像风格变换需求，优化用户体验。
86.结合以上实施例，在一种实施方式中，本技术的图像处理方法还可以包括：
87.将所述目标图像和所述参考图像作为样本图像对；
88.利用所述样本图像对对初始图像风格变换模型进行训练，得到图像风格变换模型，所述图像风格变换模型用于在接收到输入图像后，输出与所述输入图像之间相似度大于第二预设值的图像。
89.在本实施例中，在获得多个完全对齐的图像对后，可以将这些完全对齐的图像对作为样本图像对，利用样本图像对训练得到图像风格变换模型，即可实现图像风格变换，例如可将输入图像中的人物变换成卡通风格的人物。例如输入图像是图2中的图像时，输出图像是图3所示的风格的图像。
90.在本实施例中，将目标图像与参考图像作为样本图像对训练得到变换效果更好的图像风格变换模型，可以满足各类图像风格变换需求，优化用户体验。
91.在一些实施场景中，待处理图像和参考图像之间的相似度大于第一预设值，但是待处理图像中第一目标对象的区域，和参考图像中第二目标对象的区域之间的重合度较低。而重合度是影响待处理图像和参考图像是否完全对齐(相似度大于第二预设值)的因素之一，因此，如果在第一目标对象的区域和第二目标对象的区域之间的重合度较低的情况下对第一目标对象的区域的图像进行调整，调整效果较差。
92.因此，如果预设区域是第一目标对象的区域，那么，根据所述参考图像中预设区域的图像对所述待处理图像中相应区域的图像进行调整，直至所述待处理图像和所述参考图像之间的相似度大于第二预设值，可以包括：
93.若所述预设区域是目标对象的区域，在所述第一目标对象的区域与所述第二目标对象的区域之间的重合度大于预设重合度阈值时，根据所述参考图像中所述第二目标对象的区域的图像，对所述待处理图像中所述第一目标对象的区域的图像进行调整，直至所述待处理图像和所述参考图像之间的相似度大于第二预设值；
94.在所述第一目标对象的区域与所述第二目标对象的区域之间的重合度不大于预设重合度阈值时，调整所述第一目标对象的区域与所述第二目标对象的区域之间的重合度至大于预设重合度，再根据所述参考图像中第二目标对象的区域的图像，对所述待处理图像中第一目标对象的区域的图像进行调整，直至所述待处理图像和所述参考图像之间的相似度大于第二预设值。
95.在一些实施场景中，待处理图像与参考图像之间的相似度较高，只需要调整待处理图像的面部区域即可得到与参考图像对齐的图像。本实施例中给出了一种调整待处理图像的面部区域的方法，具体可以包括：
96.识别出所述第一目标对象的面部区域的关键点，所述关键点包括五官点和面部轮
廓点；
97.识别出所述第二目标对象的面部区域的关键点；
98.保持所述第一目标对象的五官点不变，根据所述第二目标对象的面部轮廓点，对所述第一目标对象的面部轮廓点进行调整。
99.在本实施例中，预设区域主要是目标对象的面部区域。对第一目标对象的面部区域进行调整主要是对第一目标对象的面部轮廓进行调整。
100.在本实施例中，面部区域的关键点包括五官点和面部轮廓点。五官点主要包括眉毛区域的关键点、眼睛区域的关键点、鼻子区域的关键点以及嘴部区域的关键点。面部轮廓点主要是指位于面部边缘的点。
101.图4是本技术一实施例示出的一种面部区域的关键点的示意图。在图4中，所有的点均表示面部区域的关键点，边缘处比较大的黑色点表示五官点，比较小的黑色点表示面部轮廓点。当然，图4仅作一种示例，图4各个点不代表实际识别出的关键点。
102.在实际实施时，额头部分的面部轮廓点是不作拉伸的，因此，在识别出面部区域的关键点时，可以仅识别出五官点和眉毛下方的那些面部轮廓点，无需识别出眉毛上方的额头部分的面部轮廓点，从而减少识别量，提升图像识别效率。
103.在具体实施时，首先识别出待处理图像中第一目标对象的面部区域的关键点，和参考图像中第二目标对象的面部区域的关键点。然后保持第一目标对象的五官点不变，根据第二目标对象的各个面部轮廓点，对第一目标对象的各个面部轮廓点进行调整，具体可以包括：
104.在所述第一目标对象的区域与所述第二目标对象的区域之间的重合度大于预设重合度时，保持所述第一目标对象的各个五官点的位置不变，根据所述第二目标对象的各个面部轮廓点的位置，对第一目标对象的相应的面部轮廓点的位置进行调整。
105.在本实施例中，为了使得第一对象的面部区域与第二对象的面部区域完全重合，需要根据第二目标对象的各个面部轮廓点的位置，对第一目标对象的相应的面部轮廓点的位置进行精细调整。在调整过程中，第一目标对象的各个五官点的位置固定不变，从而保证第一对象的五官不发生改变，以保留第一目标对象的身份特征。
106.在本实施例中，根据第二目标对象的各个面部轮廓点的位置，对第一目标对象的相应面部轮廓点的位置进行精细调整，能较好地实现第一目标对象的面部区域的图像和第二目标对象的面部区域的图像的完全对齐。在调整过程中，保持第一目标对象的五官点的位置点不变，可以较好地保留第一目标对象的身份特征不变。
107.结合以上实施例，在一种实施方式中，本实施例还提供了一种对第一目标对象的面部轮廓进行调整的方法。具体地，保持所述第一目标对象的五官点不变，根据所述第二目标对象的面部轮廓点，对所述第一目标对象的面部轮廓点进行调整，可以包括如下步骤：
108.根据所述第一目标对象的面部区域的各个关键点生成第一三角剖分图，所述第一三角剖分图中包括多个三角形，且每一个三角形的顶点均为关键点；
109.根据所述第二目标对象的面部区域的各个关键点生成第二三角剖分图，所述第二三角剖分图中包括多个三角形，且每一个三角形的顶点均为关键点；
110.保持所述第一三角剖分图中五官点所在的三角形的顶点固定不变，根据所述第二三角剖分图中面部轮廓点所在的三角形的顶点的位置，对所述第一三角剖分图中面部轮廓
点所在的三角形的顶点的位置进行调整。
111.在本实施例中，在根据第二目标对象的面部轮廓对第一目标对象的面部轮廓进行调整时，首先根据第一目标对象的面部区域的各个关键点生成第一三角剖分图，根据第二目标对象的面部区域的各个关键点生成第二三角剖分图。在第一三角剖分图和第二三角剖分图中，分别包括包括多个三角形，且每一个三角形的顶点均为关键点。接着，保持第一三角剖分图中五官点所在的三角形的顶点的位置固定不变，根据第二三角剖分图中各个面部轮廓点所在的三角形的顶点的位置，对第一三角剖分图中相应的面部轮廓点所在的三角形的顶点的位置进行精细调整。
112.本实施例中，可采用三角剖分算法来实现根据第二目标对象的面部轮廓对第一目标对象的面部轮廓进行调整，可在较好地保留第一目标对象的身份特征不变的同时，实现第一目标对象的面部区域和第二目标对象的面部区域的对齐。
113.在本实施例中，可以识别出待处理图像和参考图像各自的面部区域的关键点，再根据参考图像的面部区域的面部轮廓点，对待处理图像的面部区域的面部轮廓点进行调整，使得待处理图像和参考图像的面部区域的图像之间的重合度更高，进而避免通过模型进行风格变换之后的面部区域周围出现重影。
114.在一些实施场景中，待处理图像与参考图像之间的相似度一般，需要调整待处理图像的面部区域和修饰区域才能得到与参考图像对齐的目标图像。因此，针对预设区域是目标对象的区域的情况，本技术还提供了一种图像处理方法，具体可以包括：
115.在所述第一目标对象的区域和所述第二目标对象的区域之间的重合度不大于第三预设值时，获得所述第一目标对象的区域和所述第二目标对象的区域之间的重合区域对应的掩模；
116.利用所述重合区域对应的掩模分别对所述待处理图像和所述参考图像进行调整。
117.在对第一目标对象的面部区域进行调整后，可能会出现第一目标对象的修饰区域发生改变的情况，例如由于面部轮廓调整而导致发型区域变形。因此，在根据第二目标对象的面部轮廓点对第一目标对象的面部轮廓点进行调整之后，需要再次对第一目标对象的区域和第二目标对象的区域进行对齐调整。
118.在本实施例中，为了最大化第一目标对象的区域和第二目标对象的区域之间的重合度，除了利用第一目标对象的区域和第二目标对象的区域之间的重合区域对应的掩模对待处理图像进行调整，还会利用该重合区域对应的掩模对参考图像进行调整。
119.其中，掩模是一个矩阵，矩阵内包含各个像素点的值，值为0或1。值为1时表示该像素点属于第一目标对象的区域和第二目标对象的区域的重合区域，值为0时表示该像素点不属于第一目标对象的区域和第二目标对象的区域的重合区域。
120.在一种实施方式中，获得所述第一目标对象的区域和所述第二目标对象的区域之间的重合区域对应的掩模，可以包括：
121.获得所述待处理图像中第一目标对象的区域所对应的掩模；
122.获得所述参考图像中第二目标对象的区域所对应的掩模；
123.根据所述第一目标对象的区域所对应的掩模，和所述第二目标对象的区域所对应的掩模的交集获得所述重合区域对应的掩模。
124.在本实施例中，修饰区域可以是发型区域、脖子区域、衣服区域、帽子区域等，修饰
区域可以理解为目标对象的区域中除了面部区域外的其它区域。例如图2中，除了人物的脸部区域，其余区域例如发型、脖子、衣服均属于修饰区域。
125.在将第一目标对象的区域与第二目标对象的区域进行对齐调整时，首先获得第一目标对象的区域对应的掩模，和第二目标对象的区域对应的掩模。
126.对于第一目标对象的区域对应的掩模，当其中某个像素点的值为0表示该像素点不为第一目标对象的区域内的像素点(即有可能为背景区域的像素点)。当其中某个像素点的值为1表示该像素点是第一目标对象的区域内的像素点。第一目标对象的区域对应的掩模，与待处理图像相乘，得到的是第一目标对象的区域对应的图像。
127.对于第二目标对象的区域对应的掩模，当其中某个像素点的值为0表示该像素点不为第二目标对象的区域内的像素点(即有可能为背景区域的像素点)，当其中某个像素点的值为1表示该像素点是第二目标对象的区域内的像素点。第二目标对象的区域对应的掩模，与参考图像相乘，得到的是第二目标对象的区域对应的图像。
128.接着，获得第一目标对象的区域对应的掩模，和第二目标对象的区域对应的掩模对应的交集，即第一目标对象的区域和第二目标对象的区域之间的重合区域对应的掩模。当该交集内某个像素点的值为1表示该像素点既属于第一目标对象的区域，也属于第二目标对象的区域。当该交集内某个像素点的值为0表示该像素点不同时属于第一目标对象的区域和第二目标对象的区域。
129.利用所述重合区域对应的掩模分别对所述待处理图像和所述参考图像进行调整，具体可以包括：
130.将重合区域对应的掩模与待处理图像相乘，得到第一对象的区域的图像；
131.将重合区域对应的掩模与参考图像相乘，得到第二对象的区域的图像。
132.在本实施例中，将重合区域对应的掩模分别与待处理图像和参考图像相乘后，得到的第一对象的区域的图像，和第二对象的区域的图像是可以完全重合的图像。
133.通过本实施例，可以使得待处理图像中第一对象的区域的图像，与参考图像中第二对象的区域的图像更好地重合，进而保证得到的目标图像与参考图像之间的图像对齐效果。
134.在本实施例中，可以根据第一目标对象的区域所对应的掩模，和第二目标对象的区域所对应的掩模的交集获得重合区域对应的掩模，通过该重合区域对应的掩模，可以剔除掉发生变化的修饰区域，从而保证风格变换之后的修饰区域不会出现明显的虚影瑕疵(例如保证风格变换前后的头发轮廓周围不会出现明显的虚影)。
135.结合以上实施例，在一种实施方式中，待处理图像包括背景区域和第一目标对象的区域。参考图像包括背景区域和第二目标对象的区域。在此基础上，本技术的图像处理方法还可以包括：
136.将所述待处理图像和所述参考图像各自的背景区域替换为相同的背景图像。
137.在本实施例中，某些图像风格变换模型要求图像对的背景相同。因此，在获得对齐的图像对时，还可以在进行前述的面部区域(面部轮廓)调整、目标对象的区域(包括修饰区域)的调整之后，再将待处理图像和参考图像各自的背景区域替换为相同的背景图像。
138.图5是本技术一实施例示出的一种目标图像的示意图。图6是本技术一实施例示出的另一种参考图像的示意图。图2中的待处理图像经过面部区域调整、目标对象的区域的调
整以及背景替换后，得到的目标图像具体如图5所示。图3中的参考图像经过目标对象的区域的调整以及背景替换后，得到的最终的目标图像具体如图6所示。
139.在本实施例中，可以识别出待处理图像和参考图像各自的背景区域的图像(例如可以通过背景matting模型得到前景的matting mask，通过该matting mask可以区分背景区域和前景区域，前景区域即目标对象的区域)，将图像对的背景图像替换成相同的背景图像，从而保证风格变换前后的背景不会发生变化。
140.图7是本技术一实施例示出的一种获得目标图像的完整过程示意图。下面将结合图7，以一个完整实施例对本技术的图像处理方法进行详细说明，该实施例包括如下步骤1-步骤5。
141.步骤1：获得原始成对图像数据，一帧为待处理图像，如图2所示，一帧为参考图像，如图3所示。原始成对数据是不完全对齐的图像数据。
142.步骤2：识别出待处理图像中面部区域的关键点和参考图像中面部区域的关键点(包括五官点和面部轮廓点)，保持待处理图像中第一目标对象的五官点不变，根据参考图像中第二目标对象的面部轮廓点，对第一目标对象的面部轮廓点进行调整，使得待处理图像中的面部区域和参考图像中的面部区域能够完全重合。
143.其中，步骤2中可采用任意算法识别出面部区域的关键点，本实施例对识别算法不作具体限制。
144.步骤3：经过步骤2后，检测待处理图像中的修饰区域(例如发型区域、脖子区域等)是否发生变化，如果发生变化，获得第一目标对象的区域和第二目标对象的区域之间的重合区域对应的掩模，利用该重合区域对应的掩模分别对待处理图像和参考图像进行调整，使得第一目标对象的区域和第二目标对象的区域能够完全重合。如果没有发生变化，进入步骤4。
145.步骤4：针对步骤3中得到的待处理图像和参考图像，分别识别出背景区域，将两者的背景区域的图像替换为一帧相同的背景图像。
146.其中，步骤4中可采用任意算法识别出背景区域，本实施例对识别背景区域的算法不作具体限制。
147.经过步骤4，得到调整后的目标图像(如图5)和参考图像(如图6)，两者为完全对齐的图像对。
148.步骤5：重复上述步骤1-步骤4得到多个完全对齐的图像对，将这些图像对作为样本图像对，对初始图像风格变换模型进行训练，得到图像风格变换模型。该图像风格变换模型在接收到一帧输入图像(如图5)后，可进行风格变换，得到风格变换后的图像(如图6)。
149.在相关技术中，在获得原始成对图像数据后，直接利用原始成对图像数据训练图像风格变换模型，会存在以下几个问题：
150.1、原始成对图像数据的面部形变较大，造成风格变换之后的面部区域的周围出现重影。
151.2、原始成对图像数据的修饰区域差异较大，造成风格变换之后的修饰区域(例如发型区域)出现明显的虚影瑕疵。
152.3、原始成对图像数据的背景区域差异较大，造成风格变换之后的面部区域的周围背景发生变化。
153.针对上述第一个问题，在本技术中，可以识别出待处理图像和参考图像各自的面部区域的关键点，再根据参考图像的面部区域的面部轮廓点，对待处理图像的面部区域的面部轮廓点进行调整，使得待处理图像和参考图像的面部区域的图像之间的重合度更高，进而训练得到变换效果更好的图像风格变换模型，避免风格变换之后的面部区域周围出现重影。
154.针对上述第二个问题，在本技术中，可以根据第一目标对象的区域所对应的掩模，和第二目标对象的区域所对应的掩模的交集获得重合区域对应的掩模，通过该重合区域对应的掩模，可以剔除掉发生变化的修饰区域，从而保证风格变换之后的修饰区域不会出现明显的虚影瑕疵(例如保证风格变换前后的头发轮廓周围不会出现明显的虚影)。
155.针对上述第三个问题，由于获取到的原始成对图像数据不能保证背景完全相同，有的图像对背景差异很大。在本技术中，可以识别出待处理图像和参考图像各自的背景区域的图像，将图像对的背景图像替换成相同的背景图像，从而保证风格变换前后的背景不会发生变化。
156.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
157.基于同一发明构思，本发明一实施例提供一种图像处理装置800。参考图8，图8是本技术一实施例示出的一种图像处理装置的结构框图。如图8所示，该装置800包括：
158.第一获得模块801，用于获得待处理图像和针对所述待处理图像的参考图像，所述待处理图像中的第一目标对象和所述参考图像中的第二目标对象之间的相似度大于第一预设值；
159.第一调整模块802，用于根据所述参考图像中预设区域的图像对所述待处理图像中相应区域的图像进行调整，直至所述待处理图像和所述参考图像之间的相似度大于第二预设值；
160.第一确定模块803，用于将调整后的待处理图像作为目标图像。
161.可选地，所述装置800还包括：
162.第二确定模块，用于将所述目标图像和所述参考图像作为样本图像对；
163.训练模块，用于利用所述样本图像对对初始图像风格变换模型进行训练，得到图像风格变换模型，所述图像风格变换模型用于在接收到输入图像后，输出与所述输入图像之间相似度大于第二预设值的图像。
164.可选地，所述第一调整模块802包括：
165.第一识别子模块，用于识别出所述第一目标对象的面部区域的关键点，所述关键点包括五官点和面部轮廓点；
166.第二识别子模块，用于识别出所述第二目标对象的面部区域的关键点；
167.第一调整子模块，用于保持所述第一目标对象的五官点不变，根据所述第二目标对象的面部轮廓点，对所述第一目标对象的面部轮廓点进行调整。
168.可选地，所述第一调整子模块包括：
architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
189.通信接口用于上述终端与其他设备之间的通信。
190.存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
191.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
192.在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的网页显示方法。
193.在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的网页显示方法。
194.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
195.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
196.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
197.以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。