图像处理方法、介质、装置和计算设备与流程

1.本公开的实施方式涉及图像处理技术领域，更具体地，本公开的实施方式涉及一种图像处理方法、介质、装置和计算设备。


背景技术：

2.本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.捏脸是支持用户使用预先定义好的人脸各个部位模板，进行自由组合，形成个性化的完整人脸的功能，其主要特点体现在可自由编辑人脸各个部位。例如，游戏应用程序、短视频应用程序、图像处理应用程序等均可以为用户提供捏脸功能。
4.相关技术中，通常通过以下方式来实现捏脸功能：针对不同的人脸风格(比如漫画风格)，通过人工绘制人脸各个部位对应的多样的素材(比如圆脸、方脸或瓜子脸等)，得到素材库；基于素材库，用户可以分别挑选跟自己或者其他人照片最像的对应素材，将素材进行组合，最终获得一个完整人脸。但是，在通过上述方式实现捏脸功能时，不能够准确地为不同用户提供合适的待选素材。


技术实现要素：

5.本公开提供一种图像处理方法、介质、装置和计算设备，以解决通过相关技术实现捏脸功能时，不能够准确地为不同用户提供合适的待选素材的问题。
6.在本公开实施方式的第一方面中，提供了一种图像处理方法，包括：
7.接收对目标图像进行目标脸部风格的风格转化指令；
8.根据风格转化指令，对目标图像进行脸部检测，得到目标图像中的脸部部位的位置信息，并对目标图像进行目标脸部风格的转换处理，得到中间图像；
9.基于脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像；
10.针对每个脸部部位图像，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材，其中，素材库是基于多个包含样本对象的脸部的样本图像以及不同的脸部风格获得的样本图像包含的样本脸部部位图像；
11.输出目标素材，以供用户选择对应脸部部位的素材得到目标图像对应目标脸部风格的图像。
12.在一种可能的实施方式中，素材库是通过以下方式获得的：获取样本图像，样本图像包含样本对象的脸部；针对每个样本图像，执行以下操作：对样本图像进行脸部检测，得到样本图像中的脸部部位的位置信息；对样本图像进行不同的脸部风格的转换处理，得到不同的脸部风格分别对应的样本中间图像；基于样本图像中的脸部部位的位置信息，对样本中间图像进行分割处理，得到样本中间图像包含的多个样本脸部部位图像以及样本脸部部位图像对应的特征。
13.在一种可能的实施方式中，对样本图像进行脸部检测，得到样本图像中的脸部部位的位置信息，包括：对样本图像进行脸部检测，得到样本图像中的多个脸部部位以及多个脸部部位分别对应的置信度；根据置信度，得到置信度大于置信度阈值的样本图像中的脸部部位的位置信息。
14.在一种可能的实施方式中，针对每个脸部部位图像，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材，包括：针对每个脸部部位图像，获取脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材；若目标素材的数量大于预设数量，则将目标素材按照特征相似度由高到低排序，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的预设数量个目标素材；若目标素材的数量小于或等于预设数量，则确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材。
15.在一种可能的实施方式中，对目标图像进行脸部检测，得到目标图像中的脸部部位的位置信息，包括：将目标图像输入至脸部检测模型进行脸部检测，得到目标图像中的脸部部位的位置信息。
16.在一种可能的实施方式中，对目标图像进行目标脸部风格的转换处理，得到中间图像，包括：将目标图像输入至脸部风格化模型进行目标脸部风格的转换处理，得到中间图像。
17.在一种可能的实施方式中，基于脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像之后，该图像处理方法还包括：将脸部部位图像输入至图像特征提取模型进行图像特征提取，得到脸部部位图像对应的特征。
18.第二方面，本公开实施例提供一种图像处理装置，包括：
19.接收模块，用于接收对目标图像进行目标脸部风格的风格转化指令；
20.第一处理模块，用于根据风格转化指令，对目标图像进行脸部检测，得到目标图像中的脸部部位的位置信息，并对目标图像进行目标脸部风格的转换处理，得到中间图像；
21.第二处理模块，用于基于脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像；
22.确定模块，用于针对每个脸部部位图像，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材，其中，素材库是基于多个包含样本对象的脸部的样本图像以及不同的脸部风格获得的样本图像包含的样本脸部部位图像；
23.输出模块，用于输出目标素材，以供用户选择对应脸部部位的素材得到目标图像对应目标脸部风格的图像。
24.在一种可能的实施方式中，该图像处理装置还包括获取模块，用于通过以下方式获得素材库：获取样本图像，样本图像包含样本对象的脸部；针对每个样本图像，执行以下操作：对样本图像进行脸部检测，得到样本图像中的脸部部位的位置信息；对样本图像进行不同的脸部风格的转换处理，得到不同的脸部风格分别对应的样本中间图像；基于样本图像中的脸部部位的位置信息，对样本中间图像进行分割处理，得到样本中间图像包含的多个样本脸部部位图像以及样本脸部部位图像对应的特征。
25.在一种可能的实施方式中，获取模块在用于对样本图像进行脸部检测，得到样本图像中的脸部部位的位置信息时，具体用于：对样本图像进行脸部检测，得到样本图像中的
多个脸部部位以及多个脸部部位分别对应的置信度；根据置信度，得到置信度大于置信度阈值的样本图像中的脸部部位的位置信息。
26.在一种可能的实施方式中，确定模块具体用于：针对每个脸部部位图像，获取脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材；若目标素材的数量大于预设数量，则将目标素材按照特征相似度由高到低排序，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的预设数量个目标素材；若目标素材的数量小于或等于预设数量，则确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材。
27.在一种可能的实施方式中，第一处理模块具体用于：将目标图像输入至脸部检测模型进行脸部检测，得到目标图像中的脸部部位的位置信息。
28.在一种可能的实施方式中，第一处理模块具体用于：将目标图像输入至脸部风格化模型进行目标脸部风格的转换处理，得到中间图像。
29.在一种可能的实施方式中，第二处理模块还用于：基于脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像之后，将脸部部位图像输入至图像特征提取模型进行图像特征提取，得到脸部部位图像对应的特征。
30.第三方面，本公开实施例提供一种计算设备，包括：处理器，以及与处理器通信连接的存储器；
31.存储器存储计算机执行指令；
32.处理器执行存储器存储的计算机执行指令，以实现如本公开第一方面所述的图像处理方法。
33.第四方面，本公开实施例提供一种存储介质，存储介质中存储有计算机程序指令，计算机程序指令被执行时，实现如本公开第一方面所述的图像处理方法。
34.第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如本公开第一方面所述的图像处理方法。
35.本公开实施例提供的图像处理方法、介质、装置和计算设备，通过接收对目标图像进行目标脸部风格的风格转化指令，根据风格转化指令，对目标图像进行脸部检测，得到目标图像中的脸部部位的位置信息，并对目标图像进行目标脸部风格的转换处理，得到中间图像；基于脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像；针对每个脸部部位图像，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材，其中，素材库是基于多个包含样本对象的脸部的样本图像以及不同的脸部风格自动获得的样本图像包含的样本脸部部位图像，减少了人工绘制素材的成本；通过特征比对，可以动态地根据目标图像得到合适的素材范围，无需人工干预，能够减少耗时；输出目标素材，以供用户选择对应脸部部位的素材得到目标图像对应目标脸部风格的图像，能够准确地为用户提供合适的待选素材，大大减少用户选择素材的成本，提升用户体验。
附图说明
36.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若
干实施方式，其中：
37.图1为本公开实施例提供的一种应用场景示意图；
38.图2为本公开一实施例提供的图像处理方法的流程图；
39.图3为本公开另一实施例提供的图像处理方法的流程图；
40.图4为本公开一实施例提供的素材库的获得方法的流程图；
41.图5为本公开一实施例提供的获得素材库和使用素材库的示意图；
42.图6为本公开一实施例提供的图像处理装置的结构示意图；
43.图7为本公开一实施例提供的存储介质示意图；
44.图8为本公开一实施例提供的计算设备的结构示意图。
45.在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
46.下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
47.本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据，本公开实施方式/实施例可以互相组合。
48.根据本公开的实施方式，提出了一种图像处理方法、介质、装置和计算设备。
49.在本文中，需要理解的是，所涉及的术语：
50.捏脸，是指用户使用预先定义好的人脸各个部位模板，自由组合，形成个性化的完整人脸的功能，其主要特点体现在可自由编辑人脸各个部位；
51.人脸风格化，是指将人脸照片处理成某种统一风格，例如漫画风格、素描风格、油画风格等，可以借助卷积神经网络(convolutional neural networks，cnn)算法或者传统算法(比如机器学习算法)进行图片处理。
52.此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
53.下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。
54.发明概述
55.本发明人发现，相关技术中，通常提供预先手绘好的素材库，用户可以从素材库中挑选跟自己或者其他人照片最像的对应素材，将素材进行组合，最终获得一个完整人脸。其中，可以在素材库的基础上增加逐部位在某个范围内进行调整的功能，比如，用户挑选了一个圆脸，但是希望捏的脸有一些椭圆，而素材库中没有符合要求的预先手绘好的素材，此时，在技术层面可以提供在某个范围内可以编辑圆弧度的功能，即可实现小范围的调整，达到最终的捏脸效果。但是，在通过上述方式实现捏脸功能时，主要存在以下问题：(1)需要人工绘制各种风格的脸部部位素材，若要达到一个很像的捏脸效果，则需要非常丰富的素材库；(2)若捏脸风格变化之后，则需要重新绘制所有的素材；(3)素材库过小会导致捏脸与实
际不像，素材库过大则无法短时间捏出合适的人脸(选择成本高)，不能够准确地为不同用户提供合适的待选素材。
56.基于上述问题，本公开提供一种图像处理方法、介质、装置和计算设备，通过自动快速生成海量的不同脸部风格的脸部部位的素材库，节省人力；将目标图像中脸部部位图像在素材库中进行相似匹配，能够准确地为用户提供合适的待选素材，供用户选择捏出与真实人脸更像的目标脸部风格的人脸，能够大大减少用户选择素材的成本。
57.应用场景总览
58.首先参考图1对本公开提供的方案的应用场景进行示例说明。图1为本公开实施例提供的一种应用场景示意图，如图1所示，本应用场景中，用户通过手机101上传一张人脸照片至服务器102，手机101响应于用户选择将照片中的人脸转换为漫画风格的风格转化指令，发送风格转化指令给服务器102。服务器102在接收到该风格转化指令后，根据人脸照片，确定照片中每个脸部部位对应的漫画风格的多个待选素材，将待选素材发送给手机101。手机101显示每个脸部部位对应的多个待选素材，供用户挑选组合。其中，服务器102在接收到该风格转化指令后，根据人脸照片，确定照片中每个脸部部位对应的漫画风格的待选素材的具体实现过程可以参见下述各实施例的方案。
59.需要说明的是，图1仅是本公开实施例提供的一种应用场景的示意图，本公开实施例不对图1中包括的设备进行限定，也不对图1中设备之间的位置关系进行限定。例如，在图1所示的应用场景中，还可以包括数据存储设备，该数据存储设备相对服务器102可以是外部存储器，也可以是集成在服务器102中的内部存储器。
60.示例性方法
61.下面结合图1的应用场景，参考图2来描述根据本公开示例性实施方式的用于图像处理方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
62.首先，通过具体实施例介绍图像处理方法。
63.图2为本公开一实施例提供的图像处理方法的流程图。本公开实施例的方法可以应用于计算设备中，该计算设备可以是服务器或服务器集群等。如图2所示，本公开实施例的方法包括：
64.s201、接收对目标图像进行目标脸部风格的风格转化指令。
65.本公开实施例中，目标图像比如是用户输入或上传至执行本方法实施例的电子设备的一张人脸照片，或者是其它设备向执行本方法实施例的电子设备发送的包含人脸的图像。对目标图像进行目标脸部风格的风格转化指令可以是用户向执行本方法实施例的电子设备输入的，或者，是其它设备向执行本方法实施例的电子设备发送的。示例性地，目标脸部风格比如为漫画风格，则接收对目标图像进行漫画风格的风格转化指令。
66.s202、根据风格转化指令，对目标图像进行脸部检测，得到目标图像中的脸部部位的位置信息，并对目标图像进行目标脸部风格的转换处理，得到中间图像。
67.该步骤中，在接收到对目标图像进行目标脸部风格的风格转化指令后，根据风格转化指令，可以通过预设脸部检测方法对目标图像进行脸部检测，得到目标图像中每个脸部部位的位置信息。脸部部位比如为眉毛，则可以得到眉毛的位置信息，具体地，眉毛的位
置信息比如为包含眉毛在内的最小矩形框的左上角的坐标、长度以及宽度。并可以通过预设脸部风格化方法对目标图像进行目标脸部风格的转换处理，得到中间图像。目标脸部风格比如为漫画风格，则得到的中间图像为漫画风格的图像。对于如何对目标图像进行脸部检测，得到目标图像中的脸部部位的位置信息，以及如何对目标图像进行目标脸部风格的转换处理，得到中间图像，可参考后续实施例，此处不再赘述。
68.s203、基于脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像。
69.该步骤中，在得到目标图像中每个脸部部位的位置信息和中间图像后，可以基于每个脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像。示例性地，中间图像比如为漫画风格的图像，脸部部位比如为眉毛，可以基于眉毛的位置信息，对中间图像进行分割处理，得到中间图像包含的漫画风格的眉毛图像。
70.s204、针对每个脸部部位图像，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材，其中，素材库是基于多个包含样本对象的脸部的样本图像以及不同的脸部风格获得的样本图像包含的样本脸部部位图像。
71.该步骤中，本公开对相似度阈值的取值不做具体限定。在获得了中间图像包含的多个脸部部位图像后，可以针对每个脸部部位图像，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的多个目标素材。其中，可以通过预设图像特征提取方法来获得每个脸部部位图像的特征，素材库中素材的特征也可以通过预设图像特征提取方法获得。示例性地，比如可以计算脸部部位图像的特征与素材库中素材的特征之间的余弦相似度来得到特征相似度，进而将该特征相似度与相似度阈值进行比较，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材。其中，脸部部位图像的特征即脸部部位图像的特征向量，素材库中素材的特征即素材的特征向量，在机器学习问题中，通常将特征表示为特征向量的形式，所以在分析两个特征向量之间的相似性时，常用余弦相似度来表示。余弦相似度用于通过测量两个特征向量之间夹角的余弦值来度量两个特征向量之间的相似度，取值范围是[-1,1]。可以使用两个特征向量之间夹角的余弦值来确定两个特征向量是否大致指向相同的方向，两个特征向量有相同的指向时，余弦相似度的值为1；两个特征向量夹角为90
°
时，余弦相似度的值为0。可以理解，不同的脸部部位图像可以得到不同的多个待选素材范围。
[0072]
对于如何获得素材库，可参考后续实施例，此处不再赘述。
[0073]
s205、输出目标素材，以供用户选择对应脸部部位的素材得到目标图像对应目标脸部风格的图像。
[0074]
该步骤中，在获得了每个脸部部位图像对应的目标素材后，可以输出目标素材，以供用户选择对应脸部部位的素材得到目标图像对应目标脸部风格的图像。示例性地，脸部部位比如为眉毛，目标脸部风格比如为漫画风格，在获得了眉毛对应的比如5个漫画风格的目标素材(即目标眉毛图像)后，输出5个漫画风格的目标眉毛图像给用户，用户可以从5个漫画风格的目标眉毛图像中选择一个合适的目标眉毛。
[0075]
本公开实施例提供的图像处理方法，通过接收对目标图像进行目标脸部风格的风格转化指令，根据风格转化指令，对目标图像进行脸部检测，得到目标图像中的脸部部位的位置信息，并对目标图像进行目标脸部风格的转换处理，得到中间图像；基于脸部部位的位
置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像；针对每个脸部部位图像，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材，其中，素材库是基于多个包含样本对象的脸部的样本图像以及不同的脸部风格自动获得的样本图像包含的样本脸部部位图像，减少了人工绘制素材的成本；通过特征比对，可以动态地根据目标图像得到合适的素材范围，无需人工干预，能够减少耗时；输出目标素材，以供用户选择对应脸部部位的素材得到目标图像对应目标脸部风格的图像，能够准确地为用户提供合适的待选素材，大大减少用户选择素材的成本，提升用户体验。
[0076]
图3为本公开另一实施例提供的图像处理方法的流程图。在上述实施例的基础上，本公开实施例对图像处理方法进行进一步说明。如图3所示，本公开实施例的方法可以包括：
[0077]
s301、接收对目标图像进行目标脸部风格的风格转化指令。
[0078]
该步骤的具体描述可以参见图2所示实施例中s201的相关描述，此处不再赘述。
[0079]
本公开实施例中，图2中s202步骤可以进一步包括如下的s302和s303两个步骤：
[0080]
s302、根据风格转化指令，将目标图像输入至脸部检测模型进行脸部检测，得到目标图像中的脸部部位的位置信息。
[0081]
该步骤中，脸部检测模型是预先训练好的，用于输出图像中脸部部位的位置信息(即坐标信息)，因此，可以根据风格转化指令，将目标图像输入至脸部检测模型进行脸部检测，得到目标图像中人脸的各个脸部部位的位置信息。示例性地，脸部检测模型进行脸部检测的主要流程可以包括：首先定义要检测的关键脸部部位的位置数目等；然后进行数据标注，让脸部检测模型学习标注数据；在脸部检测模型接收到新的人脸图像的时候，通过脸部检测模型输出的就是标注格式的内容，也就是人脸的关键脸部部位的位置信息。具体地，脸部检测模型比如为人脸关键点检测(practical facial landmark detector，pfld)模型。
[0082]
s303、将目标图像输入至脸部风格化模型进行目标脸部风格的转换处理，得到中间图像。
[0083]
该步骤中，不同的脸部风格具有不同的脸部风格化模型，每种脸部风格对应的脸部风格化模型是预先训练好的，用于输出相应风格的脸部图像。因此，将目标图像输入至脸部风格化模型进行目标脸部风格的转换处理，可以得到中间图像，该中间图像为目标脸部风格的图像。示例性地，脸部风格化模型进行脸部风格的转换处理的主要流程可以包括：首先获取大量真实的人脸图像，然后确定要转换的目标脸部风格，根据人脸图像绘制出对应目标脸部风格的图像；例如，目标脸部风格为漫画风格，对于100个人脸图像，可以得到100个对应的漫画风格的人脸图像；脸部风格化模型根据输入的人脸图像，输出漫画风格的人脸图像，和标注好的漫画风格的人脸图像图片进行损失值(loss)计算，也就是根据标注数据调整脸部风格化模型的参数，对脸部风格化模型进行训练；在训练结束后，输入至脸部风格化模型的是人脸图像，脸部风格化模型输出为对应的漫画风格的人脸图像。
[0084]
s304、基于脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像。
[0085]
该步骤的具体描述可以参见图2所示实施例中s203的相关描述，此处不再赘述。
[0086]
s305、将脸部部位图像输入至图像特征提取模型进行图像特征提取，得到脸部部位图像对应的特征。
[0087]
该步骤中，图像特征提取模型是预先训练好的，用于根据输入的图像，提取得到一个特征表示，例如128位单精度浮点型(float)特征。示例性地，比如将5个脸部部位图像输入至图像特征提取模型进行图像特征提取，可以得到5个对应的特征。示例性地，图像特征提取模型相当于是一个分类网络，比如100个人脸，即为100个类别，可以训练一个分类网络(即图像特征提取模型)用于正确分类人脸，然后将图像特征提取模型的输出作为特征向量，输入一个人脸部位的图像至图像特征提取模型，则图像特征提取模型会输出一个比如128位(bit)或者其他长度的特征向量。图像特征提取模型常用的比如是人脸识别(arcface)结构。
[0088]
本公开实施例中，图2中s204步骤可以进一步包括如下的s306至s308三个步骤：
[0089]
s306、针对每个脸部部位图像，获取脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材。
[0090]
参考s204步骤的示例，可以得到脸部部位图像与素材库中素材的特征相似度大于相似度阈值的多个目标素材。
[0091]
s307、若目标素材的数量大于预设数量，则将目标素材按照特征相似度由高到低排序，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的预设数量个目标素材。
[0092]
本公开对预设数量不做具体限定。示例性地，假设预设数量用n表示，在获得了每个脸部部位图像对应的比如m个目标素材后，即目标素材的数量为m，若m大于n，则将目标素材按照特征相似度由高到低排序，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的n个目标素材。
[0093]
s308、若目标素材的数量小于或等于预设数量，则确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材。
[0094]
示例性地，基于s307步骤的示例，若目标素材的数量m小于或等于预设数量n，则可以确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的m个目标素材。
[0095]
s309、输出目标素材，以供用户选择对应脸部部位的素材得到目标图像对应目标脸部风格的图像。
[0096]
该步骤的具体描述可以参见图2所示实施例中s205的相关描述，此处不再赘述。
[0097]
本公开实施例提供的图像处理方法，通过脸部检测模型对目标图像进行脸部检测，得到目标图像中的脸部部位的位置信息；将目标图像输入至脸部风格化模型进行目标脸部风格的转换处理，得到中间图像；基于脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像；将脸部部位图像输入至图像特征提取模型进行图像特征提取，得到脸部部位图像对应的特征；能够快速准确地获得目标图像中的脸部部位图像及脸部部位图像对应的特征；针对每个脸部部位图像，获取脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材，若目标素材的数量大于预设数量，则将目标素材按照特征相似度由高到低排序，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的预设数量个目标素材；若目标素材的数量小于或等于预设数量，则确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材；通过特征比对，基于相似度阈值和预设数量，能够准确地为用户提供合适的待选素材，大大减少用户选择素材的成本，提升用户体验。
[0098]
在上述实施例的基础上，图4为本公开一实施例提供的素材库的获得方法的流程图。如图4所示，本公开实施例的方法可以包括：
[0099]
s401、获取样本图像，样本图像包含样本对象的脸部。
[0100]
示例性地，可以通过人工收集或者网络爬取的方式，收集一批包含真实人脸图像作为样本图像，例如可以收集1万张包含真实人脸的样本图像。
[0101]
针对每个样本图像，执行以下操作：
[0102]
s402、对样本图像进行脸部检测，得到样本图像中的脸部部位的位置信息。
[0103]
示例性地，参考s302步骤的示例，可以通过预先训练好的脸部检测模型对样本图像进行脸部检测，得到样本图像中的脸部部位的位置信息。
[0104]
进一步，可选的，对样本图像进行脸部检测，得到样本图像中的脸部部位的位置信息，可以包括：对样本图像进行脸部检测，得到样本图像中的多个脸部部位以及多个脸部部位分别对应的置信度；根据置信度，得到置信度大于置信度阈值的样本图像中的脸部部位的位置信息。
[0105]
本公开对置信度阈值的取值不做具体限定。示例性地，通过预先训练好的脸部检测模型对样本图像进行脸部检测，可以得到样本图像中的多个脸部部位以及多个脸部部位分别对应的置信度，将每个脸部部位对应的置信度与置信度阈值进行比较，得到置信度大于置信度阈值的样本图像中的脸部部位的位置信息，从而可以去掉脸部部位检测有误的位置信息。也可以通过人工方式剔除掉脸部部位检测有误的位置信息。
[0106]
s403、对样本图像进行不同的脸部风格的转换处理，得到不同的脸部风格分别对应的样本中间图像。
[0107]
该步骤中，示例性地，不同的脸部风格比如为漫画风格、素描风格、油画风格等，参考s303步骤的示例，可以通过预先训练好的脸部风格化模型对样本图像进行不同的脸部风格的转换处理，得到不同的脸部风格分别对应的样本中间图像。可以理解，对于新增加的脸部风格，可以增加相应的脸部风格化模型即可。
[0108]
s404、基于样本图像中的脸部部位的位置信息，对样本中间图像进行分割处理，得到样本中间图像包含的多个样本脸部部位图像以及样本脸部部位图像对应的特征。
[0109]
该步骤中，在获得了样本图像中的每个脸部部位的位置信息(即坐标信息)后，可以基于样本图像中的脸部部位的位置信息对样本中间图像进行分割处理，得到样本中间图像包含的多个样本脸部部位图像，可以通过人工方式剔除掉分割处理有误的样本脸部部位图像。参考s305步骤的示例，可以通过预先训练好的图像特征提取模型对每个样本脸部部位图像进行图像特征提取，得到样本脸部部位图像对应的特征。
[0110]
可以理解，通过重复执行s402至s404步骤，可以得到每个样本图像包含的多个样本脸部部位图像以及样本脸部部位图像对应的特征，即获得了素材库。若需要动态增加素材，则可以通过收集人脸图像，执行s402至s404步骤，即可快速扩展素材库。
[0111]
本公开实施例提供的素材库的获得方法，通过对样本图像进行脸部检测，得到样本图像中的脸部部位的位置信息；对样本图像进行不同的脸部风格的转换处理，得到不同的脸部风格分别对应的样本中间图像；基于样本图像中的脸部部位的位置信息，对样本中间图像进行分割处理，得到样本中间图像包含的多个样本脸部部位图像以及样本脸部部位图像对应的特征，能够自动快速生成海量的不同脸部风格的脸部部位的素材库，无需人工
干预，减少人工绘制素材的成本。
[0112]
在上述实施例的基础上，图5为本公开一实施例提供的获得素材库和使用素材库的示意图。如图5所示，(1)对于获得素材库，可以包括：收集n个人脸图像，即人脸图像1至人脸图像n，其中，每个人脸图像用ni表示；针对每个人脸图像ni，执行以下操作：对人脸图像ni进行脸部检测，得到人脸图像ni中的脸部部位的位置信息；对人脸图像ni进行不同的脸部风格的转换处理，得到不同的脸部风格分别对应的中间图像；基于人脸图像ni中的脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像以及脸部部位图像对应的特征。以脸部风格是漫画风格为例，则可以得到漫画风格的鼻子图像及鼻子图像对应的特征、漫画风格的眼睛图像及眼睛图像对应的特征等，其中，特征表示比如为128位的单精度浮点型特征，特征值用id进行表示。因此，可以得到素材库。(2)对于使用素材库，可以包括：获取用户真实人脸图像，根据风格转化指令，对真实人脸图像进行脸部检测，得到真实人脸图像中的脸部部位的位置信息，并对真实人脸图像进行目标脸部风格的转换处理，得到中间图像；基于脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像，并获得每个脸部部位图像对应的特征；以脸部风格是漫画风格为例，则可以得到漫画风格的鼻子图像及鼻子图像对应的特征、漫画风格的眼睛图像及眼睛图像对应的特征等，其中，特征表示比如为128位的单精度浮点型特征，特征值用id进行表示。针对每个脸部部位图像，将脸部部位图像的特征与素材库中目标脸部风格的相应部位的素材的特征进行比对，确定特征相似度大于相似度阈值的最相似的m个目标素材；输出每个脸部部位对应的最相似的m个目标素材，即获得了每个脸部部位对应的最相似的m个待选素材，以供用户选择对应脸部部位的素材得到真实人脸图像对应目标脸部风格的图像。
[0113]
示例性装置
[0114]
在介绍了本公开示例性实施方式的介质之后，接下来，参考图6对本公开示例性实施方式的图像处理装置进行说明。本公开示例性实施方式的装置，可以实现前述图像处理方法实施例中的各个过程，并达到相同的功能和效果。
[0115]
图6为本公开一实施例提供的图像处理装置的结构示意图，如图6所示，本公开实施例的图像处理装置600包括：接收模块601、第一处理模块602、第二处理模块603、确定模块604和输出模块605。其中：
[0116]
接收模块601，用于接收对目标图像进行目标脸部风格的风格转化指令。
[0117]
第一处理模块602，用于根据风格转化指令，对目标图像进行脸部检测，得到目标图像中的脸部部位的位置信息，并对目标图像进行目标脸部风格的转换处理，得到中间图像。
[0118]
第二处理模块603，用于基于脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像。
[0119]
确定模块604，用于针对每个脸部部位图像，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材，其中，素材库是基于多个包含样本对象的脸部的样本图像以及不同的脸部风格获得的样本图像包含的样本脸部部位图像。
[0120]
输出模块605，用于输出目标素材，以供用户选择对应脸部部位的素材得到目标图像对应目标脸部风格的图像。
[0121]
在一种可能的实施方式中，该图像处理装置还可以包括获取模块606，用于通过以下方式获得素材库：获取样本图像，样本图像包含样本对象的脸部；针对每个样本图像，执行以下操作：对样本图像进行脸部检测，得到样本图像中的脸部部位的位置信息；对样本图像进行不同的脸部风格的转换处理，得到不同的脸部风格分别对应的样本中间图像；基于样本图像中的脸部部位的位置信息，对样本中间图像进行分割处理，得到样本中间图像包含的多个样本脸部部位图像以及样本脸部部位图像对应的特征。
[0122]
在一种可能的实施方式中，获取模块606在用于对样本图像进行脸部检测，得到样本图像中的脸部部位的位置信息时，可以具体用于：对样本图像进行脸部检测，得到样本图像中的多个脸部部位以及多个脸部部位分别对应的置信度；根据置信度，得到置信度大于置信度阈值的样本图像中的脸部部位的位置信息。
[0123]
在一种可能的实施方式中，确定模块604可以具体用于：针对每个脸部部位图像，获取脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材；若目标素材的数量大于预设数量，则将目标素材按照特征相似度由高到低排序，确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的预设数量个目标素材；若目标素材的数量小于或等于预设数量，则确定脸部部位图像与素材库中素材的特征相似度大于相似度阈值的目标素材。
[0124]
在一种可能的实施方式中，第一处理模块602可以具体用于：将目标图像输入至脸部检测模型进行脸部检测，得到目标图像中的脸部部位的位置信息。
[0125]
在一种可能的实施方式中，第一处理模块602可以具体用于：将目标图像输入至脸部风格化模型进行目标脸部风格的转换处理，得到中间图像。
[0126]
在一种可能的实施方式中，第二处理模块603还可以用于：基于脸部部位的位置信息，对中间图像进行分割处理，得到中间图像包含的多个脸部部位图像之后，将脸部部位图像输入至图像特征提取模型进行图像特征提取，得到脸部部位图像对应的特征。
[0127]
本公开实施例的装置，可以用于执行上述任一方法实施例中图像处理方法的方案，其实现原理和技术效果类似，此处不再赘述。
[0128]
示例性介质
[0129]
在介绍了本公开示例性实施方式的方法之后，接下来，参考图7对本公开示例性实施方式的存储介质进行说明。
[0130]
图7为本公开一实施例提供的存储介质示意图。参考图7所示，存储介质700中存储着根据本公开的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此。
[0131]
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0132]
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载
了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质。
[0133]
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备。
[0134]
示例性计算设备
[0135]
在介绍了本公开示例性实施方式的方法、介质和装置之后，接下来，参考图8对本公开示例性实施方式的计算设备进行说明。
[0136]
图8显示的计算设备800仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0137]
图8为本公开一实施例提供的计算设备的结构示意图，如图8所示，计算设备800以通用计算设备的形式表现。计算设备800的组件可以包括但不限于：上述至少一个处理单元801、上述至少一个存储单元802，连接不同系统组件(包括处理单元801和存储单元802)的总线803。示例性地，处理单元801可以具体为处理器，存储单元802存储计算机执行指令，处理单元801执行存储单元802存储的计算机执行指令，以实现上述的图像处理方法。
[0138]
总线803包括数据总线、控制总线和地址总线。
[0139]
存储单元802可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)8021和/或高速缓存存储器8022，可以进一步包括非易失性存储器形式的可读介质，例如只读存储器(rom)8023。
[0140]
存储单元802还可以包括具有一组(至少一个)程序模块8024的程序/实用工具8025，这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0141]
计算设备800也可以与一个或多个外部设备804(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口805进行。并且，计算设备800还可以通过网络适配器806与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图8所示，网络适配器806通过总线803与计算设备800的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0142]
应当注意，尽管在上文详细描述中提及了图像处理装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
[0143]
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个
步骤分解为多个步骤执行。
[0144]
虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。