美颜处理方法和装置、电子设备和计算机存储介质与流程
本申请涉及计算机视觉技术，尤其是一种美颜处理方法和装置、电子设备和计算机存储介质。
背景技术：
目前，美颜处理一般是对二维图像进行修改，例如：将二维图像上眼部的区域拉大，得到大眼的美颜效果。但是这种美颜处理方法在对二维图像进行修改时变化的幅度不能较大，否则会造成失真，并且当人脸具有较大的角度时变化较为复杂，很难通过对二维图像进行美颜处理获得较好的效果。
技术实现要素：
本申请实施例提供一种美颜处理技术方案。
根据本申请实施例的一个方面，提供一种美颜处理方法，包括：
获取三维人脸模型；
获取美颜语义特性，并根据所述美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对所述三维人脸模型进行调整，获得美颜后的三维人脸模型。
可选地，在本申请上述方法实施例中，所述获取三维人脸模型之前，还包括：基于二维人脸图像重建获得所述三维人脸模型。
可选地，在本申请上述任一方法实施例中，所述获取美颜语义特性，并根据所述美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对所述三维人脸模型进行调整，包括：
获取美颜语义特性参数的变化量；
根据所述美颜语义特性参数的变化量，基于美颜语义特性与三维人脸模型之间的映射关系，确定所述三维人脸模型的变化量；
根据所述三维人脸模型的变化量，更新所述三维人脸模型，获得美颜后的三维人脸模型。
可选地，在本申请上述任一方法实施例中，所述美颜语义特性与三维人脸模型之间的映射关系，包括：美颜语义特性与三维人脸模型的脸型之间的映射关系；
所述获取三维人脸模型，包括：
获取三维人脸模型及所述三维人脸模型的脸型参数；
所述根据所述美颜语义特性参数的变化量，基于美颜语义特性与三维人脸模型之间的映射关系，确定所述三维人脸模型的变化量，包括：
根据所述美颜语义特性参数的变化量，基于美颜语义特性与三维人脸模型的脸型之间的映射关系，确定所述三维人脸模型的脸型参数的变化量；
所述根据所述三维人脸模型的变化量，更新所述三维人脸模型，获得美颜后的三维人脸模型，包括：
根据所述三维人脸模型的脸型参数的变化量，更新所述三维人脸模型的脸型参数；
根据所述更新后的三维人脸模型的脸型参数，获得美颜后的三维人脸模型。
可选地，在本申请上述任一方法实施例中，还包括：
预先建立所述美颜语义特性与三维人脸模型的脸型之间的映射关系。
可选地，在本申请上述任一方法实施例中，所述预先建立所述美颜语义特性与三维人脸模型的脸型之间的映射关系，包括：
根据多个三维人脸模型对至少一种美颜语义特性进行量化，得到美颜语义特性参数，其中，所述多个三维人脸模型的脸型参数值不相同，表情参数为预定值；
根据所述美颜语义特性参数和所述多个三维人脸模型的脸型参数，确定所述美颜语义特性与三维人脸模型的脸型之间的映射关系。
可选地，在本申请上述任一方法实施例中，所述根据多个三维人脸模型对至少一种美颜语义特性进行量化，包括：
确定所述多个三维人脸模型中每个三维人脸模型对所述至少一种美颜语义特性中每种美颜语义特性的权重，将所述权重作为美颜语义特性参数。
可选地，在本申请上述任一方法实施例中，所述确定所述多个三维人脸模型中每个三维人脸模型对所述至少一种美颜语义特性中每种美颜语义特性的权重，包括：
确定所述多个三维人脸模型的平均三维人脸模型；
根据所述每种美颜语义特性对所述平均三维人脸模型的脸型参数进行修改，得到美颜后的平均三维人脸模型；
根据所述多个三维人脸模型、所述平均三维人脸模型和所述美颜后的平均三维人脸模型，确定所述多个三维人脸模型中每个三维人脸模型对所述每种美颜语义特性的权重。
可选地，在本申请上述任一方法实施例中，所述根据多个三维人脸模型对至少一种美颜语义特性进行量化之前，还包括：
获取所述多个三维人脸模型及所述多个三维人脸模型的脸型参数，和所述至少一种美颜语义特性。
可选地，在本申请上述任一方法实施例中，所述获取所述多个三维人脸模型及所述多个三维人脸模型的脸型参数和所述至少一种美颜语义特性之前，还包括：
基于通用三维人脸模型获得所述多个三维人脸模型及所述多个三维人脸模型的脸型参数。
可选地，在本申请上述任一方法实施例中，所述基于通用三维人脸模型获得所述多个三维人脸模型及所述多个三维人脸模型的脸型参数，包括：
建立通用三维人脸模型，其中，所述通用三维人脸模型包括表情参数和脸型参数；
设定所述表情参数为预定值，改变所述脸型参数值，获得所述多个三维人脸模型及所述多个三维人脸模型的脸型参数。
可选地，在本申请上述任一方法实施例中，所述获取美颜语义特性，并根据所述美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对所述三维人脸模型进行调整，获得美颜后的三维人脸模型之后，还包括：
根据所述美颜后的三维人脸模型，生成美颜后的二维人脸图像。
根据本申请实施例的另一个方面，提供一种美颜处理装置，包括：
获取单元，用于获取三维人脸模型；
美颜单元，用于获取美颜语义特性，并根据所述美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对所述三维人脸模型进行调整，获得美颜后的三维人脸模型。
可选地，在本申请上述装置实施例中，还包括：重建单元，用于基于二维人脸图像重建获得所述三维人脸模型。
可选地，在本申请上述任一装置实施例中，所述美颜单元，包括：
第一获取模块，用于获取美颜语义特性参数的变化量；
转换模块，用于根据所述美颜语义特性参数的变化量，基于美颜语义特性与三维人脸模型之间的映射关系，确定所述三维人脸模型的变化量；
更新模块，用于根据所述三维人脸模型的变化量，更新所述三维人脸模型，获得美颜后的三维人脸模型。
可选地，在本申请上述任一装置实施例中，所述美颜语义特性与三维人脸模型之间的映射关系，包括：美颜语义特性与三维人脸模型的脸型之间的映射关系；
所述获取单元，用于获取三维人脸模型及取所述三维人脸模型的脸型参数；
所述转换模块，用于根据所述美颜语义特性参数的变化量，基于美颜语义特性与三维人脸模型的脸型之间的映射关系，确定所述三维人脸模型的脸型参数的变化量；
所述更新模块，用于根据所述三维人脸模型的脸型参数的变化量，更新所述三维人脸模型的脸型参数；根据所述更新后的三维人脸模型的脸型参数，获得美颜后的三维人脸模型。
可选地，在本申请上述任一装置实施例中，还包括：预处理单元，用于预先建立所述美颜语义特性与三维人脸模型的脸型之间的映射关系。
可选地，在本申请上述任一装置实施例中，所述预处理单元，包括：
量化模块，用于根据多个三维人脸模型对至少一种美颜语义特性进行量化，得到美颜语义特性参数，其中，所述多个三维人脸模型的脸型参数值不相同，表情参数为预定值；
处理模块，用于根据所述美颜语义特性参数和所述多个三维人脸模型的脸型参数，确定所述美颜语义特性与三维人脸模型的脸型之间的映射关系。
可选地，在本申请上述任一装置实施例中，所述量化模块，用于确定所述多个三维人脸模型中每个三维人脸模型对所述至少一种美颜语义特性中每种美颜语义特性的权重，将所述权重作为美颜语义特性参数。
可选地，在本申请上述任一装置实施例中，所述量化模块，用于确定所述多个三维人脸模型的平均三维人脸模型；根据所述每种美颜语义特性对所述平均三维人脸模型的脸型参数进行修改，得到美颜后的平均三维人脸模型；根据所述多个三维人脸模型、所述平均三维人脸模型和所述美颜后的平均三维人脸模型，确定所述多个三维人脸模型中每个三维人脸模型对所述每种美颜语义特性的权重。
可选地，在本申请上述任一装置实施例中，所述预处理单元，还包括：
第二获取模块，用于获取所述多个三维人脸模型及所述多个三维人脸模型的脸型参数，和所述至少一种美颜语义特性。
可选地，在本申请上述任一装置实施例中，所述预处理单元，还包括：
生成模块，用于基于通用三维人脸模型获得所述多个三维人脸模型及所述多个三维人脸模型的脸型参数。
可选地，在本申请上述任一装置实施例中，所述生成模块，用于建立通用三维人脸模型，其中，所述通用三维人脸模型包括表情参数和脸型参数；设定所述表情参数为预定值，改变所述脸型参数值，获得所述多个三维人脸模型及所述多个三维人脸模型的脸型参数。
可选地，在本申请上述任一装置实施例中，还包括：
生成单元，用于根据所述美颜后的三维人脸模型，生成美颜后的二维人脸图像。
根据本申请实施例的又一个方面，提供的一种电子设备，包括上述任一实施例所述的装置。
根据本申请实施例的再一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
处理器，用于执行所述可执行指令从而完成上述任一实施例所述的方法。
根据本申请实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现上述任一实施例所述方法的指令。
根据本申请实施例的再一个方面，提供的一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一实施例所述的方法。
在一个可选实施方式中，所述计算机程序产品具体为计算机存储介质，在另一个可选实施方式中，所述计算机程序产品具体为软件产品，例如sdk等。
基于本申请上述实施例提供的美颜处理方法和装置、电子设备和计算机存储介质，通过获取三维人脸模型，其中，三维人脸模型基于二维人脸图像重建获得，获取美颜语义特性，并根据美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对三维人脸模型进行调整，获得美颜后的三维人脸模型，利用三维人脸模型进行美颜处理，美颜的脸型变化，不受脸型变化幅度的限制，也不受模型角度的限制，从而可以获得更好的美颜效果。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请一些实施例的美颜处理方法的流程图；
图2为本申请一些实施例建立美颜语义特性与三维人脸模型的脸形之间的映射关系的流程图；
图3为本申请一些实施例根据多个三维人脸模型对至少一种美颜语义特性进行量化，得到美颜语义特性参数的流程图；
图4为本申请一些实施例的美颜处理装置的结构示意图；
图5为本申请一些实施例的美颜单元的结构示意图；
图6为本申请另一些实施例的美颜处理装置的结构示意图；
图7为本申请一些实施例的预处理单元的结构示意图；
图8为本申请另一些实施例的预处理单元的结构示意图；
图9是本申请一些实施例提供的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本申请一些实施例的美颜处理方法的流程图。该方法可以由服务器或终端设备执行，终端设备例如包括：手机、计算机、车载设备等。如图1所示，该方法包括：
102，获取三维人脸模型。
可选地，三维人脸模型可以基于二维人脸图像重建获得。在一个可选的例子中，可以预先存储基于二维人脸图像重建获得的三维人脸模型，获取预先存储的三维人脸模型。在另一个可选的例子中，可以在获取三维人脸模型之前，基于二维人脸图像重建获得三维人脸模型，获取重建获得的三维人脸模型。本实施例对三维人脸模型的获取方法不做限定。
可选地，可以预设二维人脸图像的关键点，根据二维人脸图像的关键点与先验的三维人脸模型的关键点之间的对应关系，生成三维人脸模型，例如，多个关键点可以包括脸部外轮廓关键点、眼部关键点、眉毛关键点、嘴唇关键点、鼻子关键点等，本实施例对关键点的类型和数量不作限定。
可选地，先验的三维人脸模型可以为主成分分析(principalcomponentanalysis，简称pca)模型，也可以为除主成分分析外的其它三维人脸模型，本申请实施例对先验的三维人脸模型的类型不作限定。
104，获取美颜语义特性，并根据美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对三维人脸模型进行调整，获得美颜后的三维人脸模型。
在本实施例中，美颜语义特性可以包括但不限于瘦脸、胖脸、大眼、小眼、高鼻、瘦鼻、小嘴、大嘴、细眉和粗眉等中的至少一种，可以预设多种美颜语义特性，从预设的美颜语义特性中选取至少一种美颜语义特性，获取美颜语义特性，例如，获取的美颜语义特性为瘦脸、大眼和高鼻。
可选地，可以获取美颜语义特性参数的变化量，根据美颜语义特性参数的变化量，基于美颜语义特性与三维人脸模型之间的映射关系，确定三维人脸模型的变化量，然后根据三维人脸模型的变化量，更新三维人脸模型，获得美颜后的三维人脸模型。
在一个可选的例子中，美颜语义特性与三维人脸模型之间的映射关系为美颜语义特性与三维人脸模型脸型之间的映射关系，则可以获取人脸三维模型及三维人脸模型的形状参数，根据美颜语义特性参数的变化量，基于美颜语义特性与三维人脸模型的脸型之间的映射关系，确定三维人脸模型的脸型参数的变化量，然后根据三维人脸模型的脸型参数的变化量，更新三维人脸模型的脸型参数，根据更新后的三维人脸模型的脸型参数，获得美颜后的三维人脸模型。
基于本申请上述实施例提供的美颜处理方法，通过获取三维人脸模型，及获取美颜语义特性，并根据美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对三维人脸模型进行调整，获得美颜后的三维人脸模型。利用三维人脸模型进行美颜处理，美颜的脸型变化，不受脸型变化幅度的限制，也不受模型角度的限制，从而可以获得更好的美颜效果。
在一些实施例中，三维人脸模型m的脸型参数为向量wid，美颜语义特性参数的变化量为向量δf＝[δf0,...,δfl]t，δfj≥0，j＝1,...,l，美颜语义特性与三维人脸模型的脸型之间的映射关系为矩阵h，则此时三维人脸模型的脸型参数的变化量为hδf，更新后的三维人脸模型的脸型参数为wid＝wid+hδf，将更新后的三维人脸模型的脸型参数wid带入三维人脸模型的公式
在一些实施例中，在操作104获取美颜语义特性，并根据美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对三维人脸模型进行调整，获得美颜后的三维人脸模型之后，还包括：根据美颜后的三维人脸模型，生成美颜后的二维人脸图像，以扩展美颜处理方法的应用范围。
在一些实施例中，可以预先建立美颜语义特性与三维人脸模型的脸型之间的映射关系，例如，可以预先建立美颜语义特性与三维人脸模型的脸型之间的映射关系，然后利用建立好的美颜语义特性与三维人脸模型的脸型之间的映射关系进行美颜处理。下面将结合图2，详细描述建立美颜语义特性与三维人脸模型的脸型之间的映射关系的流程。
如图2所示，该方法包括：
202，根据多个三维人脸模型对至少一种美颜语义特性进行量化，得到美颜语义特性参数。
在本实施例中，多个三维人脸模型可以为脸型参数值不相同，表情参数为预定值的三维人脸模型，例如，预定值为使三维人脸模型无表情时的表情参数值，利用无表情的三维人脸模型对美颜语义特性进行量化，可以避免表情因素对美颜语义特性的影响，使美颜语义特性只与三维人脸模型的脸型相关。
可选地，可以确定多个三维人脸模型中各三维人脸模型对至少一种美颜语义特性中每种美颜语义特性的权重，将所确定的权重作为美颜语义特性参数，实现对美颜语义特性的量化，但本实施例并不以此为限。
204，根据美颜语义特性参数和多个三维人脸模型的脸型参数，确定美颜语义特性与三维人脸模型的脸型之间的映射关系。
可选地，可以通过建立反映美颜语义特性参数与多个三维人脸模型的脸型参数之间的关系的方程，通过求解该方程获得美颜语义特性与三维人脸模型的脸型之间的映射关系。
本实施例通过预先建立美颜语义特性与三维人脸模型的脸型之间的映射关系，在对三维人脸模型进行美颜处理时，可以根据美颜语义特性，直接利用预先建立的美颜语义特性与三维人脸模型的脸型之间的映射关系，获得美颜后的三维人脸模型的脸型，可以节约大量的运算资源，缩短美颜处理的时间。
图3为本申请一些实施例根据多个三维人脸模型对至少一种美颜语义特性进行量化，得到美颜语义特性参数的流程图。
如图3所示，该方法包括：
302，确定多个三维人脸模型的平均三维人脸模型。
可选地，可以根据多个脸型参数值不相同，表情参数为预定值的三维人脸模型，确定平均三维人脸模型。例如，可以通过计算多个三维人脸模型对应的脸型参数的算数平均值，获得平均三维人脸模型对应的脸型参数，从而确定平均三维人脸模型的脸型。
304，根据每种美颜语义特性对平均三维人脸模型的脸型参数进行修改，得到美颜后的平均三维人脸模型。
可选地，可以根据每种美颜语义特性，通过手动或者自动的方法对平均三维人脸模型的脸型参数进行修改，得到美颜后的平均三维人脸模型。
306，根据多个三维人脸模型、平均三维人脸模型和美颜后的平均三维人脸模型，确定多个三维人脸模型中每个三维人脸模型对每种美颜语义特性的权重。
可选地，可以根据多个脸型参数值不相同，表情参数为预定值的三维人脸模型及其平均三维人脸模型，和美颜后的平均三维人脸模型，确定多个三维人脸模型中各三维人脸模型对至少一种美颜语义特性中每种美颜语义特性的权重，将所确定的权重作为美颜语义特性参数。
本实施例重新定义了美颜语义特性的测量方式，可以高效并精确地量化美颜语义特性。
在一些实施例中，在操作202根据多个三维人脸模型对至少一种美颜语义特性进行量化之前，还包括：获取多个三维人脸模型及多个三维人脸模型的脸型参数，和至少一种美颜语义特性。
可选地，可以基于通用三维人脸模型获取多个三维人脸模型及多个三维人脸模型的脸型参数，以简化多个三维人脸模型的获取，同时便于获取多个三维人脸模型的脸型参数。在一个可选的例子中，可以建立通用三维人脸模型，其中通用三维人脸模型可以包括表情参数和脸型参数，通过设定表情参数为预定值，并改变脸型参数值，获得多个三维人脸模型及多个三维人脸模型的脸型参数。
在一些实施例中，可以首先以pca模型作为通用三维人脸模型，建立双线性pca模型：
然后确定l种美颜语义特性，并根据以下操作(1)至(3)对l种美颜语义特性进行量化：
(1)基于n组三维人脸模型的数据，计算平均三维人脸模型
(2)以l种美颜语义特性分别修改平均三维人脸模型
三维人脸模型
(3)计算每个三维人脸模型mi对每种美颜语义特性j的权重，
其中，权重fij可以为正值，也可以为负值，当美颜语义特性是向增加的方向变化时，对应的权重fij为正值，例如：当美颜语义特性为大眼时，fij为正值，当美颜语义特性是向减少的方向变化时，对应的权重fij为负值，例如：当美颜语义特性为小眼时，fij为负值。
最后计算美颜语义特性到三维人脸模型的脸型的转移矩阵h，已知n个三维人脸模型中每个三维人脸模型对于l种美颜语义特性中每种美颜语义特性的权重为fij，则组成(l+1*n)的矩阵f：
其中，f的第j行第i列的值为fij，f的l+1行的值全为1。
构建(m*n)的矩阵p，其中p中的每一列为第i个人脸三维模型的脸型参数wid，
图4为本申请一些实施例的美颜处理装置的结构示意图。该装置可以设置于由服务器或终端设备执行，终端设备例如包括：手机、计算机、车载设备等。如图4所示，该装置包括：获取单元410和美颜单元420。其中，
获取单元410，用于获取三维人脸模型。
可选地，三维人脸模型可以基于二维人脸图像重建获得。在一个可选的例子中，可以预先存储基于二维人脸图像重建获得的三维人脸模型，获取单元410获取预先存储的三维人脸模型。在另一个可选的例子中，可以在获取三维人脸模型之前，通过重建单元基于二维人脸图像重建获得三维人脸模型，获取单元410获取重建获得的三维人脸模型。本实施例对获取单元410获取三维人脸模型的方法不做限定。
可选地，获取单元410可以预设二维人脸图像的关键点，根据二维人脸图像的关键点与先验的三维人脸模型的关键点之间的对应关系，生成三维人脸模型，例如，多个关键点可以包括脸部外轮廓关键点、眼部关键点、眉毛关键点、嘴唇关键点、鼻子关键点等，本实施例对关键点的类型和数量不作限定。
可选地，先验的三维人脸模型可以为主成分分析(principalcomponentanalysis，简称pca)模型，也可以为除主成分分析外的其它三维人脸模型，本申请实施例对先验的三维人脸模型的类型不作限定。
美颜单元420，用于获取美颜语义特性，并根据美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对三维人脸模型进行调整，获得美颜后的三维人脸模型。
在本实施例中，美颜语义特性可以包括但不限于瘦脸、胖脸、大眼、小眼、高鼻、瘦鼻、小嘴、大嘴、细眉和粗眉等中的至少一种，可以预设多种美颜语义特性，从预设的美颜语义特性中选取至少一种美颜语义特性，获取美颜语义特性，例如，获取的美颜语义特性为瘦脸、大眼和高鼻。
可选地，如图5所示，美颜单元可以包括第一获取模块510、转换模块520和更新模块530，其中，第一获取模块510可以获取美颜语义特性参数的变化量，转换模块520用于根据美颜语义特性参数的变化量，基于美颜语义特性与三维人脸模型之间的映射关系，确定三维人脸模型的变化量，更新模块530用于根据三维人脸模型的变化量，更新三维人脸模型，获得美颜后的三维人脸模型。
在一个可选的例子中，美颜语义特性与三维人脸模型之间的映射关系为美颜语义特性与三维人脸模型脸型之间的映射关系，则获取单元410可以获取人脸三维模型及三维人脸模型的形状参数，转换模块520用于根据美颜语义特性参数的变化量，基于美颜语义特性与三维人脸模型的脸型之间的映射关系，确定三维人脸模型的脸型参数的变化量，更新模块530用于根据三维人脸模型的脸型参数的变化量，更新三维人脸模型的脸型参数，根据更新后的三维人脸模型的脸型参数，获得美颜后的三维人脸模型。
基于本申请上述实施例提供的美颜处理装置，通过获取三维人脸模型，其中，三维人脸模型基于二维人脸图像重建获得，获取美颜语义特性，并根据美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对三维人脸模型进行调整，获得美颜后的三维人脸模型，利用三维人脸模型进行美颜处理，美颜的脸型变化，不受脸型变化幅度的限制，也不受模型角度的限制，从而可以获得更好的美颜效果。
在一些实施例中，美颜处理装置还包括生成单元，生成单元用于根据美颜后的三维人脸模型，生成美颜后的二维人脸图像，以扩展美颜处理方法的应用范围。
图6为本申请另一些实施例的美颜处理装置的结构示意图。如图6所示，该装置除了包括获取单元410和美颜单元420外，还包括：预处理单元430。其中，预处理单元430用于预先建立美颜语义特性与三维人脸模型的脸型之间的映射关系。例如，预处理单元430可以预先建立美颜语义特性与三维人脸模型的脸型之间的映射关系，然后获取单元410和美颜单元420利用美颜语义特性与三维人脸模型的脸型之间的映射关系进行美颜处理。下面将结合图7，详细描述预处理单元430的结构。
如图7所示，预处理单元430包括：量化模块710和处理模块720。其中，
量化模块710，用于根据多个三维人脸模型对至少一种美颜语义特性进行量化，得到美颜语义特性参数。
在本实施例中，多个三维人脸模型可以为脸型参数值不相同，表情参数为预定值的三维人脸模型，例如，预定值为使三维人脸模型无表情时的表情参数值，利用无表情的三维人脸模型对美颜语义特性进行量化，可以避免表情因素对美颜语义特性的影响，使美颜语义特性只与三维人脸模型的脸型相关。
可选地，量化模块710可以确定多个三维人脸模型中各三维人脸模型对至少一种美颜语义特性中每种美颜语义特性的权重，将所确定的权重作为美颜语义特性参数，实现对美颜语义特性的量化，但本实施例并不以此为限。
处理模块720，用于根据美颜语义特性参数和多个三维人脸模型的脸型参数，确定美颜语义特性与三维人脸模型的脸型之间的映射关系。
可选地，处理模块720可以通过建立反映美颜语义特性参数与多个三维人脸模型的脸型参数之间的关系的方程，通过求解该方程获得美颜语义特性与三维人脸模型的脸型之间的映射关系。
本实施例通过预先建立美颜语义特性与三维人脸模型的脸型之间的映射关系，在对三维人脸模型进行美颜处理时，可以根据美颜语义特性，直接利用预先建立的美颜语义特性与三维人脸模型的脸型之间的映射关系，获得美颜后的三维人脸模型的脸型，可以节约大量的运算资源，缩短美颜处理的时间。
在一些实施例中，量化模块710可以确定多个三维人脸模型的平均三维人脸模型，然后根据每种美颜语义特性对平均三维人脸模型的脸型参数进行修改，得到美颜后的平均三维人脸模型，根据多个三维人脸模型、平均三维人脸模型和美颜后的平均三维人脸模型，确定多个三维人脸模型中每个三维人脸模型对每种美颜语义特性的权重。本实施例重新定义了美颜语义特性的测量方式，可以高效并精确地量化美颜语义特性。
在一些实施例中，如图8所示，预处理单元430除了包括量化模块710和处理模块720外，还包括第二获取模块730，第二获取模块730用于获取多个三维人脸模型及多个三维人脸模型的脸型参数，和至少一种美颜语义特性。可选地，如图8所示，预处理单元还可以包括生成模块740，生成模块740用于基于通用三维人脸模型获取多个三维人脸模型及多个三维人脸模型的脸型参数，以简化多个三维人脸模型的获取，同时便于获取多个三维人脸模型的脸型参数。在一个可选的例子中，生成模块740可以建立通用三维人脸模型，其中通用三维人脸模型可以包括表情参数和脸型参数，通过设定表情参数为预定值，并改变脸型参数值，获得多个三维人脸模型及多个三维人脸模型的脸型参数。
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(pc)、平板电脑、服务器等。下面参考图9，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备900的结构示意图：如图9所示，电子设备900包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(cpu)901，和/或一个或多个加速单元913等，加速单元913可包括但不限于gpu、fpga、其他类型的专用处理器等，处理器可以根据存储在只读存储器(rom)902中的可执行指令或者从存储部分908加载到随机访问存储器(ram)903中的可执行指令而执行各种适当的动作和处理。通信部912可包括但不限于网卡，所述网卡可包括但不限于ib(infiniband)网卡，处理器可与只读存储器902和/或随机访问存储器903中通信以执行可执行指令，通过总线904与通信部912相连、并经通信部912与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，获取三维人脸模型；获取美颜语义特性，并根据所述美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对所述三维人脸模型进行调整，获得美颜后的三维人脸模型。
此外，在ram903中，还可存储有装置操作所需的各种程序和数据。cpu901、rom902以及ram903通过总线904彼此相连。在有ram903的情况下，rom902为可选模块。ram903存储可执行指令，或在运行时向rom902中写入可执行指令，可执行指令使中央处理单元901执行上述通信方法对应的操作。输入/输出(i/o)接口905也连接至总线904。通信部912可以集成设置，也可以设置为具有多个子模块(例如多个ib网卡)，并在总线链接上。
以下部件连接至i/o接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至i/o接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
需要说明的，如图9所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图9的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元913和cpu901可分离设置或者可将加速单元913集成在cpu901上，通信部912可分离设置，也可集成设置在cpu901或加速单元913上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，获取三维人脸模型；获取美颜语义特性，并根据所述美颜语义特性，基于美颜语义特性与三维人脸模型之间的映射关系，对所述三维人脸模型进行调整，获得美颜后的三维人脸模型。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(cpu)901执行时，执行本申请的方法中限定的上述功能。
在一个或多个可选实施方式中，本申请实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，该指令被执行时使得计算机执行上述任一可能的实现方式中的美颜处理方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，该计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，该计算机程序产品具体体现为软件产品，例如软件开发包(softwaredevelopmentkit，sdk)等等。
在一个或多个可选实施方式中，本申请实施例还提供了一种美颜处理方法及其对应的装置、系统和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：第一装置向第二装置发送美颜指示，该指示使得第二装置执行上述任一可能的实施例中的美颜处理方法；第一装置接收第二装置发送的美颜结果。
在一些实施例中，该美颜指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行美颜，相应地，响应于接收到调用指令，第二装置可以执行上述美颜处理方法中的任意实施例中的步骤和/或流程。
应理解，本申请实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本申请实施例的限定。
还应理解，在本申请中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本申请中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
还应理解，本申请对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。
- 还没有人留言评论。精彩留言会获得点赞！