本技术涉及计算机,尤其涉及一种面部合成方法及装置。
背景技术:
1、随着扩展现实(extended reality,xr)技术的发展,虚拟人物也应用到多种行业中,如金融、医疗和教育等行业。
2、目前,3d人脸模型的生成的方式均是基于2d人脸图像生成。但是,2d人脸图像并未包括空间信息,因此,基于2d人脸图像生成的3d人脸模型的精准度低。而其他采用三维建模生成3d人脸模型的效率低。
技术实现思路
1、本技术实施例提供了一种面部合成方法及装置,能够在保证精准度的基础上,提高3d人脸模型的效率低。
2、第一方面,本技术实施例提供了一种面部生成方法,包括:
3、获取第一模型的第一面部信息和第二模型的第二面部信息,其中,面部信息包括面部中每个面部特征所属的性状的类别信息;
4、基于性状遗传规律,利用第一面部信息和第二面部信息,合成得到第三面部信息,第三面部信息对应第三模型,其中,性状遗传规律指示了面部特征所属的性状的类别信息对应的合成系数。
5、在一个示例中,第一模型可以是3d人脸模型。第二模型可以是3d人脸模型。第一模型和第二模型可以是不同性别的人的3d人脸模型。面部特征的性状的类别信息包括显性性状和隐性性状,其中,面部特征的性状的类别信息可以看作是面部特征的伪基因,如此,3d人脸模型为具有遗传属性的数字模型。性状遗传规律是基于伪基因定义的遗传规则。
6、根据本技术实施例,利用一对3d人脸模型的面部特征、每个面部特征所属的为基因类别和人脸合成规律,进行3d人脸合成,保证了合成3d人脸模型的精准度,且基于一对3d人脸模型能够合成多个3d人脸模型,提高了合成3d人脸模型的效率。
7、在一种可能的实现方式中,方法还包括:
8、获取用户从多个备选的性状遗传规律中选择的性状遗传规律。
9、如此,用户可以根据自身需要选择性状遗传规律,使得合成后的人脸模型符合用户的需求。
10、在一种可能的实现方式中,方法还包括:
11、根据用户的配置指令,对性状遗传规律进行调整;
12、基于性状遗传规律,利用第一面部信息和第二面部信息,合成得到第三面部信息,包括:
13、基于调整后的性状遗传规律,利用第一面部信息和第二面部信息,合成得到第三面部信息。
14、如此,用户可以根据自身需要配置性状遗传规律,使得合成后的人脸模型符合用户的需求。
15、在一种可能的实现方式中,基于性状遗传规律,利用第一面部信息和第二面部信息,合成得到第三面部信息,第三面部信息对应第三模型,包括:
16、确定从第一面部信息中提取得到的多个第一面部特征所属的性状的类别信息;
17、确定从第二面部信息中提取得到的多个第二面部特征所属的性状的类别信息;
18、根据性状遗传规律、多个第一面部特征所属的性状的类别信息和多个第二面部特征所属的性状的类别信息,对多个第一面部特征和多个第二面部特征进行特征合成,得到第三面部信息。
19、如此,基于性状遗传规律将具有遗传属性的面部特征进行合成,提高了3d人脸模型合成的效率。而且,合成后的3d人脸符合性状遗传规律,具有可解释性。
20、在一种可能的实现方式中,根据性状遗传规律、多个第一面部特征所属的性状的类别信息和多个第二面部特征所属的性状的类别信息,对多个第一面部特征和多个第二面部特征进行特征合成,得到第三面部信息,包括:
21、基于性状遗传规律、多个第一面部特征所属的性状的类别信息和多个第二面部特征所属的性状的类别信息,对多个第一面部特征和多个第二面部特征进行线性合成;
22、将线性合成后的多个面部特征进行面部合成,得到第三面部信息。
23、如此,基于性状遗传规律将具有遗传属性的面部特征进行合成,提高了3d人脸模型合成的效率。而且,合成后的3d人脸符合性状遗传规律,具有可解释性。
24、在一种可能的实现方式中,将线性合成后的多个面部特征进行面部合成,得到第三面部信息,包括:
25、基于生成对抗网络,将线性合成后的多个面部特征进行面部合成,得到第三面部信息。
26、如此,基于生成对抗网络进行面部合成能够提高人脸合成的精准度。
27、在一种可能的实现方式中,将线性合成后的多个面部特征进行面部合成,得到第三面部信息,包括:
28、基于扩散模型,将线性合成后的多个面部特征进行面部合成,得到第三面部信息。
29、如此,基于扩散模型进行面部合成能够提高人脸合成的精准度。
30、在一种可能的实现方式中,方法还包括:
31、分别从多个模型中每个模型中提取每个模型的多个面部特征;
32、对同一类面部特征进行聚类分析,得到面部特征所属的性状的类别信息;
33、根据每个模型中多个面部特征所属的性状的类别信息,对每个模型进行标记,以得到多个模型各自的面部信息。
34、如此,将性状的类别信息与面部特征进行关联,使得面部特征具有遗传特性,从而使得合成后的3d人脸符合性状遗传规律,具有可解释性。
35、第二方面,本技术实施例提供了一种面部生成装置,包括:
36、获取模块,用于获取第一模型的第一面部信息和第二模型的第二面部信息,其中,面部信息包括面部中每个面部特征所属的性状的类别信息;
37、合成模块,用于基于性状遗传规律,利用第一面部信息和第二面部信息,合成得到第三面部信息,第三面部信息对应第三模型,其中,性状遗传规律指示了面部特征所属的性状的类别信息对应的合成系数。
38、在一个示例中,第一模型可以是3d人脸模型。第二模型可以是3d人脸模型。第一模型和第二模型可以是不同性别的人的3d人脸模型。面部特征的性状的类别信息包括显性性状和隐性性状,其中,面部特征的性状的类别信息可以看做是面部特征的伪基因,如此,3d人脸模型为具有遗传属性的数字模型。性状遗传规律是基于伪基因定义的遗传规则。
39、根据本技术实施例,利用一对3d人脸模型的面部特征、每个面部特征所属的为基因类别和人脸合成规律,进行3d人脸合成,保证了合成3d人脸模型的精准度,且基于一对3d人脸模型能够合成多个3d人脸模型,提高了合成3d人脸模型的效率。
40、在一种可能的实现方式中,获取装置还用于获取用户从多个备选的性状遗传规律中选择的性状遗传规律。
41、如此,用户可以根据自身需要选择性状遗传规律,使得合成后的人脸模型符合用户的需求。
42、在一种可能的实现方式中,装置还包括:
43、调整模块,用于根据用户的配置指令,对性状遗传规律进行调整;
44、合成模块用于基于调整后的性状遗传规律,利用第一面部信息和第二面部信息,合成得到第三面部信息。
45、如此,用户可以根据自身需要配置性状遗传规律,使得合成后的人脸模型符合用户的需求。
46、在一种可能的实现方式中,合成模块,用于:
47、确定从第一面部信息中提取得到的多个第一面部特征所属的性状的类别信息;
48、确定从第二面部信息中提取得到的多个第二面部特征所属的性状的类别信息;
49、根据性状遗传规律、多个第一面部特征所属的性状的类别信息和多个第二面部特征所属的性状的类别信息,对多个第一面部特征和多个第二面部特征进行特征合成,得到第三面部信息。
50、如此,基于性状遗传规律将具有遗传属性的面部特征进行合成,提高了3d人脸模型合成的效率。而且,合成后的3d人脸符合性状遗传规律,具有可解释性。
51、在一种可能的实现方式中,合成模块,用于:
52、基于性状遗传规律、多个第一面部特征所属的性状的类别信息和多个第二面部特征所属的性状的类别信息,对多个第一面部特征和多个第二面部特征进行线性合成;
53、将线性合成后的多个面部特征进行面部合成,得到第三面部信息。
54、如此,基于性状遗传规律将具有遗传属性的面部特征进行合成,提高了3d人脸模型合成的效率。而且,合成后的3d人脸符合性状遗传规律,具有可解释性。
55、在一种可能的实现方式中,合成模块,用于基于生成对抗网络,将线性合成后的多个面部特征进行面部合成,得到第三面部信息。
56、如此,基于生成对抗网络进行面部合成能够提高人脸合成的精准度。
57、在一种可能的实现方式中,合成模块,用于基于扩散模型,将线性合成后的多个面部特征进行面部合成,得到第三面部信息。
58、如此,基于扩散模型进行面部合成能够提高人脸合成的精准度。
59、在一种可能的实现方式中,装置还包括:
60、提取模块,用于分别从多个模型中每个模型中提取每个模型的多个面部特征;
61、分析模块,用于对同一类面部特征进行聚类分析,得到面部特征所属的性状的类别信息;
62、标记模块,用于根据每个模型中多个面部特征所属的性状的类别信息,对每个模型进行标记,以得到多个模型各自的面部信息。
63、如此,将性状的类别信息与面部特征进行关联,使得面部特征具有遗传特性,从而使得合成后的3d人脸符合性状遗传规律,具有可解释性。
64、第三方面,本技术实施例提供了一种计算设备集群,包括至少一个计算设备,每个计算设备包括处理器和存储器;
65、所述至少一个计算设备的处理器用于执行所述至少一个计算设备的存储器中存储的指令,以使得所述计算设备集群执行如第一方面或第一方面中任一种可能的实现方式中所述的方法。
66、第四方面,本技术实施例提供了一种包含指令的计算机程序产品,当所述指令被计算设备集群运行时,使得所述计算设备集群执行如第一方面或第一方面中任一种可能的实现方式中所述的方法。
67、第五方面,本技术实施例提供了一种计算机可读存储介质,包括计算机程序指令,当所述计算机程序指令由计算设备集群执行时,所述计算设备集群执行如第一方面或第一方面中任一种可能的实现方式中所述的方法。