基于双扩散模型的人脸美丽预测方法、装置、设备及介质

本技术实施例涉及图像处理领域，尤其涉及基于双扩散模型的人脸美丽预测方法、装置、设备及介质。

背景技术：

1、人脸美丽预测是根据输入的人脸图像输出预测的美丽程度分数，让计算机拥有与人类相似的人脸美丽判断或预测能力；但美学感知是掺杂有意识主观问题，对美丽的判断差异会影响预测效果；并且，输入图像的低清晰度使得图像细节和图像特征少，导致美丽预测的准确性低。

技术实现思路

1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本技术的目的在于至少一定程度上解决相关技术中存在的技术问题之一，本技术实施例提供了基于双扩散模型的人脸美丽预测方法、装置、设备及介质，通过双扩散模型增加了图像细节和图像特征，进而提升了预测准确性。

3、本技术的第一方面的实施例，一种基于双扩散模型的人脸美丽预测方法，包括：

4、获取人脸图像集；

5、对所述人脸图像集中的人脸图像进行语义分割处理，得到语义分割特征；

6、将所述人脸图像集和所述语义分割特征输入至第二扩散模型进行语义生成处理，生成第一语义特征；

7、为所述第一语义特征配置指导标签得到第二语义特征；

8、将所述第二语义特征输入至多任务预测网络，并将所述第二语义特征对所述多任务预测网络中的指导任务进行训练，得到目标预测网络；

9、从所述人脸图像集筛选出测试集，将所述人脸图像集和所述测试集输入至第一扩散模型进行高清化处理，得到高清特征，其中，所述第二扩散模型与所述第一扩散模型具有相同的网络架构；

10、将所述高清特征输入至所述目标预测网络进行人脸美丽预测，得到美丽分数预测结果。

11、根据本技术的第一方面的某些实施例，所述第一扩散模型包括第一编码器、第二编码器、第一去噪网络和第一解码器；所述将所述人脸图像集和所述测试集输入至第一扩散模型进行高清化处理，得到高清特征，包括：

12、通过所述第一编码器将所述人脸图像集从像素空间投影到潜在空间进行编码，得到第一编码数据；

13、向所述第一编码数据加入噪声来实现前向扩散，得到第一噪声数据；

14、通过所述第二编码器将所述测试集编码为中间表示，得到第二编码数据；

15、通过所述第一去噪网络基于交叉注意力机制对所述第一噪声数据和所述第二编码数据进行去噪处理，得到第一去噪数据；

16、通过所述第一解码器对所述第一去噪数据进行解码，得到高清特征。

17、根据本技术的第一方面的某些实施例，所述通过所述第一去噪网络基于交叉注意力机制对所述第一噪声数据和所述第二编码数据进行去噪处理，得到第一去噪数据，包括：

18、根据所述第一去噪网络对所述第一编码器的扁平化表示和查询的投影矩阵得到第一查询值；

19、根据所述第二编码器和键值的投影矩阵得到第一键值；

20、根据所述第二编码器和价值的投影矩阵得到第一价值；

21、根据所述第一查询值、所述第一键值和所述第一价值得到第一注意力值；

22、根据所述第一注意力值对所述第一噪声数据和所述第二编码数据进行去噪处理，得到第一去噪数据。

23、根据本技术的第一方面的某些实施例，所述人脸美丽预测方法还包括：

24、根据所述第一噪声数据、对应所述第一噪声数据的前向扩散的参数、对应所述第一噪声数据的前向扩散的时间、所述第二编码器得到第一去噪变体；

25、对所述第一去噪变体进行正则化得到第一损失函数；

26、根据所述第一损失函数调整所述第一扩散模型的参数。

27、根据本技术的第一方面的某些实施例，所述第二扩散模型包括第三编码器、第四编码器、第二去噪网络和第二解码器；将所述人脸图像集和所述语义分割特征输入至第二扩散模型进行语义生成处理，生成第一语义特征，包括：

28、通过所述第三编码器将所述人脸图像集从像素空间投影到潜在空间进行编码，得到第三编码数据；

29、向所述第三编码数据加入噪声来实现前向扩散，得到第二噪声数据；

30、通过所述第四编码器将所述语义分割特征编码为中间表示，得到第四编码数据；

31、通过所述第二去噪网络基于交叉注意力机制对所述第二噪声数据和所述第四编码数据进行去噪处理，得到第二去噪数据；

32、通过所述第二解码器对所述第二去噪数据进行解码，得到第一语义特征。

33、根据本技术的第一方面的某些实施例，所述通过所述第二去噪网络基于交叉注意力机制对所述第二噪声数据和所述第四编码数据进行去噪处理，得到第二去噪数据，包括：

34、根据所述第二去噪网络对所述第三编码器的扁平化表示和查询的投影矩阵得到第二查询值；

35、根据所述第四编码器和键值的投影矩阵得到第二键值；

36、根据所述第四编码器和价值的投影矩阵得到第二价值；

37、根据所述第二查询值、所述第二键值和所述第二价值得到第二注意力值；

38、根据所述第二注意力值对所述第二噪声数据和所述第四编码数据进行去噪处理，得到第二去噪数据。

39、根据本技术的第一方面的某些实施例，所述人脸美丽预测方法还包括：

40、根据所述第二噪声数据、对应所述第二噪声数据的前向扩散的参数、对应所述第二噪声数据的前向扩散的时间、所述第四编码器得到第二去噪变体；

41、对所述第二去噪变体进行正则化得到第二损失函数；

42、根据所述第二损失函数调整所述第二扩散模型的参数。

43、本技术的第二方面的实施例，一种基于双扩散模型的人脸美丽预测装置，包括：

44、图像预处理单元，用于获取人脸图像集；

45、语义分割单元，用于对所述人脸图像集中的人脸图像进行语义分割处理，得到语义分割特征；

46、语义生成单元，用于将所述人脸图像集和所述语义分割特征输入至第二扩散模型进行语义生成处理，生成第一语义特征，其中，所述第二扩散模型与所述第一扩散模型具有相同的网络架构；

47、标签配置单元，用于为所述第一语义特征配置指导标签得到第二语义特征；

48、训练单元，用于将所述第二语义特征输入至多任务预测网络，并将所述第二语义特征对所述多任务预测网络中的指导任务进行训练，得到目标预测网络；

49、高清化单元，用于从所述人脸图像集筛选出测试集，将所述人脸图像集和所述测试集输入至第一扩散模型进行高清化处理，得到高清特征；

50、预测单元，用于将所述高清特征输入至所述目标预测网络进行人脸美丽预测，得到美丽分数预测结果。

51、本技术的第三方面的实施例，一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于双扩散模型的人脸美丽预测方法。

52、本技术的第四方面的实施例，一种计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的基于双扩散模型的人脸美丽预测方法。

53、上述方案至少具有以下的有益效果：通过对人脸图像集进行语义分割处理；将人脸图像集和语义分割特征输入至第二扩散模型进行语义生成处理，生成第一语义特征；为第一语义特征配置指导标签得到第二语义特征；将第二语义特征输入至多任务预测网络，并将第二语义特征对指导任务进行训练，得到目标预测网络；将人脸图像集和测试集输入至第一扩散模型进行高清化处理，根据高清特征输入至目标预测网络进行人脸美丽预测，得到美丽分数预测结果；通过双扩散模型增加了图像细节和图像特征；通过指导标签和指导任务对应的个人偏好加权的方式可以消除数据隐含的主观差异，提高预测结果的准确性。