一种图像处理方法、装置、设备及存储介质与流程

本技术实施例涉及计算机，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术：

1、近年来，3d人脸重建已广泛用于各种视觉商业项目，例如视频游戏、电影效果、增强现实和虚拟现实等。随着元宇宙应用的发展，基于3d人脸重建的虚拟分身构建技术的需求越来越强烈，不但需要3d虚拟分身的形貌与真人相似，还需要解决构建速度、样貌美化等各种问题。

2、相关技术下，传统人脸重建工作通常分解成两个子任务：预测人脸的三维点和预测人脸的六个自由度，其中人脸的三维点是三维重建时用来构造人脸五官的细节信息的，人脸的六个自由度用来构造人脸的朝向角度和相机距离等细节信息，两个子任务需要分别进行，鲁棒性差，重建的三维人脸图像的真实性较低。

3、因此，如何确保重建的三维人脸图像与用户形象具有较高的相似性，从而满足用户在虚拟世界使用数字分身对美好形象的追求以及提高鲁棒性是相关技术下亟需解决的问题。

技术实现思路

1、本技术实施例提供了一种图像处理方法、装置、设备及存储介质，保证了重建的三维人脸图像与用户形象具有较高的相似性，提高了鲁棒性。

2、第一方面，本技术实施例提供了一种图像处理方法，包括：

3、获取原始人脸图像，并提取所述原始人脸图像的描述性提示词；

4、将所述描述性提示词与用户自定义提示词进行整合，获得图像生成提示词；

5、通过人像生成模型，基于所述图像生成提示词生成辅助人脸图像；

6、基于所述原始人脸图像和所述辅助人脸图像，构建三维人脸图像。

7、本技术实施例通过将基于原始人脸图像提取的描述性提示词与用户自定义提示词进行整合，获得图像生成提示词，然后先基于图像生成提示词通过人像生成模型生成辅助人像，再基于原始人脸图像和辅助人脸图像构建三维人脸图像，既保证了重建的三维人脸图像与用户形象具有较高的相似性，也满足了用户在虚拟世界使用数字分身对美好形象的追求，提高了鲁棒性。

8、一种可选实施方式中，所述通过人像生成模型，基于所述图像生成提示词生成辅助人脸图像之前，

9、以所述原始人脸图像为输入，以所述原始人脸图像的描述性提示词为真实标签，对已训练的第一文图生成模型进行微调，获得第二文图生成模型；

10、将所述第二文图生成模型和已训练的第三文图生成模型融合，获得所述人像生成模型。

11、上述方式下，第一文图生成模型用于适配用户的人脸形象，第三文图生成模型用于拓展三维人脸图像生成过程的多样性和确保生成结果的美感，将微调后的已训练的第一文图生成模型和已训练的第三文图生成模型融合，获得人像生成模型，既保证了重建的三维人脸图像的真实性，又满足了用户的多元化需求。

12、一种可选实施方式中，所述第一文图生成模型是采用样本人脸图像和相应的描述性提示词训练获得的；

13、所述第三文图生成模型是采用样本人脸图像和相应的用户自定义提示词训练获得的。

14、一种可选实施方式中，将所述第二文图生成模型的外接层参数，与所述第三文图生成模型的外接层参数进行线性融合，获得所述人像生成模型。

15、一种可选实施方式中，所述获取原始人脸图像，并提取所述原始人脸图像的描述性提示词之前，

16、采集用户图像；

17、在所述用户图像中定位出人脸位置，并基于所述人脸位置从所述用户图像中分割出所述原始人脸图像。

18、一种可选实施方式中，对所述原始人脸图像进行美化处理，并通过人脸提示词生成模型，基于美化处理后的人脸图像，生成所述原始人脸图像的描述性提示词。

19、一种可选实施方式中，对所述描述性提示词进行过滤，获得关键性提示词；

20、将所述关键性提示词与用户自定义提示词进行融合，获得所述图像生成提示词。

21、一种可选实施方式中，将所述原始人脸图像和所述辅助人脸图像进行融合，得到二维人脸图像；

22、通过维度转换模型将所述二维人脸图像转化为三维人脸图像。

23、第二方面，本技术实施例提供了一种图像处理装置，包括：

24、图像获取模块，用于获取原始人脸图像，并提取所述原始人脸图像的描述性提示词；

25、提示词优化模块，用于将所述描述性提示词与用户自定义提示词进行整合，获得图像生成提示词；

26、图像处理模块，用于通过人像生成模型，基于所述图像生成提示词生成辅助人脸图像；

27、图像构建模块，用于基于所述原始人脸图像和所述辅助人脸图像，构建三维人脸图像。

28、一种可选实施方式中，还包括人像预处理模块；

29、所述人像预处理模块具体用于：采集用户图像；

30、在所述用户图像中定位出人脸位置，并基于所述人脸位置从所述用户图像中分割出所述原始人脸图像。

31、一种可选实施方式中，还包括提示词生成模块；

32、所述提示词生成模块具体用于：对所述原始人脸图像进行美化处理，并通过人脸提示词生成模型，基于美化处理后的人脸图像，生成所述原始人脸图像的描述性提示词。

33、一种可选实施方式中，所述提示词优化模块还用于：

34、对所述描述性提示词进行过滤，获得关键性提示词；

35、将所述关键性提示词与用户自定义提示词进行融合，获得所述图像生成提示词。

36、一种可选实施方式中，还包括模型生成模块：

37、所述模型生成模块具体用于：

38、以所述原始人脸图像为输入，以所述原始人脸图像的描述性提示词为真实标签，对已训练的第一文图生成模型进行微调，获得第二文图生成模型；

39、将所述第二文图生成模型和已训练的第三文图生成模型融合，获得所述人像生成模型。

40、一种可选实施方式中，所述模型生成模块还用于：

41、采用样本人脸图像和相应的描述性提示词训练获得所述第一文图生成模型；

42、采用样本人脸图像和相应的用户自定义提示词训练获得所述第三文图生成模型。

43、一种可选实施方式中，所述模型生成模块还用于：

44、将所述第二文图生成模型的外接层参数，与所述第三文图生成模型的外接层参数进行线性融合，获得所述人像生成模型。

45、一种可选实施方式中，所述图像构建模块还用于：

46、将所述原始人脸图像和所述辅助人脸图像进行融合，得到二维人脸图像；

47、通过维度转换模型将所述二维人脸图像转化为三维人脸图像。

48、第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像处理方法的步骤。

49、第四方面，本技术实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行上述图像处理方法的步骤。