图像处理方法、装置、电子设备和介质与流程

本公开涉及人工智能，具体为增强现实、虚拟现实、计算机视觉、深度学习等领域，可应用于元宇宙、虚拟数字人等场景。本公开具体涉及一种图像处理方法、装置、电子设备、存储介质和计算机程序产品。

背景技术：

1、目前，人脸重演技术在视频制作、电子游戏和虚拟数字人等领域具有广泛的应用。人脸重演技术旨在根据源人脸图像的身份以及驱动信息提供的嘴型、表情和姿态等信息生成新的说话人图像或视频。但是，相关技术在进行人脸重演时，所生成的人脸图像的面部特征在表现力、准确度以及多样性等方面有所欠缺。

技术实现思路

1、本公开提供了一种图像处理方法、装置、电子设备、存储介质和计算机程序产品。

2、根据本公开的一方面，提供了一种图像处理方法，包括：对原始图像进行三维重建，得到与原始图像中目标对象对应的初始面部参数；根据参考面部参数来调整初始面部参数，得到初始目标面部参数；对初始目标面部参数进行渲染处理，得到渲染图像；以及将原始图像和渲染图像进行融合处理，得到目标图像。

3、根据本公开的另一方面，提供了一种图像处理装置，包括：第一重建模块，用于对原始图像进行三维重建，得到与原始图像中目标对象对应的初始面部参数；调整模块，用于根据参考面部参数来调整初始面部参数，得到初始目标面部参数；渲染模块，用于对初始目标面部参数进行渲染处理，得到渲染图像；以及融合模块，用于将原始图像和渲染图像进行融合处理，得到目标图像。

4、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。

5、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。

6、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。

7、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种图像处理方法，包括：

2.根据权利要求1所述的方法，其中，所述将所述原始图像和所述渲染图像进行融合处理，得到目标图像包括：

3.根据权利要求2所述的方法，其中，所述将所述第一面部特征隐码和所述第二面部特征隐码进行融合处理，得到融合特征隐码包括：

4.根据权利要求1至3中任一项所述的方法，其中，所述根据参考面部参数来调整所述初始面部参数，得到初始目标面部参数包括：

5.根据权利要求4所述的方法，其中，所述根据参考面部参数来调整所述初始面部参数，得到初始目标面部参数还包括：

6.根据权利要求5所述的方法，其中，所述根据参考面部参数来调整所述初始面部参数，得到初始目标面部参数还包括：

7.根据权利要求1至3中任一项所述的方法，其中，所述根据参考面部参数来调整所述初始面部参数，得到初始目标面部参数包括：

8.根据权利要求1至7中任一项所述的方法，还包括：

9.根据权利要求1至7中任一项所述的方法，还包括：

10.根据权利要求1至9中任一项所述的方法，还包括：

11.根据权利要求1至10中任一项所述的方法，其中，所述将所述原始图像和所述渲染图像进行融合处理，得到目标图像包括：

12.根据权利要求11所述的方法，其中，所述融合模型包括编码网络、隐码融合网络和解码网络；所述使用融合模型将所述原始图像和所述渲染图像进行融合处理，得到所述目标图像包括：

13.根据权利要求1至12中任一项所述的方法，其中，所述对原始图像进行三维重建，得到与所述原始图像中目标对象对应的初始面部参数包括：

14.根据权利要求13所述的方法，其中，所述参数化面部模型包括巴塞尔面部模型、萨里面部模型、大型面部模型、flame模型、或facewarehouse模型。

15.一种图像处理装置，包括：

16.根据权利要求15所述的装置，其中，所述融合模块包括：

17.根据权利要求16所述的装置，其中，所述第一融合单元包括：

18.根据权利要求15至17中任一项所述的装置，其中，所述调整模块包括：

19.根据权利要求18所述的装置，其中，所述调整模块还包括：

20.根据权利要求19所述的装置，其中，所述调整模块还包括：

21.根据权利要求15至17中任一项所述的装置，其中，所述调整模块包括：

22.根据权利要求15至21中任一项所述的装置，还包括：

23.根据权利要求15至21中任一项所述的装置，还包括：

24.根据权利要求15至23中任一项所述的装置，还包括：

25.根据权利要求15至24中任一项所述的装置，其中，所述融合模块包括：

26.根据权利要求25所述的装置，其中，所述融合模型包括编码网络、隐码融合网络和解码网络；所述第二融合单元包括：

27.根据权利要求15至26中任一项所述的装置，其中，所述第一重建模块包括：

28.根据权利要求27所述的装置，其中，所述参数化面部模型包括巴塞尔面部模型、萨里面部模型、大型面部模型、flame模型、或facewarehouse模型。

29.一种电子设备，包括：

30.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至14中任一项所述的方法。

31.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至14中任一项所述的方法。

技术总结
本公开提供了一种图像处理方法、装置、电子设备和介质，涉及人工智能领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等领域，可应用于元宇宙、虚拟数字人等场景。具体实现方案为：对原始图像进行三维重建，得到与原始图像中目标对象对应的初始面部参数；根据参考面部参数来调整初始面部参数，得到初始目标面部参数；对初始目标面部参数进行渲染处理，得到渲染图像；以及将原始图像和渲染图像进行融合处理，得到目标图像。

技术研发人员：赵亚飞,王志强,张世昌,郭紫垣,范锡睿,陈毅,杜宗财,张伟伟,孙权,刘倩
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/14