图像处理方法及相关装置与流程

本技术涉及终端，尤其涉及一种图像处理方法及相关装置。

背景技术：

1、数字人是通过计算机技术制作的类人形象或者软件制作的结果。随着终端技术的发展，电子设备可以支持基于视频中的一帧人物图像生成数字人视频。

2、在一些示例中，电子设备可以基于视频中的一帧人物图像，生成与人物图像中的某一个人物相对应的数字人，并对该数字人进行渲染，得到数字人视频。

3、目前，通过数字人渲染得到的数字人视频中会出现图像质量较差的现象。

技术实现思路

1、本技术实施例提供一种图像处理方法及相关装置，应用于终端技术领域，有利于提高数字人视频的图像质量。

2、第一方面，本技术实施例提供一种图像处理方法。该方法包括：获取第一图像中各部位的待修复图像；其中，第一图像为第一视频中的其中一帧图像，第一视频是对第二视频中的目标对象的数字模型进行渲染得到的，目标对象包括具有多个关键点的对象，多个关键点中任两个关键点的相对位置关系是固定的，各部位中任一部位包括至少两个关键点之间的部位；针对第一图像中的第n部位的待修复图像，在第二视频中获取与第n部位的位姿相似度满足相似度要求的第n部位图像，第n部位为各部位的任一部位；基于第n部位的待修复图像中关键点的位置，对第n部位图像中关键点的位置进行对齐，得到第n部位的对齐图像；融合第n部位的对齐图像和第n部位的待修复图像，得到第n部位的修复图像。

3、第一视频也可以称为初始数字人视频或者初始数字视频，本技术实施例对此不作限定。第一图像可以为第一视频中任一帧图像，这样，电子设备可以第一视频中任一帧图像进行修复，有利于提高图像质量。第一图像可以为第一视频中满足预设条件的一帧图像。预设条件可以是修复迫切度高于预设值。这样，电子设备可以对第一视频中的部分图像进行修复，有利于在提高图像质量的同时，节省功耗。

4、第一图像中各部位的待修复图像也可以称为第一图像中各部位的低分辨率图像。

5、目标对象可以为人、狗、或者猫等关节分明的对象。目标对象的数字模型可以为3d数字模型。

6、各部位可以包括：头部、颈部、躯干、左上臂、右上臂、左前臂、右前臂、左手、右手、左大腿、右大腿、左小腿、右小腿、左脚以及右脚等。

7、第n部位图像与第n部位的待修复图像的相似度满足相似度要求，可以理解为在第二视频中，第n部位图像与第n部位的待修复图像的相似度大于其他图像与第n部位的待修复图像的相似度。

8、基于第n部位的待修复图像中关键点的位置，对第n部位图像中关键点的位置进行对齐，可以理解为使对其后的第n部位图像中关键点的位置与第n部位的待修复图像中关键点的位置相同。

9、在本技术实施例中，第一图像可以参考图4中的初始数字人视频中的任一帧人体图像。第n部位的待修复图像可以参考图4中的头部图像、躯干图像、左前臂图像或者左腿图像等。若第n部位的待修复图像为头部图像，则第n部位图像可以参考图4中的参考帧1、参考帧2、参考帧3以及参考帧4，第n部位的修复图像可以参考图4中的hr头部图像。

10、这样，针对不同的部位进行修复，相比针对整个人体进行修复，有利于从第二视频中找到与其位姿相近的图像，将不同的图像对齐后进行融合，有利于提高融合后图像的图像质量。

11、在一种可能的实现方式中，基于第n部位的待修复图像中关键点的位置，对第n部位图像中关键点的位置进行对齐，得到第n部位的对齐图像，包括：对第n部位的待修复图像中关键点的位置与第n部位图像中关键点的位置进行匹配，得到仿射变换参数；根据仿射变换参数对第n部位图像进行仿射变换，得到第n部位的对齐图像。

12、仿射变换参数可以为矩阵或者向量，本技术实施例对此不作限定。

13、电子设备可以通过仿射变换，将第n部位图像中关键点的位置与第n部位的待修复图像中关键点的位置对齐，得到第n部位的对齐图像。

14、这样，将第n部位图像中关键点的位置与第n部位的待修复图像中关键点的位置对齐，有利于后续融合的准确度。

15、在一种可能的实现方式中，融合第n部位的对齐图像和第n部位的待修复图像，得到第n部位的修复图像，包括：获取第一特征，第一特征用于表征第n部位的对齐图像；获取第二特征，第二特征用于表征第n部位的待修复图像；将第一特征与第二特征进行至少一种尺度的拼接，得到第三特征，至少一种尺度包括像素级尺度和/或图像块尺度；解码第三特征，得到第n部位的修复图像。

16、在本技术实施例中，第一特征可以参考编码器1的输出，第二特征可以参考编码器2的输出，像素级尺度的拼接可以参考图5中的像素级聚合，图像块尺度的拼接可以参考图5中的图像块级别的聚合。

17、像素级尺度用于表示细粒度，图像块尺度用于表示粗粒度，这样，通过至少一种尺度的拼接，有利于在第二特征中融合第一特征，有利于使得解码融合后的特征所得的图像的质量较高。

18、在一种可能的实现方式中，将第一特征与第二特征进行至少一种尺度的拼接，得到第三特征，包括：将第一特征与第二特征进行m次至少一种尺度的拼接，得到第三特征，m为大于2的正整数。

19、在本技术实施例中，将第一特征与第二特征进行m次至少一种尺度的拼接，可以参考图5中的循环聚合。

20、这样，多次拼接，有利于使得第一特征更好地融合第二特征，更有利于使得解码融合后的特征所得的图像的质量较高。

21、在一种可能的实现方式中，获取第一图像中各部位的待修复图像，包括：对第一图像进行语义识别，得到第一图像中各像素的语义，各像素的语义中每个像素的语义为各部位中的其中一个；根据第一图像中各像素的语义，对第一图像进行分割，得到各部位的待修复图像。

22、在本技术实施例中，该步骤可以参考图4中初始数字人视频中的任一帧人体图像分割为各个部位的图像。

23、这样，有利于得到各部位的待修复图像，以便于后续基于各个部位进行修复。

24、在一种可能的实现方式中，获取第一图像中各部位的待修复图像，包括：播放第二视频；响应于对第二视频的第一操作，显示第二图像，第二图像为第二视频中的其中一帧图像，第二图像包括目标对象；响应于对第二图像的第二操作，得到第一视频；从第一视频中获取第一图像中各部位的待修复图像。

25、第一操作可以为暂停播放的操作，电子设备响应于对第二视频暂停播放的操作，可以显示第二视频中的一帧图像，该帧图像中包括目标对象。第二操作可以为基于目标对象生成数字人视频的操作，电子设备可以基于该帧图像生成第一视频，并对第一视频中的第一图像进行修复，故从第一视频中获取第一图像中各部位的待修复图像。

26、在本技术实施例中，第二图像可以参考图8中所示界面包括的图像。

27、这样，用户可以自主选择生成数字人视频的图像，灵活性更强。

28、在一种可能的实现方式中，获取第一图像中各部位的待修复图像，包括：播放第二视频；响应于对第二视频的第三操作，显示多帧图像，多帧图像为第二视频中的图像，多帧图像均包括目标对象，多帧图像中目标对象的位姿不同；响应于对多帧图像中第三图像的第四操作，得到第一视频；从第一视频中获取第一图像中各部位的待修复图像。

29、第三操作可以为生成数字人视频的操作，电子设备响应于对第二视频生成数字人视频的操作，可以第二视频中的多帧图像。这些图像均可以生成数字人视频。电子设备支持用户选择任一个图像生成数字人视频。

30、第四操作可以为选中操作，响应于对多帧图像中第三图像的选中操作，基于第三图像生成第一视频，并对第一视频中的第一图像进行修复，故从第一视频中获取第一图像中各部位的待修复图像。

31、在本技术实施例中，显示多帧图像的界面可以参考图9中所示界面。

32、这样，电子设备提供用户可用于生成数字人视频的图像，有利于降低用户选择的图像不能生成数字人视频的概率。

33、在一种可能的实现方式中，获取第一图像中各部位的待修复图像，包括：播放第一视频；响应于对第一视频的第五操作，获取第一图像中各部位的待修复图像。

34、第五操作可以是修复图像的操作，电子设备响应于对第一视频修复图像的操作，可以从第一视频中获取第一图像中各部位的待修复图像以便于进行修复。

35、在本技术实施例中，播放第一视频的界面可以参考图10所示的界面。

36、这样，电子设备是否修复第一视频由用户选择，有利于满足用户在不同场景下的需求，提高用户体验。

37、第二方面，本技术实施例提供一种图像处理装置，该图像处理装置可以是电子设备，也可以是电子设备内的芯片或者芯片系统。该图像处理装置可以包括获取单元和处理单元。当该图像处理装置是电子设备时，该处理单元可以是处理器。该图像处理装置还可以包括存储单元，该存储单元可以是存储器。该存储单元用于存储指令，该处理单元执行该存储单元所存储的指令，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种图像处理方法。当该图像处理装置是电子设备内的芯片或者芯片系统时，该处理单元可以是处理器。该处理单元执行存储单元所存储的指令，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种图像处理方法。该存储单元可以是该芯片内的存储单元（例如，寄存器、缓存等），也可以是该电子设备内的位于该芯片外部的存储单元（例如，只读存储器、随机存取存储器等）。

38、示例性的，获取单元，用于获取第一图像中各部位的待修复图像；其中，第一图像为第一视频中的其中一帧图像，第一视频是对第二视频中的目标对象的数字模型进行渲染得到的，目标对象包括具有多个关键点的对象，多个关键点中任两个关键点的相对位置关系是固定的，各部位中任一部位包括至少两个关键点之间的部位。

39、处理单元，用于针对第一图像中的第n部位的待修复图像，在第二视频中获取与第n部位的位姿相似度满足相似度要求的第n部位图像，第n部位为各部位的任一部位；基于第n部位的待修复图像中关键点的位置，对第n部位图像中关键点的位置进行对齐，得到第n部位的对齐图像；融合第n部位的对齐图像和第n部位的待修复图像，得到第n部位的修复图像。

40、在一种可能的实现方式中，处理单元还用于：对第n部位的待修复图像中关键点的位置与第n部位图像中关键点的位置进行匹配，得到仿射变换参数；根据仿射变换参数对第n部位图像进行仿射变换，得到第n部位的对齐图像。

41、在一种可能的实现方式中，处理单元还用于：获取第一特征，第一特征用于表征第n部位的对齐图像；获取第二特征，第二特征用于表征第n部位的待修复图像；将第一特征与第二特征进行至少一种尺度的拼接，得到第三特征，至少一种尺度包括像素级尺度和/或图像块尺度；解码第三特征，得到第n部位的修复图像。

42、在一种可能的实现方式中，处理单元还用于：将第一特征与第二特征进行m次至少一种尺度的拼接，得到第三特征，m为大于2的正整数。

43、在一种可能的实现方式中，处理单元还用于：对第一图像进行语义识别，得到第一图像中各像素的语义，各像素的语义中每个像素的语义为各部位中的其中一个；根据第一图像中各像素的语义，对第一图像进行分割，得到各部位的待修复图像。

44、在一种可能的实现方式中，图像处理装置还包括显示单元。显示单元还用于：播放第二视频；响应于对第二视频的第一操作，显示第二图像，第二图像为第二视频中的其中一帧图像，第二图像包括目标对象；处理单元还用于：响应于对第二图像的第二操作，得到第一视频；从第一视频中获取第一图像中各部位的待修复图像。

45、在一种可能的实现方式中，图像处理装置还包括显示单元。处理单元还用于：播放第二视频；显示单元用于：响应于对第二视频的第三操作，显示多帧图像，多帧图像为第二视频中的图像，多帧图像均包括目标对象，多帧图像中目标对象的位姿不同；处理单元还用于：响应于对多帧图像中第三图像的第四操作，得到第一视频；从第一视频中获取第一图像中各部位的待修复图像。

46、在一种可能的实现方式中，处理单元还用于：播放第一视频；获取单元还用于：响应于对第一视频的第五操作，获取第一图像中各部位的待修复图像。

47、第三方面，本技术实施例提供一种电子设备，包括一个或多个处理器和存储器；存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得电子设备执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

48、第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令在电子设备上运行时，使得电子设备执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

49、第五方面，本技术实施例提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在电子设备上运行时，使得电子设备执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

50、第六方面，本技术提供一种芯片或者芯片系统，该芯片或者芯片系统应用于电子设备，该芯片或者芯片系统包括至少一个或多个处理器，一个或多个处理器用于调用计算机指令以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

51、在一种可能的实现中，本技术中上述描述的芯片或者芯片系统还包括至少一个存储器，该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元，例如，寄存器、缓存等，也可以是该芯片的存储单元（例如，只读存储器、随机存取存储器等）。

52、应当理解的是，本技术的第二方面至第六方面与本技术的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。