图像处理方法和电子设备与流程

本技术涉及图像处理，具体涉及一种图像处理方法和电子设备。

背景技术：

1、当前无线电子设备的功能越来越丰富，例如对于手机、平板电脑等可移动的电子设备来说，除了可以满足用户日常通信、办公等需求之外，还可以运行实时性较强的网络游戏，提高用户的使用体验。

2、然而，对于实时性较强的网络游戏来说，其对游戏画面的画质、细节、物体和人物的边缘等关键信息要求较高，如果游戏画面质量较差则可能会严重影响用户的游戏体验。因此，需要研究如何提高可移动的电子设备在游戏场景下的画面质量。

技术实现思路

1、本技术提供了一种图像处理方法和电子设备，能够较大程度的提高电子设备在游戏场景下的画面质量。

2、第一方面，本技术提供一种图像处理方法，该方法由电子设备执行，包括：获取电子设备待显示的当前帧图像、第一分辨率的历史帧图像、第一向量以及当前帧图像对应的图像深度信息，其中，历史帧图像的分辨率大于当前帧图像的分辨率，第一向量表征同一像素点在当前帧图像中的位置与在历史帧图像中的位置之间的位移；将当前帧图像、历史帧图像、第一向量和图像深度信息输入神经网络模型进行图像超分辨率处理，得到第一分辨率的当前帧图像，以及显示第一分辨率的当前帧图像。

3、其中，待显示的当前帧图像可以为电子设备上正在运行的游戏应用的待显示画面，例如电子设备上正在运行应用时，待显示的当前帧图像即为该应用的显示画面。示例性地，该待显示的当前图像可以为电子设备上正在运行的游戏应用的待显示画面。历史帧图像可以为在当前帧图像之前所显示过的图像，在本技术中，可以仅使用当前帧图像的前一帧图像作为历史帧图像，以减少神经网络模型的输入数据量。第一向量即运动向量，也即当前帧图像与历史帧图像之间的运动向量，用于表征同一像素点在当前帧图像中的位置与在历史帧图像中的位置之间的位移。图像深度信息表征当前帧图像中像素点的深度信息。可选地，在本技术中，电子设备可以直接从游戏应用的渲染引擎中获取上述运动向量和图像深度信息。

4、电子设备在获取到当前帧图像、历史帧图像、第一向量以及图像深度信息之后，可以将这些信息输入训练好的神经网络模型中进行图像超分辨率处理，以得到高分辨率的当前帧图像。这里，本技术所使用的神经网络模型可以实现从低分辨率图像到高分辨率图像的转换过程，并且该神经网络模型在训练时注重对图像中所包含的对象的细节进行处理，例如可以对图像中包含的物体或人物的特征进行细化，使得到的图像画面质量更优。另外，该神经网络模型可以接收多帧信息的输入，即电子设备可以将上述多帧信息输入该神经网络模型，由神经网络模型进行图像超分辨率处理，可以得到高分辨率的当前帧图像。

5、上述实现方式中，电子设备可以基于高分辨率的历史帧图像、当前帧图像、历史帧图像与当前帧图像之间的运动向量、以及图像深度信息等多帧信息，对当前帧图像进行图像超分辨率处理，得到高分辨率的当前帧图像。经过该过程的处理，游戏应用的显示图像在提高分辨率的同时，还考虑到当前帧图像与历史帧图像之间存在的连续性，可以减少游戏画面闪烁、虚影等问题，使得游戏场景下的画面质量更优。

6、结合第一方面，在第一方面的有些实现方式中，上述将当前帧图像、历史帧图像、第一向量和图像深度信息输入神经网络模型进行图像超分辨率处理，得到第一分辨率的当前帧图像，包括：根据当前帧图像、历史帧图像和第一向量，得到拼接图像；将拼接图像和图像深度信息输入神经网络模型进行图像超分辨率处理，得到第一分辨率的当前帧图像。

7、其中，电子设备在使用神经网络模型进行处理时，可以先对当前帧图像和历史帧图像进行对齐拼接，再使用拼接图像和图像深度信息进行图像超分辨率处理，以得到第一分辨率的当前帧图像。

8、在一个实现方式中，上述根据当前帧图像、历史帧图像和第一向量，得到拼接图像，包括：基于历史帧图像和第一向量，确定针对当前帧图像的预测图像；对预测图像和当前帧图像进行对齐拼接，得到拼接图像。

9、其中，因第一向量表征同一像素点在当前帧图像中的位置与在历史帧图像中的位置之间的位移，因此，电子设备可以根据历史帧图像和运动向量预测出一个当前帧图像，这里称为预测图像。然后，电子设备可以对该预测图像和当前帧图像进行对齐拼接，以得到拼接图像。例如，电子设备可以在通道(channel)维度上对预测图像和当前帧图像进行对齐拼接。

10、在另一个实现方式中，因高分辨率的历史帧图像的分辨率大于当前帧图像的分辨率，那么根据历史帧图像和运动向量所预测的预测图像的分辨率也可能大于当前帧图像的分辨率。因此，在对预测图像和当前帧图像进行对齐拼接之前，上述方法还包括：对当前帧图像进行插值放大操作，得到放大后的当前帧图像，放大后的当前帧图像的尺寸与预测图像的尺寸相同。

11、相应的，对预测图像和当前帧图像进行对齐拼接，得到拼接图像，包括：对预测图像和放大后的当前帧图像进行对齐拼接，得到拼接图像。

12、也即是说，电子设备可以先将当前帧图像的尺寸放大至于预测图像的尺寸相同，然后在对两者进行对齐拼接，以保证要对齐的两个图像尺寸相同，提高图像对齐的准确率。

13、考虑到实际应用时，图像中的像素点可能存在被遮挡的情况，或者由于光照等因素使同一像素点的像素值不一致的情况，亦或者图像渲染过程中出现像素渲染丢失的情况等等，这些异常情况可能会导致上述得到的预测图像或插值放大后的当前帧图像中的像素值误差过大，因此，在本技术中，电子设备可以对预测图像和插值放大后的当前帧图像进行误差统计，并对误差过大的像素值进行修正，修正之后再进行拼接。

14、结合第一方面，在第一方面的有些实现方式中，在得到放大后的当前帧图像之后，上述方法还包括：计算预测图像与放大后的当前帧图像中各像素点之间的像素值误差；若第一像素点对应的像素值误差大于误差阈值，则对第一像素点在预测图像中的像素值和/或第一像素点在放大后的当前帧图像中的像素值进行修正，第一像素点为预测图像与放大后的当前帧图像中的任一像素点。

15、可选地，电子设备可以采用滤波误差的方法计算预测图像与放大后的当前帧中像素点的像素值误差，以及可以基于clamp操作根据周围像素点的像素值来确定第一像素点的修正值，以对第一像素点的像素值进行修正。由此可以提高所得到的拼接图像的精度，进而提高后续得到的高分辨率的当前帧图像的精度。

16、结合第一方面，在第一方面的有些实现方式中，上述将拼接图像和图像深度信息输入神经网络模型进行图像超分辨率处理，得到第一分辨率的当前帧图像，包括：基于图像深度信息对拼接图像进行权重分配；将权重分配后的拼接图像输入神经网络模型进行图像超分辨率处理，得到第一分辨率的当前帧图像。

17、其中，对于一帧图像，在图像中所包含对象(例如人物、物体等)的边缘或者对象交叠等位置的像素变化通常比较明显，则对应位置像素的深度值变化也较大，那么后续神经网络模型在进行图像超分辨率处理时需要重点关注此部分图像，以优化该部分可能出现的画质问题。因此，电子设备可以基于图像深度信息对拼接图像进行权重分配，对拼接图像中对应深度值变化较大的像素点分配较大的权重，对拼接图像中对应深度值变化较小的像素点分配较小的权重。可选地，电子设备可以采用注意力机制基于图像深度信息对拼接图像进行权重分配。由此，电子设备可以优化图像中包含的物体或人物的边缘特征，进一步提高游戏应用的画面质量。

18、结合第一方面，在第一方面的有些实现方式中，在得到拼接图像之后，上述方法还包括：对拼接图像进行图像重排列，得到按图像深度排列的多个小图像；

19、相应的，上述基于图像深度信息对拼接图像进行权重分配，包括：基于图像深度信息，对多个小图像进行权重分配。

20、在实际场景中，由于电子设备的内存限制，如果直接对拼接图像进行存储及后续操作，可能会发生内存不足的情况，因此，为合理的进行内存分派，电子设备在得到拼接图像之后，还可以对拼接图像进行图像重排列(space to depth)，得到按图像深度排列的多个小图像，再对图像重排列后的多个小图像进行权重分配，之后电子设备可以将权重分配后的多个小图像输入神经网络模型进行图像超分辨率处理，得到多个小图像分别对应的输出结果，例如输出结果为多个向量矩阵；如果要得到与拼接图像对应的结果，则需要对多个小图像分别对应的输出结果进行上述图像重排列的逆操作(depth to space)，即得到高分辨率的当前帧图像。由此，电子设备可以进行合理的内存分派，减少内存问题发生。

21、结合第一方面，在第一方面的有些实现方式中，在将当前帧图像、历史帧图像、第一向量和图像深度信息输入神经网络模型进行图像超分辨率处理之前，上述方法还包括：获取训练图像集，训练图像集包括输入图像信息和监督图像，输入图像信息包括第二分辨率的第一图像、第一分辨率的第二图像、第二向量以及第一图像对应的图像深度信息，第二向量表征同一像素点在第一图像中的位置与在第二图像中的位置之间的位移，监督图像包括第一分辨率的第一图像，第一分辨率大于第二分辨率；将输入图像信息输入待训练的神经网络模型，得到输出图像；计算输出图像与监督图像之间的损失，根据损失调整待训练的神经网络模型的网络参数，以训练得到神经网络模型。

22、由上述描述可知，电子设备所使用的神经网络模型为已经训练完成的网络模型，那么在使用该神经网络模型之前就需要对其进行训练，以提高处理结果的精度。

23、在该实现方式中，电子设备可以获取大量的训练图像集，其中的输入图像信息用于输入神经网络模型进行处理，监督图像用于监督神经网络模型的输出结果与该监督图像之间的差异，从而监督神经网络模型的学习训练过程。在一个实现方式中，输入图像信息可以包括低分辨率的第一图像和高分辨率的第二图像，还包括两者之间的运动向量以及图像深度信息，监督图像可以包括高分辨率的第一图像，以高分辨率图像为监督信号，计算神经网络模型的输出图像与高分辨率图像之间的差异，以进行神经网络模型的训练。

24、在模型训练的过程中，通常是计算神经网络模型的输出图像与监督图像之间的损失，根据该损失不断调整神经网络模型的网络参数，损失函数通常也有多种多样。在本技术中，结合第一方面，在第一方面的有些实现方式中，上述损失包括第一损失、第二损失、第三损失和第四损失中的至少一个损失。

25、第一损失表征输出图像对应的多个向量矩阵与监督图像对应的多个向量矩阵之间的误差，第二损失表征输出图像的特征与监督图像的特征之间的误差，第三损失表征输出图像中所包含的对象的边缘特征与监督图像中所包含的对象的边缘特征之间的误差，第四损失表征输出图像中像素点的像素值与监督图像中像素点的像素值之间的误差。

26、其中，电子设备可以采用一种或多种损失函数计算输出图像与监督图像之间的损失，以对人物等对象的边缘、细节、以及多层维度进行监督，保证在人物边缘、远景等游戏场景下游戏画面都能够得到画质提升。

27、第一损失可以为输出结果的回归损失函数值，可选地，电子设备可以根据regression loss＝tf.generator.losses()计算该回归损失函数值。第二损失可以为输出特征损失函数值，可选地，电子设备可以分别将输出图像与监督图像输入特征提取网络中进行特征提取，并根据提取的特征进行该损失的计算。第三损失可以为边缘损失函数值，可选地，可以为基于sobel算子的边缘损失函数值。第四损失可以为像素级别损失函数值，即对于输出图像和监督图像来说，图像中对应位置像素点的像素值误差。

28、该实现方式中，电子设备通过采用一种或多种损失函数计算输出图像与监督图像之间的损失，以对人物等的边缘、细节、以及多层维度进行监督，提高了神经网络模型的处理精度，使得后续进行图像超分辨率处理时可以得到画质较高的图像。

29、结合第一方面，在第一方面的有些实现方式中，在获取训练图像集之后，上述方法还包括：对监督图像进行图像超分辨率处理，得到提高分辨率后的监督图像；对第二分辨率的第一图像进行降低分辨率处理，得到降低分辨率后的第一图像。

30、为了提高神经网络模型针对更多画质问题的处理能力以及提高神经网络模型的输出结果的精度，电子设备可以对训练图像集进行数据增强预处理，例如降低输入图像(低分辨率图像)的清晰度，使其存在更多画质问题，以及提高监督图像(高分辨率图像)的清晰度，保证神经网络模型最终能输出更加精确的结果。

31、因此，电子设备可以对监督图像进行图像超分辨率处理，以提高监督图像的分辨率，所得到的监督图像中人物、物体等边缘更加平滑清晰。还可以对输入图像进行降低分辨率处理，例如下采样处理，以得到分辨率更低的输入图像。

32、结合第一方面，在第一方面的有些实现方式中，在将当前帧图像、历史帧图像、第一向量和图像深度信息输入神经网络模型进行图像超分辨率处理之前，上述方法还包括：对当前帧图像进行文字识别；若识别到当前帧图像包含文字，则对当前帧图像进行文字分离，得到分离的文字和仅包含图像的当前帧图像。

33、因在一些场景(如游戏场景)中，当前帧图像中可能会包含文字，如果将带有文字的当前帧图像进行超分辨率处理，可能会导致文字失真等现象，因此，本技术在对当前帧图像进行处理之前，还可以先将文字进行分离。可选地，电子设备可以采用文字识别算法对当前帧图像进行识别，以确定当前帧图像中是否包含文字；在电子设备识别到当前帧图像中包含文字时，可以对文字进行分离，例如采用分割算法将文字分割出来，得到分离出来的文字和仅包含图像的待显示图像。可以理解，历史帧图像中也可能会包含文字，因此在执行该步骤时，电子设备也可以同时对历史帧图像进行文字识别，以将其中的文字进行分离。

34、相应的，在对文字进行分离的情况下，上述在将当前帧图像、历史帧图像、第一向量和图像深度信息输入神经网络模型进行图像超分辨率处理，得到第一分辨率的当前帧图像之后，上述方法还包括：将第一分辨率的当前帧图像和分离的文字进行拼接，得到包含文字的当前帧图像。

35、该实现方式中，因当前帧图像中的文字没有参与图像处理过程，所以显示的文字仍是原始的文字，没有影响文字的显示效果，进一步提高了最终显示图像的画面质量。

36、结合第一方面，在第一方面的有些实现方式中，上述电子设备包括嵌入式神经网络处理器(neural-network processing unit，npu)，上述将当前帧图像、历史帧图像、第一向量和图像深度信息输入神经网络模型进行图像超分辨率处理，包括：通过npu将当前帧图像、历史帧图像、第一向量和图像深度信息输入神经网络模型进行图像超分辨率处理。

37、其中，因传统的图像渲染过程都是在图形处理器(graphics processing unit，gpu)上执行，这无疑增加了gpu的负载，对于此，本技术将神经网络模型所执行的图像超分辨率处理过程转移到npu上来处理，由此还可以减少gpu的负载，即减少电子设备的处理功耗。

38、除此之外，电子设备还搭建有gtx(gpu turbo x)框架和qnn(qualcommneural network)框架，在qnn框架中搭建一个ap库(libsr.so)和一个cp库(libsr_skel.so)，对图像进行图像超分辨率处理的神经网络模型的相关算法可以被集成在ap库和cp库，cp库的运算可以转移到npu上处理，以供gtx框架调用。

39、第二方面，本技术提供一种装置，该装置包含在电子设备中，该装置具有实现上述第一方面及上述第一方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，接收模块或单元、处理模块或单元等。

40、第三方面，本技术提供一种电子设备，电子设备包括：处理器、存储器和接口；处理器、存储器和接口相互配合，使得电子设备执行第一方面的技术方案中任意一种方法。

41、第四方面，本技术提供一种芯片，包括处理器。处理器用于读取并执行存储器中存储的计算机程序，以调用指令使得电子设备执行第一方面及其任意可能的实现方式中的方法。

42、可选地，芯片还包括存储器，存储器与处理器通过电路或电线连接。

43、进一步可选地，芯片还包括通信接口。

44、第五方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储了计算机程序，当计算机程序被处理器执行时，处理器调用指令，使得电子设备执行第一方面的技术方案中任意一种方法。

45、第六方面，本技术提供一种计算机程序产品，计算机程序产品包括：计算机程序代码，当计算机程序代码在电子设备上运行时，使得该电子设备执行第一方面的技术方案中任意一种方法。