一种图像处理方法和电子设备与流程

本技术实施例涉及图像处理，尤其涉及一种图像处理方法和电子设备。

背景技术：

1、随着端侧游戏不断更新迭代，端侧设备的游戏引擎的渲染流程越发复杂多样，资源负载也随之越来越大。由于端侧设备的电池续航能力有限，为实现在游戏画质不受明显影响的情况下，减少不必要的渲染开销，预测帧技术成为较为主流的研究技术。预测帧技术指的是对历史的真实图像帧进行学习，从而生成未来的预测图像帧。

2、随着预测帧技术的持续发展，双倍预测帧技术、多倍预测帧技术陆续出现。多倍预测帧技术指的是在两个真实图像帧之间插入多个预测图像帧。生成每一个预测图像帧均需要端侧设备的图形处理器（graphics processing unit，gpu）进行大量的计算，gpu在短时间内进行多个预测图像帧的计算会导致gpu的频点和负载增加，导致端侧设备温升明显，使得用户的体验明显降低。

技术实现思路

1、本技术实施例提供一种图像处理方法和电子设备，在实现多倍内插预测帧的过程中，电子设备可以根据gpu计算得到的相邻两个非预测图像帧之间的运动矢量信息、多个预测图像帧对应的移动系数，对非预测图像帧的目标点的坐标位置进行偏移，一次性得到多个预测图像帧的目标点位图，从而获取多个预测图像帧的目标点位图对应的预测图像帧，减少了电子设备进行运动估计和运动补偿的操作次数，减少了gpu在多倍超帧处理中的计算量，在实现多倍超帧使得画面流畅性提高的同时，不会造成gpu过度的负载。

2、为达到上述目的，本技术的实施例采用如下技术方案。

3、第一方面，提供了一种图像处理方法，该方法包括：

4、电子设备获取第一图像帧和第二图像帧之间的运动矢量信息。其中，第一图像帧为未显示的非预测图像帧，第二图像帧为已显示的非预测图像帧；第二图像帧为第一图像帧在显示时序上的前一个图像帧。

5、电子设备获取目标图像帧的目标点的坐标位置；目标图像帧为第一图像帧或第二图像帧；目标点包括图像帧所包含的对象对应的几何顶点。

6、电子设备根据运动矢量、多个预测图像帧各自对应的预设移动系数，将目标图像帧的目标点的坐标位置进行相应地偏移，获取多个预测图像帧各自对应的目标点位图。其中，目标点位图用于表征所述预测图像帧中目标点的目标位置。

7、电子设备根据多个预测图像帧各自对应的目标点位图，获取多个预测图像帧。

8、电子设备分别显示多个预测图像帧。

9、电子设备显示第一图像帧。

10、其中，第一图像帧可以为当前截取到的已渲染但是未送显的非预测图像帧（真实图像帧）；第二图像帧可以为送显时序上第一图像帧的前一个已送显的非预测图像帧（真实图像帧）。

11、目标点可以为通过任意一种手段将图像帧中各个对象几何化后得到的几何顶点。

12、本实施例中，第一图像帧与第二图像帧之间的运动矢量就是对第一图像帧与第二图像帧进行运动估计得到的动态对象的位移。

13、本技术中，电子设备根据相邻两个非预测图像帧之间的运动矢量信息、多个预测图像帧对应的移动系数，对非预测图像帧的目标点的坐标位置进行偏移，一次性得到多个预测图像帧的目标点位图，从而获取多个预测图像帧的目标点位图对应的预测图像帧，减少了电子设备中gpu进行运动估计和运动补偿的操作次数，减少了电子设备在多倍超帧处理中的计算量，在实现多倍超帧使得画面流畅性提高的同时，优化了gpu执行多倍超帧技术的整体性能。

14、在第一方面的一种可能的实现方式中，电子设备获取目标图像帧的目标点的坐标位置，包括：

15、电子设备通过顶点着色器获取目标图像帧的目标点的坐标位置；目标点位顶点着色器对目标图像帧中所包含的对象进行规则图形几何化得到的规则图形的几何顶点。

16、其中，目标图像帧可以为第一图像帧或第二图像帧。比如，以第一图像帧为基准，计算第二图像帧与第一图像帧之间的运动矢量，则目标图像帧为第一图像帧；若运动矢量是以第二图像帧为基准计算得到的，比如，以第二图像帧为基准，计算第一图像帧与第二图像帧之间的运动矢量，则目标图像帧为第二图像帧。

17、其中，顶点着色器可以将目标图像帧几何图形化，比如，将目标图像帧中的所包含的对象均三角形化，得到三角形的各个顶点为目标点。其中，图像帧所包含的对象包括人物、树木、马路等画面中的各种对象。

18、本技术中，电子设备可通过顶点着色器来获取目标图像帧中目标点的坐标位置，从而基于目标图像帧中目标点的坐标位置和运动矢量，获取预测图像帧中各个目标点的目标坐标位置。由于目标图像帧中目标点的坐标位置可以有效地表示目标图像帧中的动态元素与静态元素，以目标图像帧中目标点的坐标位置计算预测图像帧中各个目标点的目标坐标位置，可以比较准确地表征预测图像帧中动态元素与静态元素的相对位置，也即，得到的预测图像帧比较准确。

19、在第一方面的另一种可能的实现方式中，电子设备根据运动矢量、多个预测图像帧对应的预设移动系数，将目标图像帧的目标点的坐标位置进行相应地偏移，获取多个预测图像帧各自对应的目标点位图，包括：

20、电子设备将运动矢量信息、多个预测图像帧各自对应的移动系数和目标图像帧的目标点的坐标位置输入至几何着色器中进行相应地偏移操作，获取多个预测图像帧各自对应的目标点的坐标位置；

21、电子设备基于多个预测图像帧的目标点的坐标位置，通过几何着色器输出多个预测图像帧各自对应的目标点位图。

22、预设的多个预测图像帧的移动系数指的是各个预测图像帧对应的运动矢量的权重系数。不同的预测图像帧的移动系数不同，多个预测图像帧的移动系数的总和为1。预测图像帧的移动系数基于预测图像帧的数量确定，移动系数为预先设定的。

23、本技术中，电子设备可通过几何点着色器来进行预测图像帧的运动补偿操作，也即，通过几何点着色器根据目标图像帧的目标点的坐标位置、运动矢量以及预设的多个预测图像帧的移动系数，一次性获取多个预测图像帧对应的目标点位图，减少了电子设备对于多个预测图像帧进行运动补偿的次数，减少了电子设备的计算量。

24、在第一方面的另一种可能的实现方式中，电子设备基于多个预测图像帧各自对应的目标点位图，获取多个预测图像帧，包括：

25、电子设备通过像素着色器，对多个预测图像帧的目标点位图进行像素填充，获取多个预测图像帧。

26、本技术中，电子设备通过像素着色器对各个预测图像帧对应的目标点位图进行像素填充，获取多个预测图像帧，可以有效一次性获取到多个经过像素填充的预测图像帧，提高运动补偿操作的效率，降低电子设备执行运动补偿的功耗。

27、在第一方面的另一种可能的实现方式中，电子设备通过像素着色器，对多个预测图像帧的目标点位图进行像素填充，获取多个预测图像帧，包括：

28、电子设备通过像素着色器，对各个预测图像帧对应的目标点位图进行像素填充，获取各个预测图像帧对应的中间结果图像；

29、电子设备对各个预测图像帧对应的中间结果图像进行图像后处理，获取多个预测图像帧；图像后处理包括图像补全和图像滤波。

30、本技术中，电子设备通过顶点着色器、几何着色器以及像素着色器得到的多个预测图像帧中可能存在位移留白部分的问题，为了使得预测图像帧更准确、观赏性更好，电子设备可进一步地对像素着色器输出的预测图像帧的中间结果图像进行图像处理。其中包括对于位移留白部分的图像补全处理，以及对于图像补全处理后补全边缘的滤波处理等等，使得得到的预测图像帧更准确。

31、在第一方面的另一种可能的实现方式中，电子设备预设有多目标渲染内存缓冲；多目标渲染内存缓冲包括多个缓冲区域，一个缓存区域用于对应存储一个预测图像帧的中间结果图像该方法还包括：

32、电子设备将各个预测图像帧对应的中间结果图像分别输出至预设的多目标渲染内存缓冲中对应的缓冲区域中。

33、电子设备对各个预测图像帧对应的中间结果图像进行图像后处理，获取多个预测图像帧；图像后处理包括图像补全和图像滤波，包括：

34、电子设备从预设的多目标渲染内存缓冲中依次获取预测图像帧对应的中间结果图像进行图像后处理，获取预测图像帧。

35、本技术中，电子设备预先创建用于接收像素着色器输出的多个预测图像帧的中间结果图像的多目标渲染内存缓冲，多目标渲染内存缓冲中的各个缓冲区域可以对应存储对多个预测图像帧的中间结果图像，实现了对多个预测图像帧的中间结果图像的批量管理，以便之后进行每一个预测图像帧的中间结果图像的图像补全以及滤波处理操作。

36、在第一方面的另一种可能的实现方式中，该方法还包括：

37、电子设备将各个预测图像帧对应的中间结果图像输出至预设的缓存队列中。

38、电子设备对各个预测图像帧对应的中间结果图像进行图像后处理，获取多个预测图像帧；图像后处理包括图像补全和图像滤波，包括：

39、电子设备从预设的缓存队列中依次获取预测图像帧对应的中间结果图像进行图像后处理，获取预测图像帧。

40、本技术中，电子设备预先创建用于接收像素着色器输出的多个预测图像帧的中间结果图像的缓存队列中，电子设备可以按照先进先出等设定的读取规则，依次对每一个预测图像帧的中间结果图像的图像补全以及滤波处理操作。

41、在第一方面的另一种可能的实现方式中，电子设备获取第一图像帧和第二图像帧之间的运动矢量，包括：

42、电子设备对第一图像帧和第二图像帧进行运动估计，获取第一图像帧和第二图像帧之间的运动矢量。

43、本技术中，电子设备可采用光流法、光结构法等对第一图像帧与第二图像帧进行运动估计来获取第一图像帧与第二图像帧之间的运动矢量。在本技术中，电子设备计算运动矢量的次数为一次，电子设备在后续的操作中可复用当前计算得到的运动矢量，避免了多次获取第一图像帧、第二图像帧的操作，也避免了多次计算运动矢量的操作，减少了电子设备的计算量，降低了电子设备的功耗。

44、在第一方面的另一种可能的实现方式中，电子设备基于多个预测图像帧的送显顺序，依次显示多个预测图像帧，包括：

45、电子设备基于多个预测图像帧的送显顺序和送显频率，依次显示多个预测图像帧。

46、本技术中，多个预测图像帧对应不同的移动系数，多个预测图像帧对应不同的送显顺序。电子设备根据各个预测图像帧的送显顺序以及送显频率进行预测图像帧的显示，可提高图像帧的显示流畅性，优化用户观看体验。

47、在第一方面的另一种可能的实现方式中，该方法还包括：

48、电子设备根据多个预测图像帧的数量和电子设备的默认刷新频率，获取送显频率。

49、本技术中，电子设备可以根据预测图像帧的数量以及电子设备的默认刷新频率，计算预测图像帧的送显频率。比如，默认刷新频率为40fps，每间隔25ms进行一个图像帧（包含真实图像帧）的送显。预测图像帧的数量为2，也即，在每两个真实图像帧之间插入两个预测图像帧，那么，预测图像帧的送显频率变为120fps，每间隔8.3ms进行一个图像帧（包含真实图像帧、预测图像帧）的送显。以更新后的送显频率进行预测图像帧的送显，可间接提高图像帧的刷新频率，提高图像帧的显示流畅性，优化用户观看体验。

50、在第一方面的另一种可能的实现方式中，第一图像帧与第二图像帧之间的变化差异处于预设的差异范围内。

51、本技术中，在第一图像帧与第二图像帧之间的变化差异处于预设的差异范围内时执行本技术所提供的图像处理方法。若第一图像帧与第二图像帧的变化差异过大，为了避免预测失败或者出现预测图像帧中图像元素混乱的问题，可不进行多倍超帧处理；或者，若第一图像帧与第二图像帧的变化差异过小，可直接复用第一图像帧或第二图像帧，不需要额外进行多倍超帧的计算处理，降低电子设备的功耗。

52、第二方面，提供了一种电子设备，该电子设备包括存储器、显示屏和一个或多个处理器；所述存储器、所述显示屏与所述处理器耦合；所述存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述处理器执行时，使得所述电子设备执行如上述第一方面中任一项所述的方法。

53、第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在电子设备上运行时，使得电子设备可以执行上述第一方面中任一项所述的方法。

54、第四方面，提供了一种包含指令的计算机程序产品，当其在电子设备上运行时，使得电子设备可以执行上述第一方面中任一项所述的方法。

55、第五方面，本技术实施例提供了一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如第一方面的方法。

56、可以理解地，上述提供的第二方面所述的电子设备，第三方面所述的计算机可读存储介质，第四方面所述的计算机程序产品，第五方面所述的芯片所能达到的有益效果，可参考第一方面及其任一种可能的设计方式中的有益效果，此处不再赘述。