一种图像处理方法及电子设备与流程

本技术涉及图像处理，尤其涉及一种图像处理方法及电子设备。

背景技术：

1、图像插帧技术通过在两帧画面之间插入过渡帧，即可把画面帧数从原本只有45、60帧提 升至90、120帧甚至更多，因此该技术在一定程度上改善了目前终端的高帧率画面短缺的问 题。

2、在预测过渡帧的过程中需要先对画面进行分块，再以网格块为单位确定前后两帧画面的 运动矢量图，之后基于运动矢量图匹配过渡帧前后两帧画面每一网格块的光度、色彩等信息。

3、在匹配光度、色度等信息时网格块的细分程度决定了匹配的精度。而现有的视频插帧技 术通过分块获得多个网格块，在计算前后多帧图像的运动矢量图时，前后多帧图像的同一网 格块的匹配准确度低，导致网格块在前后多帧图像中的位置发生扭曲。因此渲染得到的过渡 帧的渲染效果差，影响用户观看体验。

技术实现思路

1、基于此，本技术实施例提供一种图像处理方法及电子设备，可以采用不均匀分块的方式 对图像帧显示区域进行分割处理，比如根据投影缩放信息对图像中近处物体采取比远处物体 更精细地分割方式，以提高近处物体的图像细节部分的匹配精度。网格块在前后多帧图像中 的位置不易匹配错误，渲染得到的过渡帧的图像显示正常，不易发生部分图像块扭曲的情况。 因此可以达到基于图像预测的预测帧图像的渲染效果好，且算法开销小的有益效果。

2、第一方面，本技术实施例提供一种图像处理方法，应用于电子设备，该方法中，在电子 设备执行图像帧的渲染操作时，电子设备获取图像帧的至少一个绘制指令对应的投影缩放信 息，其中，投影缩放信息表示绘制指令对应的绘制对象在待显示区域中的缩放度。然后电子 设备根据投影缩放信息确定图像帧在待显示区域中的细分区域和粗分区域，其中，粗分区域 被分割为多个网格块，细分区域被分割为多个第一级分块。将细分区域的至少一个第一级分 块分割成多个第二级分块，以使得细分区域中第二级分块的尺寸小于粗分区域中的网格块的 尺寸，其中，细分区域分割获得的网格块和粗分区域分割获得的网格块用于确定至少一个绘 制对象在图像帧中的对象位置。

3、本技术中，电子设备采用不均匀分块的方式对图像帧显示区域进行分割处理。具体的， 在图像帧渲染过程中，电子设备获取绘制指令对应的绘制对象在显示区域的缩放度，基于缩 放度可确定绘制对象从模型空间映射到相机视角下的缩放情况。若缩放度大，说明绘制对象 离相机远；反之，若缩放度小，说明绘制对象离相机近。因此，基于投影缩放信息可以对显 示区域的细分区域和粗分区域进行区分。对细分区域采取比粗分区域更精细的分割方式，这 样细分区域被分割获得的网格块数量就会的大于粗分区域分割获得的网格块数量。网格块数 量多，则网格块的匹配精度高，那么获得的绘制对象在图像帧中的对象位置越高。即，本申 请通过采用不均匀分块的方式对图像帧显示区域进行分割处理可以达到提高分割获得的网格 块的匹配精度的有益效果。

4、在第一方面的另一种可能的设计方式中，在将细分区域的至少一个第一级分块分割成多 个第二级分块之后，该方法还包括：根据粗分区域以及细分区域中的第一级分块和第二级分 块，确定至少一个绘制对象在每相邻两帧图像帧的对象位置，基于绘制对象在每相邻两帧图 像帧的对象位置，获得绘制对象的运动向量。基于运动向量在每相邻两帧图像帧之间预测得 到预测帧。

5、该设计方式下，电子设备可以基于对粗分区域和细分区域分割所获得的网格块匹配绘制 对象在相邻两帧图像帧中的对象位置。由于细分区域的匹配精度更高，因此细分区域在进行 前后多帧图像帧的位置匹配时不易匹配错误。那么基于匹配得到的绘制对象的运动矢量渲染 得到的过渡帧就不易发生部分图像块扭曲的情况，因此过渡帧的图像渲染效果好。

6、在第一方面的另一种可能的设计方式中，获取图像帧的至少一个绘制指令对应的投影缩 放信息，包括：获取图像帧的至少一个绘制指令的相机视角参数，以及至少一个绘制指令对 应的绘制对象的物理位置信息。基于相机视角参数和物理位置信息，获得绘制对象在相机视 角下的投影缩放信息。

7、该设计方式下，电子设备可以通过获取相机视角参数和位置信息获得投影缩放信息，根 据投影缩放信息对图像中近处物体采取比远处物体更精细地分割方式，以提高近处物体的图 像细节部分的匹配精度。

8、在第一方面的另一种可能的设计方式中，获取图像帧的至少一个绘制指令的相机视角参 数，以及至少一个绘制指令对应的绘制对象的物理位置信息，包括：检测到绘制指令为动态 绘制指令，获取图像帧的至少一个动态绘制指令的相机视角参数以及至少一个动态绘制指令 对应的绘制对象的物理位置信息，其中，动态绘制指令用于指示绘制动态对象。

9、该设计方式下，电子设备只获取动态对象的投影缩放信息，并基于投影缩放信息确定动 态对象的绘制区域是粗分区域还是细分区域。也就是说，电子设备只对近处动态对象所在图 像区块进行细分，以减少算法开销，提高处理速度。

10、在第一方面的另一种可能的设计方式中，根据投影缩放信息确定图像帧在待显示区域中 的细分区域和粗分区域，包括：检测到绘制指令为动态绘制指令，根据投影缩放信息确定图 像帧在待显示区域中的细分区域和粗分区域。检测到绘制指令为静态绘制指令，将静态绘制 指令所绘制的区域确定为粗分区域，其中，静态绘制指令用于指示绘制静态对象。

11、该设计方式下，电子设备在检测到绘制指令为静态绘制指令时，不获取静态绘制指令的 投影缩放信息，直接将静态绘制指令的区域确定为粗分区域。而检测到绘制指令为动态绘制 指令时，基于投影缩放信息确定动态绘制指令对应的区域是否需要进行细分。对静态绘制指 令和动态绘制指令采用不均匀分块的方式，可以减少算法的开销。

12、在第一方面的另一种可能的设计方式中，投影缩放信息包括投影缩放因子，根据投影缩 放信息确定图像帧在待显示区域中的细分区域和粗分区域，包括：若投影缩放因子大于第一 阈值，则确定投影缩放因子对应的绘制指令所绘制的区域为粗分区域。若投影缩放因子小于 或等于第一阈值，则确定投影缩放因子对应的绘制指令所绘制的区域为细分区域。

13、该设计方式下，电子设备可以通过投影缩放因子与第一阈值的大小关系来确定粗分区域 和细分区域。投影缩放因子表示绘制对象的映射到相机视角后，在相机视角下的缩放度。投 影缩放因子大于第一阈值，说明绘制对象映射到相机视角后面积小，则确定绘制对象是远处 的对象，那么将绘制该绘制对象的绘制指令所绘制的区域确定为粗分区域。反之，投影缩放 因子小于或等于第一阈值，说，绘制对象映射到相机视角后面积大，则确定绘制对象是近处 的对象，那么将绘制该绘制对象的绘制指令所绘制的区域确定为细分区域。这样，通过设置 投影缩放因子和第一阈值，便可快速地在待显示区域中确定粗分区域和细分区域。

14、在第一方面的另一种可能的设计方式中，细分区域是将绘制指令对应的绘制对象网格化 获得的网格区域，绘制对象在待显示区域中的显示区块包含在细分区域内；在将细分区域的 至少一个第一级分块分割成多个第二级分块之后，该方法还包括：检测到第二级分块中包含 待显示区域中的显示区块之外的区域，将第二级分块分割成多个第三级分块。

15、该设计方式下，电子设备在确定需进一步对细分区域的第二级分块进行分割操作时，则 将第二级分块分割成多个第三级分块。具体的，在分块时，一般将网格块细分为n*n的网格 块。因此在分块后，网格块内可能包含除绘制指令对应的图像区块的其他区域。因此该图像 块可能包含多个色度和光度，容易匹配错误。因此针对还包含其他绘制对象的第二级分块， 电子设备对其进一步细分，使得进一步细分获得的网格块在前后多帧图像中的位置不易匹配 错误，这样匹配准确率更好。

16、在第一方面的另一种可能的设计方式中，将第二级分块分割成多个第三级分块，包括： 若第二级分块的尺寸未满足预设尺寸条件，则将第二级分块分割成多个第三级分块。该方法 还包括：若第二级分块的尺寸满足预设尺寸条件，则停止对第二级分块的分割操作。

17、该设计方式下，预设尺寸条件包括：网格块的尺寸为预设的最小尺寸。电子设备在第二 级分块的尺寸为最小尺寸时，表示第二级分块无法再进一步细分，因此不对其分割。在第二 级分块的尺寸不为最小尺寸时，当第二级分块中包含其他绘制对象时，将其分割为第三级分 块。通过设置预设条件可以在第二级分块无法进一步细分时结束流程，以提高处理流程的效 率，避免占用gpu计算资源。

18、在第一方面的另一种可能的设计方式中，在根据投影缩放信息确定图像帧在待显示区域 中的细分区域和粗分区域之后，该方法还包括：对绘制细分区域的绘制指令进行标记，得到 第一标记消息，其中，第一标记消息用于在细分区域的绘制指令渲染得到的图像块中标记提 示字符。将细分区域的至少一个第一级分块分割成多个第二级分块，包括：将细分区域中提 示字符所在区域的至少一个第一级分块分割成多个第二级分块。

19、该设计方式下，第一标记消息能够在电子设备对图像帧进行渲染的过程中，让带标记的 绘制区域被标记上提示字符，以便于电子设备能够根据提示信息确定需要进行细分的细分区 域。换言之，电子设备在渲染图像帧之前发送第一标记消息，以使得渲染得到的图像帧被标 记上提示字符。这样电子设备可以直接对带标记的区域进行细分操作。

20、在第一方面的另一种可能的设计方式中，在根据投影缩放信息确定图像帧在待显示区域 中的细分区域和粗分区域之后，该方法还包括：对绘制细分区域的绘制指令进行标记得到第 二标记消息，其中，每个绘制指令对应的细分区域的第二标记消息不同，其中，第二标记消 息用于在细分区域的绘制指令渲染得到的图像块中标记提示字符，以及用于确定是否对第二 级分块进行分割。在将细分区域的至少一个第一级分块分割成多个第二级分块之后，该方法 还包括：若第二级分块包括多个第二标记消息，则将第二级分块分割成多个第三级分块。若 第二级分块包括一个第二标记消息，则停止对第二级分块的分割操作。

21、该设计方式下，对不同绘制对象标记不同提示字符，这样便可直接根据第二级分块是否 包括多种提示字符来确定是否进一步对第二级分块进行分割操作，提高了分割操作的效率。

22、在第一方面的另一种可能的设计方式中，检测到绘制指令为动态绘制指令，包括：若相 邻两个绘制指令对应的物理位置信息不同，则确定绘制指令为动态绘制指令。

23、在第一方面的另一种可能的设计方式中，细分区域是绘制指令对应的绘制对象网格化获 得的网格区域，物理位置信息包括绘制对象所在细分区域中的一个网格顶点的坐标信息，其 中网格顶点为网格区域的顶点。

24、该设计方式下，近似通过一个网格顶点得到的投影缩放信息来确定绘制指令所绘制的图 像区块的投影缩放信息，这样计算量小，计算效率更高。

25、第二方面，本技术实施例提供一种图像处理方法，该方法可应用于电子设备，以及应用 于图像帧中包含多个绘制对象，绘制对象包括第一对象、第二对象，且第一对象的在模型空 间中的体积和第二对象在模型空间中的体积的相差度大于或等于阈值时，对图像帧进行分块 处理；该方法中，在电子设备执行图像帧的渲染操作时，获取图像帧的至少一个绘制指令对 应的对象屏幕占比，其中，对象屏幕占比用于表示绘制指令对应的绘制对象在待显示区域中 的占据度。若对象屏幕占比大于或等于第二阈值，则确定对象屏幕占比对应的绘制指令所绘 制的区域为细分区域。若对象屏幕占比小于第二阈值，则确定对象屏幕占比对应的绘制指令 所绘制的区域为粗分区域，其中，粗分区域被分割为多个网格块，细分区域被分割为多个第 一级分块。将细分区域的至少一个第一级分块分割成多个第二级分块，以使得细分区域分割 获得的每个第二级分块的尺寸小于粗分区域分割获得的每个网格块的尺寸，其中，细分区域 分割获得的网格块和粗分区域分割获得的网格块被用于确定至少一个绘制对象在图像帧中的 对象位置。

26、本技术中，在第一对象和第二对象的体积相差度大的情况下，不根据投影缩放信息来确 定细分区域和粗分区域，而是以绘制对象在待显示区域中的占据度来确定。占据度高，则说 明若绘制对象的位置匹配错误会更明显，那么用户体验就更差，因此需要对占据度高的绘制 对象所在的区域进行细分，以达到提高绘制对象的图像细节部分的匹配精度的有益效果。

27、在第二方面的另一种可能的设计方式中，占据度包括绘制对象在待显示区域中的面积在 待显示区域总面积中的占比。

28、第三方面，本技术实施例提供一种电子设备，包括：存储器和一个或多个处理器。存储 器和处理器耦合。存储器用于存储计算机程序代码，计算机程序代码包括计算机指令。当处 理器执行计算机指令时，使得电子设备执行如第一方面及其可能的设计方式的方法，第二方 面及其可能的设计方式的方法。

29、第四方面，本技术提供一种计算机可读存储介质，包括计算机指令，当计算机指令在电 子设备上运行时，使得电子设备执行如第一方面及其可能的设计方式的方法。

30、第五方面，本技术提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使 得计算机执行如第一方面及其可能的设计方式的方法，第二方面及其可能的设计方式的方法。

31、可以理解地，上述提供的第二方面及其任一种可能的设计方式的方法，第三方面所述的 电子设备，第四方面所述的计算机存储介质，第五方面所述的计算机程序产品所能达到的有 益效果，可参考第一方面及其任一种可能的设计方式中的有益效果，此处不再赘述。