一种虚拟桌面图像处理方法、装置、设备及存储介质与流程

本发明涉及虚拟化，特别涉及一种虚拟桌面图像处理方法、装置、设备及存储介质。

背景技术：

1、相关技术中，在虚拟桌面的视频编码领域，由于硬件编码器自身的协议约束，硬件编码器在对虚拟桌面的图像帧进行编码处理时往往是将图像帧作为一个整体进行整体编码，而虚拟桌面图像处理中还需要软编码的介入，这会导致图像帧中的一些区域同时进行了硬编码和软编码，导致大量重复编码，这种情况下使得码率进一步提高了，降低了编码效率。

2、因此，上述技术问题亟待本领域技术人员解决。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种虚拟桌面图像处理方方法、装置、设备及存储介质，能够尽可能避免虚拟桌面图像处理过程中的大量重复编码，从而降低码率，提升用户体验。其具体方案如下：

2、本申请的第一方面提供了一种虚拟桌面图像处理方法，应用于服务端，包括：

3、识别出虚拟桌面图像帧中的静态编码区域和动态编码区域；其中，所述静态编码区域为缓存命中的图像区域，所述动态编码区域为缓存未命中的图像区域；所述动态编码区域包括有损区域和无损区域；

4、将所述静态编码区域和所述无损区域标记为不执行正常视频编码操作的区域，并将携带标记信息的图像帧输入至所述服务端中的硬件编码器；

5、利用所述硬件编码器根据所述标记信息对输入图像帧中的所述有损区域执行正常视频编码操作；

6、利用所述服务端的处理器对所述静态编码区域和所述无损区域执行无损压缩处理。

7、可选的，所述无损区域对应的缓存对象为文字对象和图文混合对象中的至少一种，所述有损区域对应的缓存对象为视频对象和图片对象中的至少一种。

8、可选的，所述识别出虚拟桌面图像帧中的静态编码区域和动态编码区域，包括：

9、通过宏块遍历的方式识别出虚拟桌面图像帧的画面与缓存中邻近帧的画面发生变化的所述动态编码区域及未发生变化的所述静态编码区域。

10、可选的，所述将所述静态编码区域和所述无损区域标记为不执行正常视频编码操作的区域，包括：

11、将所述静态编码区域和所述无损区域对应的宏块确定为跳过宏块；

12、为所述跳过宏块设置宏块跳过标记，得到所述标记信息；所述宏块跳过标记用于提示所述硬件编码器不对所述跳过宏块执行视频编码操作。

13、可选的，所述利用所述硬件编码器根据所述标记信息对所述有损区域执行正常视频编码操作，包括：

14、如果所述硬件编码器支持宏块跳过编码模式，利用所述硬件编码器对输入图像帧携带的所述宏块跳过标记进行读取，并对输入图像帧中的所述有损区域执行正常视频编码操作，不对输入图像帧中的所述跳过宏块执行视频编码操作。

15、可选的，所述利用所述硬件编码器根据所述标记信息对所述有损区域执行正常视频编码操作，包括：

16、如果所述硬件编码器不支持宏块跳过编码模式，利用所述硬件编码器对输入图像帧携带的所述宏块跳过标记进行读取，并对输入图像帧中的所述有损区域执行正常视频编码操作，对输入图像帧中的所述跳过宏块的编码控制参数进行最大化处理以采用最大化编码控制参数对所述跳过宏块执行视频编码操作。

17、可选的，利用所述硬件编码器对输入图像帧中的所述有损区域执行正常视频编码操作之前，还包括：

18、利用所述硬件编码器根据读取到的所述宏块跳过标记对输入图像帧中的各区域进行分割，以便编码器能对不同区域执行相应操作。

19、本申请的第二方面提供了一种虚拟桌面图像处理装置，应用于服务端，包括：

20、区域确定模块，用于识别出虚拟桌面图像帧中的静态编码区域和动态编码区域；其中，所述静态编码区域为缓存命中的图像区域，所述动态编码区域为缓存未命中的图像区域；所述动态编码区域包括有损区域和无损区域；

21、标记及输入，用于将所述静态编码区域和所述无损区域标记为不执行正常视频编码操作的区域，并将携带标记信息的图像帧输入至所述服务端中的硬件编码器；

22、视频编码操作模块，用于利用所述硬件编码器根据所述标记信息对输入图像帧中的所述有损区域执行正常视频编码操作；

23、无损压缩处理模块，用于利用所述服务端的处理器对所述静态编码区域和所述无损区域执行无损压缩处理。

24、本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述虚拟桌面图像处理方法。

25、本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述虚拟桌面方法。

26、本申请中，服务端先识别出虚拟桌面图像帧中的静态编码区域和动态编码区域；其中，所述静态编码区域为缓存命中的图像区域，所述动态编码区域为缓存未命中的图像区域；所述动态编码区域包括有损区域和无损区域；然后将所述静态编码区域和所述无损区域标记为不执行正常视频编码操作的区域，并将携带标记信息的图像帧输入至所述服务端中的硬件编码器；接着利用所述硬件编码器根据所述标记信息对输入图像帧中的所述有损区域执行正常视频编码操作；最后利用所述服务端的处理器对所述静态编码区域和所述无损区域执行无损压缩处理。可见，本申请在服务端上层对虚拟桌面图像帧进行分区及标记操作，硬件编码区能够根据服务端的操作针对不同区域采取不同处理方法，具体的，硬件编码器针对有损区域执行正常视频编码，针对静态区域和无损区域不执行正常视频编码。在此基础上，服务端的处理器针对静态区域和无损区域执行无损压缩处理。上述过程能够尽可能避免虚拟桌面图像处理过程中的大量重复编码，从而降低码率，提升用户体验。

技术特征：

1.一种虚拟桌面图像处理方法，其特征在于，应用于服务端，包括：

2.根据权利要求1所述的虚拟桌面图像处理方法，其特征在于，所述无损区域对应的缓存对象为文字对象和图文混合对象中的至少一种，所述有损区域对应的缓存对象为视频对象和图片对象中的至少一种。

3.根据权利要求1所述的虚拟桌面图像处理方法，其特征在于，所述识别出虚拟桌面图像帧中的静态编码区域和动态编码区域，包括：

4.根据权利要求1所述的虚拟桌面图像处理方法，其特征在于，所述将所述静态编码区域和所述无损区域标记为不执行正常视频编码操作的区域，包括：

5.根据权利要求4所述的虚拟桌面图像处理方法，其特征在于，所述利用所述硬件编码器根据所述标记信息对所述有损区域执行正常视频编码操作，包括：

6.根据权利要求4所述的虚拟桌面图像处理方法，其特征在于，利用所述硬件编码器根据所述标记信息对所述有损区域执行正常视频编码操作，包括：

7.根据权利要求5或6所述的虚拟桌面图像处理方法，其特征在于，利用所述硬件编码器对输入图像帧中的所述有损区域执行正常视频编码操作之前，还包括：

8.一种虚拟桌面图像处理装置，其特征在于，应用于服务端，包括：

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，其中：

10.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的虚拟桌面图像处理方法。

技术总结
本申请公开了一种虚拟桌面图像处理方法、装置、设备及存储介质，应用于服务端，包括：识别出虚拟桌面图像帧中的静态编码区域和动态编码区域；静态编码区域为缓存命中的图像区域，动态编码区域为缓存未命中的图像区域；动态编码区域包括有损区域和无损区域；将所述静态编码区域和所述无损区域标记为不执行正常视频编码操作的区域，并将携带标记信息的图像帧输入至所述服务端中的硬件编码器；利用所述硬件编码器根据所述标记信息对输入图像帧中的所述有损区域执行正常视频编码操作；利用所述服务端的处理器对所述静态编码区域和所述无损区域执行无损压缩处理。能够尽可能避免虚拟桌面图像处理过程中的大量重复编码，从而降低码率，提升用户体验。

技术研发人员：张宸,林灵锋,徐敬蘅,陈锦,黄忠强
受保护的技术使用者：深圳市深信服信息安全有限公司
技术研发日：
技术公布日：2024/1/13