一种远程桌面环境下自适应图像超分的方法与流程

本发明涉及图像超分，特别涉及一种远程桌面环境下自适应图像超分的方法。

背景技术：

1、随着互联网技术的不断发展，人们已经能够随时随地使用可联网的终端访问位于办公场所的办公桌面进行办公，并由此催生了远程桌面这一个产品品类，该品类包含桌面云、远程应用发布等子产品，这些产品都采用了将远端服务器中虚拟机的画面通过网络传输至终端设备的方式，这种方式及保障了用户能够看到虚拟机的画面，也能确保远端数据不传输至本地的安全性，在远程桌面领域，由于网络中传输的是图片或者视频流，考虑到使用体验和带宽成本的平衡，现有产品往往会对图片或者视频流进行压缩处理，以牺牲部分体验，主要是清晰度和帧率的方式来换取更低成本的带宽占用，这种方式对于用户的办公体验，尤其是对图像显示质量有较高要求的图形设计、建筑设计、视频创作等领域用户非常不友好。

2、现有方案中，当需要平衡体验与带宽时，解决方法有两种：其一是牺牲用户部分体验，比如降低分辨率、传输帧率来达到降低带宽占用的要求，另外是提高带宽投入，增加中心点出口带宽，来保障用户体验，这样会导致用户体验体验与带宽成本难以同时均衡考虑。

3、因此，提出一种远程桌面环境下自适应图像超分的方法来解决上述问题很有必要。

技术实现思路

1、本发明的主要目的在于提供一种远程桌面环境下自适应图像超分的方法，可以有效解决背景技术中的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、一种远程桌面环境下自适应图像超分的方法，包括网络延迟感知模块、服务端动态编码模块以及终端本地超分模块。

4、优选的，所述网络延迟感知模块的感知方法包括以下操作步骤：

5、s1：用于获取当前服务器上正在运行的多核虚拟机的进程标识符，所述进程标识符标为pid；

6、s2：通过pid获取虚拟机的网络状态；

7、s3：计算虚拟机对于出口网络的占用和虚拟机向终端传输的网络延迟；

8、s4:匹配设定的阈值，给服务端动态编码模块传递编码参数。

9、优选的，所述服务端动态编码模块的动态编码方法包括以下操作步骤：

10、a：根据网络延迟感知模块输出的编码参数，对虚拟机的画面进行动态图像、视频编码进行编码执行，如果网络延迟感知模块检测到虚拟机的网络占用高，并超过设定的阈值，那么服务端动态编码模块将对虚拟机的画面进行低分辨率、低码率的编码，以此降低对于网络带宽的占用，由服务端动态编码模块向终端本地超分控制模块传递超分信号，通知其编码方式和超分要求；

11、b：网络延迟感知模块监测到目标虚拟机的网络占用情况低于阈值，则向服务端动态编码模块发送消息，回复正常图像、视频编码，并由服务端动态编码模块向通知终端本地超分控制模块发超分停止信号，停止超分操作；

12、c：服务端动态编码模块与终端本地超分控制模块之间通过传递图像校验信号，以此来校验超分后图像、视频与原虚拟机画面图线的相似程度，保障图像超分后的真实性。

13、优选的，所述终端本地超分模块包括以下操作步骤：

14、a：接收服务端动态编码模块发过来的指令信息、图像数据、视频数据；

15、b：根据指令类型决定当前是否执行超分，以及超分的具体参数；

16、c：执行超分，生成超分后的更加清晰的图像、视频；

17、d：超分后图像、视频相似性校验，若校验通过则输出超分后图像、视频；若校验不通过，则返回重新执行超分；

18、e：校验通过后图像、视频输出。

19、优选的，所述网络延迟感知模块的输出端与服务端动态编码模块和linux内核的kvm模块的输入端电性连接，所述网络延迟感知模块、服务端动态编码模块和linux内核的kvm模块为服务端，所述终端本体超分模块的输出端电性连接有显示输出的输入端，所述终端本体超分模块的输入端电性连接有终端本体cpu的输出端，所述终端本体超分模块、终端本体cpu和显示输出为客户端，所述服务端的输出端与客户端的输入端电性连接。

20、有益效果

21、与现有技术相比，本发明提供了一种远程桌面环境下自适应图像超分的方法，具备以下有益效果：

22、1、该远程桌面环境下自适应图像超分的方法，网络延迟感知模块中可以通过对虚拟机出口网络的占用和虚拟机向终端传输的网络延迟，根据虚拟机的网络占用情况，动态调整对虚拟机画面的图像编码、视频编码，在终端本地，动态实现图像超分，服务端编码与终端超分的动态还可以进行相似性校验。

23、2、该远程桌面环境下自适应图像超分的方法，可以实时监测远程桌面服务端的出口带宽占用，能自动调整图像编码、视频编码，可以利用终端本地算力，执行超分算法，将低分辨率、低带宽占用的图像、视频还原成高清分辨率的图像、视频。

24、3、该远程桌面环境下自适应图像超分的方法，在针对远程桌面场景下，解决了用户体验与带宽成本的矛盾，本发明提出一种软硬结合的自适应图线超分方法，通过实时感知当前网络带宽的竞争情况，动态对图像、视频分辨率进行调整，并在终端通过终端本地算力进行图线超分，实现以低带宽占用传输图像、视频，以超分还原高分辨率图像、视频进行显示，从而实现既降低远程桌面的带宽占用，又提升用户体验的目的。

技术特征：

1.一种远程桌面环境下自适应图像超分的方法，包括网络延迟感知模块、服务端动态编码模块以及终端本地超分模块。

2.根据权利要求1所述的一种远程桌面环境下自适应图像超分的方法，其特征在于：所述网络延迟感知模块的感知方法包括以下操作步骤：

3.根据权利要求1所述的一种远程桌面环境下自适应图像超分的方法，其特征在于：所述服务端动态编码模块的动态编码方法包括以下操作步骤：

4.根据权利要求1所述的一种远程桌面环境下自适应图像超分的方法，其特征在于：所述终端本地超分模块包括以下操作步骤：

5.根据权利要求1所述的一种远程桌面环境下自适应图像超分的方法，其特征在于：所述网络延迟感知模块的输出端与服务端动态编码模块和linux内核的kvm模块的输入端电性连接，所述网络延迟感知模块、服务端动态编码模块和linux内核的kvm模块为服务端，所述终端本体超分模块的输出端电性连接有显示输出的输入端，所述终端本体超分模块的输入端电性连接有终端本体cpu的输出端，所述终端本体超分模块、终端本体cpu和显示输出为客户端，所述服务端的输出端与客户端的输入端电性连接。

技术总结
本发明公开了一种远程桌面环境下自适应图像超分的方法，本发明涉及图像超分技术领域，所述包括网络延迟感知模块、服务端动态编码模块以及终端本地超分模块，网络延迟感知模块的输出端与服务端动态编码模块和Linux内核的KVM模块的输入端电性连接，终端本体超分模块的输出端电性连接有显示输出的输入端，终端本体超分模块的输入端电性连接有终端本体CPU的输出端。本发明所述的一种远程桌面环境下自适应图像超分的方法，通过实时感知当前网络带宽的竞争情况，对图像、视频分辨率进行调整，并在终端通过终端本地算力进行图线超分，实现以低带宽占用传输图像、视频，以超分还原高分辨率图像、视频进行显示，从而实现既降低远程桌面的带宽占用。

技术研发人员：强光敏
受保护的技术使用者：勤诚中科（深圳）技术有限公司
技术研发日：
技术公布日：2024/3/24