基于云边协同架构的视频增强传输方法、系统及存储介质与流程

本发明涉及视频增强与传输，更为具体地，涉及一种基于云边协同架构的视频增强传输方法、系统、电子装置及存储介质。

背景技术：

1、随着5g和深度学习的发展与普及，视频增强与传输技术在过去几年有了发展迅速。视频增强算法在提高视频质量、去噪、降低失真方面有了显著的改进。通过深度学习技术，特别是卷积神经网络（cnn），研究人员开发了一些高效且有效的算法，可以对视频进行超分辨率重建、去噪处理、运动补偿等增强操作，从而提供更清晰、更细节丰富的视频内容。视频传输领域的自适应传输技术也得到了加强。通过智能的自适应比特率控制算法，视频传输可以根据网络状况动态调整视频质量，保证在不同网络条件下都能获得较好的观看体验。

2、总的来说，视频增强与传输技术可以提升视频内容的质量和可观性，优化网络传输效率，适应不同网络环境以及推动教育和娱乐产业的发展。随着互联网和数字化技术的不断发展，视频增强与传输技术的创新将继续对我们的日常生活和社会产生积极的影响。但是现在仍然存在一些局限性和挑战。

3、某些视频增强算法需要大量计算资源，尤其是针对高分辨率、高帧率的视频。这可能导致在低端设备或网络环境下处理速度缓慢，或者需要高性能的硬件加速，使得技术在某些情况下难以实现或应用。例如在大型云游戏体验中单个用户建议的下行带宽为每秒3mb/s，对于1080p分辨率、30帧/秒的游戏体验，未压缩情况下需要18.66mb/s带宽。受4g网络100mb带宽限制，最多只能支持5个用户端同时正常使用。同时，使用公共云（如aws）传输未压缩的云游戏视讯流数据需要每小时消耗1.26美元。大量云游戏流量可能导致骨干网拥塞，影响其他在线业务的性能。因此，压缩云游戏的传输带宽是提高游戏体验和节约成本的关键所在。

4、由上述背景可知，目前广泛使用的码流传输方法与系统仍有不足亟需提供一种新的视频增强传输方法与系统。

技术实现思路

1、鉴于上述问题，本发明的目的是提供一种基于云边协同架构的视频增强传输方法、系统及存储介质，以解决目前的视频增强算法与传输技术需要大量技术资源导致用户体验不好以及成本高等问题。

2、本发明提供一种基于云边协同架构的视频增强传输方法，其特征在于，包括：

3、通过roi预测模型对云端服务器的待传输的原始视频进行roi区域的识别，获取roi区域，其中，所述待传输的原始视频包括所述roi区域和非roi区域；

4、通过下采样器对所述待传输的原始视频进行下采样处理，生成压缩帧；

5、对所述压缩帧、所述roi区域进行编码处理，生成实时视频流，并传输至边缘端服务器；

6、对传输至所述边缘端服务器的实时视频流进行解码处理，获取解码后的roi区域和解码后的非roi区域；

7、通过多roi并行超分辨率模型对所述解码后的roi区域进行超分辨率处理，以及，

8、通过非roi区域超分辨率模型对所述解码后的非roi区域进行超分辨率处理；

9、将经过超分辨处理后的视频流传输至用户端。

10、此外，优选的方案是，所述通过roi预测模型对云端服务器待传输的原始视频进行roi区域的识别，获取roi区域包括：

11、通过yolo模型对所述待传输的原始视频进行目标检测和识别，获取感兴趣区域信息和位置信息；

12、通过lstm模型对所述感兴趣区域信息和位置信息处理，获取roi区域和所述roi区域相应的置度。

13、此外，优选的方案是，所述通过yolo模型对所述待传输的原始视频进行目标检测和识别，获取感兴趣区域信息和位置信息包括：

14、对所述待传输的原始视频进行标注，获取包含有感兴趣区域信息的多帧视频；

15、将包含有感兴趣区域信息的多帧视频输入到二维网络中，获取所述感兴趣区域信息位置信息；

16、其中，所述感兴趣区域信息位置信息包括所述感兴趣区域信息所在图片的x轴信息和y轴信息。

17、此外，优选的方案是，所述通过lstm模型对所述感兴趣区域信息和位置信息处理，获取roi区域和所述roi区域相应的置度，包括：

18、将包含有所述感兴趣区域信息和位置信息的视频帧输入到所述lstm模型中；

19、采用relu全连接层对包含有所述感兴趣区域信息和位置信息的视频帧进行处理，获取所述视频帧的roi区域和所述roi区域相应的置度。

20、此外，优选的方案是，通过h.265编码器对所述压缩帧、所述roi区域进行编码处理，生成实时视频流。

21、此外，优选的方案是，所述通过多roi并行超分辨率模型对所述解码后的roi区域进行超分辨率处理，包括：

22、所述多roi并行超分辨率模型采用三区域质量分布，其中，以所述roi区域为中心，

23、将所述解码后的roi区域的数据拼接成特征图， 经过预处理后获取子特征图；

24、将所述子特征图输入resblocks并进行增强处理，形成中等质量特征图；

25、根据所述中等质量特征图，获取所述roi区域的小特征图；

26、将所述小特征图经过若干resblocks，获取高质量的所述roi区域的中心的特征图；

27、重复上述步骤，获取所述roi区域的边缘区域的特征图，以及，所述roi区域的混合区域的特征图；

28、将所述roi区域的中心的特征图、所述roi区域的边缘区域的特征图、所述roi区域的混合区域的特征图相互叠加，形成预测roi区域。

29、本发明还提供一种基于云边协同架构的视频增强传输系统，包括：

30、roi区域获取模块，用于通过roi预测模型对云端服务器待传输的原始视频进行roi区域的识别，获取roi区域，其中，所述待传输的原始视频包括所述roi区域和非roi区域；

31、下采样处理模块，用于通过下采样器对所述待传输的原始视频进行下采样处理，生成压缩帧；

32、编码处理模块，用于对所述压缩帧、所述roi区域进行编码处理，生成实时视频流，并传输至边缘端服务器；

33、解码处理模块，用于对传输至所述边缘端服务器的实时视频流进行解码处理，获取解码后的roi区域和解码后的非roi区域；

34、roi区域超分辨率处理模块，用于通过多roi并行超分辨率模型对所述解码后的roi区域进行超分辨率处理；

35、非roi区域超分辨率处理模块，用于通过非roi区域超分辨率模型对所述解码后的非roi区域进行超分辨率处理；

36、视频流程传输用户端模块，用于将经过超分辨处理后的视频流传输至用户端。

37、此外，优选的方案是，所述roi区域获取模块包括：

38、yolo模型处理模块，用于通过yolo模型对所述待传输的原始视频进行目标检测和识别，获取感兴趣区域信息和位置信息；

39、lstm模型处理模块，用于通过lstm模型对所述感兴趣区域信息和位置信息处理，获取roi区域和所述roi区域相应的置度。

40、本发明还提供一种电子设备，所述电子设备包括：

41、至少一个处理器；以及，

42、与所述至少一个处理器通信连接的存储器；其中，

43、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于云边协同架构的视频增强传输方法的步骤。

44、本发明还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时上述基于云边协同架构的视频增强传输方法。

45、从上面的技术方案可知，本发明提供的种基于云边协同架构的视频增强传输方法、系统、电子装置及存储介质，相对于现有技术，具有以下有益效果：

46、1）边缘计算中的数据只在边缘服务器和用户端设备之间交换，不再完全上传到云服务器，避免了数据泄露的风险，具有更高的安全性；

47、2）边缘计算更接近用户端，可以快速处理数据，实时做出判断；

48、3）本发明使用的边缘服务器预先将视频增强信息保存到更靠近用户端的位置，从而允许云服务器发送相对低质量的数据，并节省大量带宽处理降低了带宽成本，用户端更多的计算资源用于实时增强，在这种模式中，计算出的结果可以尽可能地达到用户最终需求的效果。

49、为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。