一种面向边缘环境的视频流转码方法、系统、装置及存储介质与流程

本发明涉及一种面向边缘环境的视频流转码方法、系统、装置及存储介质，属于边缘计算。

背景技术：

1、近年来，实时视频应用迅速发展，在线教育、直播带货、视频会议、云游戏等应用逐渐代替传统的应用，其正在改变我们的生活方式。新冠病毒的影响更是导致远程居家办公和在线教育等应用成为人们生活中不可或缺的部分。据市场报道预测，到2025年实时视频流量将会占到网络视频流总量的17％，同时在全球产生217.3亿美元的收益。

2、在实时视频应用中，通常包含一个视频发送端和多个视频接收端，发送端源源不断地将产生的视频流分发给每个接收端。由于视频接收端硬件设备、网络带宽的异构性，不同的接收端需要不同码率的视频流。因此，发送端上传单一码率的视频流将无法满足所有接收端的需求。常见的做法是将发送端上传的单一码率视频流通过视频转码技术来生成多条不同码率的视频流，以适应整个应用中所有的接收端。在传统的实时视频应用架构中，通过引入云服务器来对源视频流进行视频转码。发送者首先将视频流上传到云服务器，由云服务器负责视频流的转码任务，最后将转码后的视频流根据接收端的网络带宽发送给不同的接收端。然而，引入云服务器不仅仅会带来的成本开销，同时会带来视频流在广域网上传输的时延问题，过高的网络时延会导致用户的用户体验下降，例如，目前已有的工作表明在实时视频会议中，用户所能容忍的网络延迟在400ms左右。

3、随着边缘计算的兴起，一种可能的实时视频架构将视频转码任务卸载到更靠近视频发送端的边缘设备，从而提高转码效率，并且缩短视频流在广域网中的传输时延。然而，边缘设备的算力资源相对比云服务器十分受限，在实时性约束下只能转码出一定数量和质量的视频流，例如在边缘设备jetson tx2上，将一条时长为1s的2k30fps的视频流转码为4条不同码率的视频流耗时将近1s，转码4条以上不同质量的视频流将破坏系统的实时性要求，所以存在视频流的码率无法匹配多个异构接收端的情况。

技术实现思路

1、本发明的目的在于提供一种面向边缘环境的视频流转码方法、系统、装置及存储介质，解决现有技术中存在的视频流码率无法实现自适应调整的问题。

2、为实现以上目的，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供了一种面向边缘环境的视频流转码方法，包括：

4、获取模型输入，模型输入包括发送端的设备信息、上行网络带宽、各接收端的设备信息、下行网络带宽、边缘设备的算力资源；

5、将模型输入输入到构建好的码率优化模型中，得到待转码的视频流码率集合、每个接收端需要接收的视频流码率，根据待转码的视频流码率集合、每个接收端需要接收的视频流码率对视频流进行转码。

6、结合第一方面，进一步的，所述转码通过构建好的实时视频流转码模型进行，所述实时视频流转码模型通过以下方法构建：

7、获取传输系统中的系统参数，所述系统参数包括网络带宽、接收端屏幕尺寸、接收端设备硬件信息；

8、根据所述系统参数构建当前时隙内的实时视频流转码模型。

9、结合第一方面，进一步的，所述码率优化模型中的优化问题包括：

10、优化目标为：

11、∑u∈u∑r∈r∑p∈pxu,r,p(vu,r+γwu,p)

12、约束条件为：

13、上行网络带宽的限制：

14、当前时隙转码视频流集合：

15、边缘设备转码时延限制：γφ≤τ；

16、每个接收端只能选择一条视频流：

17、接收端只能选择发送端已经转码出的视频流：

18、下行带宽限制：

19、对于决策变量的定义域限制：

20、其中，u代表用户，r代表一条视频流的分辨率，p代表视频流在转码时的预设值，xu,r,p表示是否将分辨率为r、预设值为p的视频流分发给用户u；vu,r表示用户u对分辨率为r的视频流的用户体验得分，wu,p表示用户u对预设值为p的视频流的用户体验得分，最终的用户对视频流的用户体验得分通过γ进行折中，表示发送端是否需要将源视频流转码出分辨率为r、预设值为p的视频流，代表该时隙用户u的上行网络带宽，代表该时隙用户u的下行网络带宽，br,p表示分辨率为r、预设值为p的视频流的码率大小，φ表示该时隙将要被转码出来的视频流集合，转码出的视频流集合中的视频流码率之和不能超过用户u的上行网络带宽，γφ表示边缘设备转码时延，τ表示实时视频应用能容忍的最长转码时延。

21、结合第一方面，进一步的，对所述优化目标采用带有时延限制的贪心算法来求解。

22、结合第一方面，进一步的，针对不同的实时视频应用，设置不同的边缘设备转码时延限制。

23、第二方面，本发明还提供了一种面向边缘环境的视频流转码系统，包括：

24、输入获取模块：用于获取模型输入，模型输入包括发送端的设备信息、上行网络带宽、各接收端的设备信息、下行网络带宽、边缘设备的算力资源；

25、视频流转码模块：用于将模型输入输入到构建好的码率优化模型中，得到待转码的视频流码率集合、每个接收端需要接收的视频流码率，根据待转码的视频流码率集合、每个接收端需要接收的视频流码率对视频流进行转码。

26、第三方面，本发明还提供了一种面向边缘环境的视频流转码装置，包括处理器及存储介质；

27、所述存储介质用于存储指令；

28、所述处理器用于根据所述指令进行操作以执行根据第一方面任一项所述方法的步骤。

29、第四方面，本发明还提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述方法的步骤。

30、与现有技术相比，本发明所达到的有益效果是：

31、本发明提供的一种面向边缘环境的视频流转码方法、系统、装置及存储介质，结合边缘设备自身的算力资源、网络环境参数(上下行网络带宽)和异构接收端的变化，动态地通过构建的码率优化模型确定需要编码的视频流数量及其码率，使得转码计算能满足传输系统的实时性要求，同时最大化接收端的用户体验，并为异构接收端提供合适的具有不同码率的视频流，从而实现视频流码率的自适应调整；

32、通过带有时延限制的贪心算法求解出发送端待转码出的视频流集合，使得到的编码策略能以高近似度接近最优策略，保证系统实时转码的同时，最大化整个应用中所有用户的用户体验。

技术特征：

1.一种面向边缘环境的视频流转码方法，其特征在于，包括：

2.根据权利要求1所述的一种面向边缘环境的视频流转码方法，其特征在于，所述转码通过构建好的实时视频流转码模型进行，所述实时视频流转码模型通过以下方法构建：

3.根据权利要求1所述的一种面向边缘环境的视频流转码方法，其特征在于，所述码率优化模型中的优化问题包括：

4.根据权利要求3所述的一种面向边缘环境的视频流转码方法，其特征在于，对所述优化目标采用带有时延限制的贪心算法来求解。

5.根据权利要求3所述的一种面向边缘环境的视频流转码方法，其特征在于，针对不同的实时视频应用，设置不同的边缘设备转码时延限制。

6.一种面向边缘环境的视频流转码系统，其特征在于，包括：

7.一种面向边缘环境的视频流转码装置，其特征在于，包括处理器及存储介质；

8.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。

技术总结
本发明公开了一种面向边缘环境的视频流转码方法、系统、装置及存储介质，属于边缘计算技术领域，包括获取模型输入，模型输入包括发送端的设备信息、上行网络带宽、各接收端的设备信息、下行网络带宽、边缘设备的算力资源；将模型输入输入到构建好的码率优化模型中，得到待转码的视频流码率集合、每个接收端需要接收的视频流码率，根据待转码的视频流码率集合、每个接收端需要接收的视频流码率对视频流进行转码；本发明通过结合边缘设备自身的算力资源、网络环境参数和异构接收端的变化，动态地确定需要编码的视频流数量及码率，使转码计算满足传输系统的实时性要求，同时最大化接收端的用户体验，并实现视频流码率的自适应调整。

技术研发人员：周惯衡,钱成功,刘飞,孔峥,喻伟,廖贺,徐博,吴甲
受保护的技术使用者：江苏方天电力技术有限公司
技术研发日：
技术公布日：2024/1/12