基于合流发送机制的视频流处理方法、装置、设备和介质与流程

本申请实施例涉及视频处理，尤其涉及一种基于合流发送机制的视频流处理方法、装置、设备和介质。

背景技术：

1、随着互联网技术的快速发展，直播视频应用技术得到了迅速的推广和普及。多主播视频房是多个主播人员通过上传视频进行直播，以给观众带来多主播展示的效果。其中同时存在多路高清视频流，服务器需要将每个主播的视频流分别发送给观众，在此过程中，为了避免丢包事件的发生，或者采用前向纠错的编码机制，通过增加的冗余编码数据包的形式来进行数据下行传输，但是这样就会造成数据包的增多，对网络带宽产生了额外的占用；或者采用数据重传机制，即发生丢包事件后，基于接收端的反馈对关键帧的数据包进行重传，但是这样就引入了信息的往返时延；且每一路视频流单独发送，在发送过程中没有考虑到其他视频流对网络带宽的占用情况，会导致下行延迟高，用户体验差。在此背景下，就有了对减少下行视频包发送延迟的研究。

2、相关技术中，是通过使用一个合流发送窗口来统一管理发送多路视频流，这样在发送过程中就可以以多路视频流作为整体，来考虑网络带宽问题和其他资源占用问题，可以保证每路流的公平性。

3、但相关技术中由于视频流按照收包顺序公平使用合流发送窗口，会导致基于单路视频流进行冗余编码的fec(forward error correction，前向纠错)抗丢包策略不再兼容，丢包场景下对于接收端来说只能依赖数据重传机制去做恢复，这就导致下行链路的抗丢包能力减弱，又会因为数据包重传对网络带宽或者其他资源的占用造成增加传输拥塞的可能性，同时增大传输延迟，进而影响用户的观看体验。因此，如何提高下行链路抗丢包能力，减少延时和卡顿，提升用户体验是本领域亟待解决的问题。

技术实现思路

1、本申请实施例提供了一种基于合流发送机制的视频流处理方法、装置、设备和介质，解决了相关技术中由于通过合流发送窗口发送数据会造成fec抗丢包策略不兼容，抗丢包能力减弱，从而增大了视频包的传输延迟，进而影响用户观看体验的问题。本方案提供的基于合流发送机制的视频流处理方法，在多路视频流数据进行合流发送的前提下，通过在特定情况下对视频流数据采用fec编码方式进行冗余编码，实现合流发送与冗余编码的兼容，提高抗丢包能力，降低网络传输延迟，提升用户体验。

2、第一方面，本申请实施例提供了一种基于合流发送机制的视频流处理方法，该方法包括：

3、通过合流发送模块获取下行传输链路的网络传输数据；其中，所述合流发送模块用于对至少两路视频流进行合流处理；

4、在所述网络传输数据满足预设条件的情况下，对所述合流发送模块得到的合流结果数据进行分流处理；

5、从分流结果中确定目标分流视频流；

6、采用fec编码方式对所述目标分流视频流进行编码，得到目标分流视频流的原始数据包和冗余数据包，用于供接收端进行抗丢包还原处理。

7、第二方面，本申请实施例还提供了一种基于合流发送机制的视频流处理装置，该装置包括：

8、网络传输数据获取单元，配置为获取下行传输链路的网络传输数据；其中，所述合流发送模块用于对至少两路视频流进行合流处理；

9、分流单元，配置为在所述网络传输数据满足预设条件的情况下，对所述合流发送模块得到的合流结果数据进行分流处理；

10、编码对象确定单元，配置为从分流结果中确定目标分流视频流；

11、编码单元，配置为采用fec编码方式对所述目标分流视频流进行编码，得到目标分流视频流的原始数据包和冗余数据包，用于供接收端进行抗丢包还原处理。

12、第三方面，本申请实施例还提供了一种基于合流发送机制的视频流处理设备，该设备包括：

13、一个或多个处理器；

14、存储装置，用于存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例所述的基于合流发送机制的视频流处理方法。

16、第四方面，本申请实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请实施例所述的基于合流发送机制的视频流处理方法。

17、第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行本申请实施例所述的基于合流发送机制的视频流处理方法。

18、本申请实施例中，通过对网络传输数据是否满足预设条件进行识别，在满足的情况下，对所述合流发送模块得到的合流结果数据进行分流处理，并从分流结果中确定目标分流视频流，以采用fec编码方式对所述目标分流视频流进行编码，供接收端进行抗丢包还原处理。这样可以在适合采用fec编码的情况下，对合流结果数据进行分流处理，以基于分流处理的结果采用fec编码方式进行冗余编码，解决了兼容性的问题。通过增加fec编码的机制，相对于只有数据重传机制，提高抗丢包能力。且采用fec编码方式可以降低网络传输延迟，提升用户体验。

技术特征：

1.一种基于合流发送机制的视频流处理方法，其特征在于，所述方法由服务端执行；所述方法包括：

2.根据权利要求1所述的基于合流发送机制的视频流处理方法，其特征在于，对所述合流发送模块得到的进行合流结果数据进行分流处理，包括：

3.根据权利要求2所述的基于合流发送机制的视频流处理方法，其特征在于，基于所述视频流id对所述合流发送模块得到的合流结果数据进行分流处理，包括：

4.根据权利要求1所述的基于合流发送机制的视频流处理方法，其特征在于，从分流结果中确定目标分流视频流，包括：

5.根据权利要求1所述的基于合流发送机制的视频流处理方法，其特征在于，采用fec编码方式对所述目标分流视频流进行编码，得到目标分流视频流的原始数据包和冗余数据包，用于供接收端进行抗丢包还原处理，包括：

6.根据权利要求1所述的基于合流发送机制的视频流处理方法，其特征在于，在得到目标分流视频流的冗余数据包之后，所述方法还包括：

7.根据权利要求1所述的基于合流发送机制的视频流处理方法，其特征在于，在通过合流发送模块获取下行传输链路的网络传输数据之后，所述方法还包括：

8.根据权利要求1所述的基于合流发送机制的视频流处理方法，其特征在于，在通过合流发送模块获取下行传输链路的网络传输数据之后，所述方法还包括：

9.一种基于合流发送机制的视频流处理装置，其特征在于，所述装置配置于服务端；所述装置包括：

10.一种基于合流发送机制的视频流处理设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-8中任一项所述的基于合流发送机制的视频流处理方法。

11.一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行权利要求1-8中任一项所述的基于合流发送机制的视频流处理方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的基于合流发送机制的视频流处理方法。

技术总结
本申请实施例提供了一种基于合流发送机制的视频流处理方法、装置、设备和介质，该方法包括：通过合流发送模块获取下行传输链路的网络传输数据；其中，合流发送模块用于对至少两路视频流进行合流处理；在网络传输数据满足预设条件的情况下，对合流发送模块得到的合流结果数据进行分流处理；从分流结果中确定目标分流视频流；采用FEC编码方式对目标分流视频流进行编码，得到目标分流视频流的原始数据包和冗余数据包，用于供接收端进行抗丢包还原处理。本方案能在多路视频流数据进行合流发送的前提下，在特定情况下对视频流数据采用FEC编码方式进行冗余编码，实现合流发送与冗余编码的兼容，提高抗丢包能力，降低网络传输延迟，提升用户体验。

技术研发人员：邱硕冰,同鑫,邹智群
受保护的技术使用者：广州市百果园网络科技有限公司
技术研发日：
技术公布日：2024/1/14