一种视频混流方法、装置、电子设备及可读存储介质与流程

本申请涉及视频传输，尤其涉及一种视频混流方法、装置、电子设备及可读存储介质。

背景技术：

1、目前，视频混流技术广泛用于视频会议、在线教育、视频监控等场景，将多个参会者的视频、音频混合为一路视频、音频进行显示。

2、在相关技术中，在大屏端播放多个视频流时，通常是通过一个混流器拉取源端视频信号，然后根据需要混合成一路推送到流服务器，流服务器将混合流推送至大屏端进行显示。但是该种方式在视频源较多的情况下，混流器拉取视频信号时容易出现网络堵塞的问题。

3、可见，现有技术中存在视频源较多导致混流器拉取视频信号时容易出现网络堵塞的问题。

技术实现思路

1、有鉴于此，本申请实施例提供了一种视频混流方法、装置、电子设备及可读存储介质，以解决现有技术中视频源较多导致混流器拉取视频信号时容易出现网络堵塞的问题。

2、本申请实施例的第一方面，提供了一种视频混流方法，应用于混流服务器，包括：

3、接收客户端发送的视频混流请求，视频混流请求包括待播放画面的尺寸信息、至少两个视频源的地址信息、待播放画面的矩阵布局信息，以及每个视频源在矩阵布局中所对应的图像位置信息，其中每个矩阵块中对应至少一个视频源；

4、根据矩阵布局信息将矩阵布局中的全部矩阵块划分为至少两个区域，并根据图像位置信息，确定每个区域所对应的目标视频源；

5、将全部区域所对应的任务分发到至少两个第一混流器，其中任务为基于区域中目标视频源的地址信息，获取目标视频源对应的第一视频流；

6、接收第二混流器基于第二视频流所反馈的混合视频流，并按照待播放画面的尺寸信息对混合视频流进行尺寸校正，得到目标图像；其中第二视频流由第一混流器基于图像位置信息和矩阵块的块尺寸对第一视频流处理后发送给第二混流器，且混合视频流为对全部的第二视频流按照图像位置信息进行位置排布后的视频流。

7、本申请实施例的第二方面，提供了一种视频混流方法，应用于第一混流器，包括：

8、接收混流服务器发送的任务指令，任务指令中包括目标视频源的地址信息、目标视频源在矩阵布局中所对应的图像位置信息和目标视频源所对应的矩阵块的块尺寸信息；其中，目标视频源为客户端所需访问的视频源中的至少一个，且对应于分发到第一混流器的区域，区域为对矩阵布局中的全部矩阵块划分得到；视频源由客户端通过视频混流请求发送给混流服务器，且视频混流请求包括待播放画面的尺寸信息、至少两个视频源的地址信息、待播放画面的矩阵布局信息，以及每个视频源在矩阵布局中所对应的图像位置信息，其中每个矩阵块中对应至少一个视频源；

9、根据目标视频源的地址信息，获取目标视频源所对应的第一视频流；

10、根据目标视频源所对应的矩阵块的块尺寸信息，对第一视频流进行尺寸变换，以适应矩阵块的块尺寸；

11、在目标视频源为至少两个的情况下，按照目标视频源在矩阵布局中所对应的图像位置信息，对目标视频源所对应的第一视频流进行混流，得到第二视频流；

12、将第二视频流传输至第二混流器，以使第二混流器对所获取到的至少两个第一混流器所发送的第二视频流，按照每个视频源在矩阵布局中所对应的图像位置信息进行位置排布，得到混合视频流，并将混合视频流发送给混流服务器。

13、本申请实施例的第三方面，提供了一种视频混流系统，包括：客户端、混流服务器、第一混流器和第二混流器；其中，客户端用于向混流服务器发送视频混流请求，并接收混流服务器发送的混合视频流；该混流服务器用于执行实现上述方法的步骤。

14、本申请实施例的第四方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

15、本申请实施例的第五方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

16、本申请实施例的有益效果至少包括：

17、混流服务器接收客户端发送的视频混流请求，视频混流请求包括待播放画面的尺寸信息、至少两个视频源的地址信息、待播放画面的矩阵布局信息，以及每个视频源在矩阵布局中所对应的图像位置信息，其中每个矩阵块中对应至少一个视频源；根据矩阵布局信息将矩阵布局中的全部矩阵块划分为至少两个区域，并根据图像位置信息，确定每个区域所对应的目标视频源；将全部区域所对应的任务分发到至少两个第一混流器，其中任务为基于区域中目标视频源的地址信息，获取目标视频源对应的第一视频流；接收第二混流器基于第二视频流所反馈的混合视频流，并按照待播放画面的尺寸信息对混合视频流进行尺寸校正，得到目标图像；其中第二视频流由第一混流器基于图像位置信息和矩阵块的块尺寸对第一视频流处理后发送给第二混流器，且混合视频流为对全部的第二视频流按照图像位置信息进行位置排布后的视频流；实现了将所需的视频源的视频拉取任务分布式的分配到至少两个第一混流器中，从而实现了通过多个第一混流器拉取视频流，增加了视频流的拉取效率，并且降低了网络带宽对视频拉取的限制，使得在视频源较多时可以通过增加第一混流器的方式来保证网络不发生堵塞；此外，第一混流器在获取到第一视频流后，按照客户端所发送的视频混流请求进行视频流的第一次混流，并将第一次混流后的第一视频流发送给第二混流器，由第二混流器对全部的第一视频流再次按照视频混流请求进行二次混流，缓解了第一混流器的混流压力，避免了网络堵塞导致的传输延迟问题。

技术特征：

1.一种视频混流方法，应用于混流服务器，其特征在于，包括：

2.根据权利要求1所述的视频混流方法，其特征在于，所述根据所述矩阵布局信息将所述矩阵布局中的全部矩阵块划分为至少两个区域，包括：

3.一种视频混流方法，应用于第一混流器，其特征在于，包括：

4.根据权利要求3所述的视频混流方法，其特征在于，所述按照所述目标视频源在矩阵布局中所对应的图像位置信息，对所述目标视频源所对应的第一视频流进行混流，得到第二视频流，包括：

5.根据权利要求3所述的视频混流方法，其特征在于，所述将所述第二视频流传输至第二混流器，包括：

6.根据权利要求5所述的视频混流方法，其特征在于，所述基于所述第二混流器当前所接收到的帧状态确定当前传输方式，包括：

7.根据权利要求5所述的视频混流方法，其特征在于，所述基于所述第二混流器当前所接收到的帧状态确定当前传输方式，包括：

8.一种视频混流系统，其特征在于，包括：客户端、混流服务器、第一混流器和第二混流器；其中，

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述方法的步骤，或实现如权利要求3至7中任一项所述方法的步骤。

10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2中任一项所述方法的步骤，或实现如权利要求3至7中任一项所述方法的步骤。

技术总结
本申请涉及视频传输技术领域，提供了一种视频混流方法、装置、电子设备及可读存储介质。该方法包括：接收客户端发送的视频混流请求，视频混流请求包括待播放画面的尺寸信息、至少两个视频源的地址信息、待播放画面的矩阵布局信息，以及每个视频源在矩阵布局中所对应的图像位置信息；根据矩阵布局信息将矩阵布局中的全部矩阵块划分为至少两个区域，并根据图像位置信息，确定每个区域所对应的目标视频源；将全部区域所对应的任务分发到至少两个第一混流器；接收第二混流器基于第二视频流所反馈的混合视频流，并按照待播放画面的尺寸信息对混合视频流进行尺寸变换，得到目标图像。本申请解决了视频流受网络带宽的限制的技术问题。

技术研发人员：解观海,刘俊,夏鹏程,郭中华
受保护的技术使用者：北京数字天堂信息科技有限责任公司
技术研发日：
技术公布日：2024/4/17