直播连麦中音视频合流处理方法、设备及存储介质与流程

本申请涉及多媒体处理，尤其涉及一种直播连麦中音视频合流处理方法、设备及存储介质。

背景技术：

1、随着直播行业的发展，各大直播服务平台推出了直播连麦服务。目前，直播连麦形式已经从主播与观众之间的直播连麦形式发展到主播之间的直播连麦形式，主播之间的直播连麦形式可以有效提升直播间的留存率、活跃度和转化率。

2、在主播之间进行直播连麦的情况下，合流服务器可以从内容分发网络（contentdelivery network，cdn）中拉取参与直播连麦的各主播端的直播数据，对这些直播数据进行合流，并将合流后的直播数据推送给相应直播间的观众。然而，合流后的直播数据在观众端播放时，容易出现音画不同步、杂音等各种问题，影响了直播效果。

技术实现思路

1、本申请的多个方面提供一种直播连麦中音视频合流处理方法、设备及存储介质，用以解决合流后的直播数据在观众端播放时，容易出现音画不同步、杂音等各种问题。

2、本申请实施例提供一种直播连麦中音视频合流处理方法，应用于合流服务器，该方法包括：响应目标主播端与其它主播端的连麦，向内容分发网络cdn中的目标cdn节点发送第一拉流请求，以请求目标主播端的实时直播数据；接收目标cdn节点根据第一拉流请求发送的目标主播端的实时直播数据；在无法对目标主播端的实时直播数据解码时，向目标主播端发送第一关键帧请求，以请求目标主播端生成并提供解码所需的第一视频关键帧；自接收到第一视频关键帧开始，对目标主播端后续可解码的实时直播数据和其它主播端的可解码的实时直播数据进行合流处理，以得到合流直播数据。

3、本申请实施例还提供一种直播连麦中音视频合流处理方法，应用于内存分发网络cdn节点，该方法包括：接收合流服务器在目标主播端与其它主播端连麦时发送的第一拉流请求，第一拉流请求用于请求目标主播端的实时直播数据；根据第一拉流请求，向合流服务器返回目标主播端的实时直播数据，以使所述合流服务器在无法对所述实时直播数据解码时，自接收到所述目标主播端提供的第一视频关键帧开始，对所述目标主播端后续可解码的实时直播数据和所述其它主播端的可解码的实时直播数据进行合流处理，以得到合流直播数据；其中，所述目标主播端在接收所述合流服务器发送的第一关键帧请求时返回的所述第一视频关键帧。

4、本申请实施例还提供一种电子设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行直播连麦中音视频合流处理方法中的步骤。

5、本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现直播连麦中音视频合流处理方法中的步骤。

6、本申请实施例提供一种直播连麦中音视频合流处理方法、设备及存储介质，在本申请实施例中，在目标主播端与其它主播端的连麦的情况下，合流服务器从内容分发网络cdn中拉取目标主播端的实时直播数据；在无法对目标主播端的实时直播数据解码时，请求获取目标主播端提供解码所需的视频关键帧；自接收到视频关键帧开始，对目标主播端后续可解码的实时直播数据和其它主播端的可解码的实时直播数据进行合流处理，以得到合流直播数据。由此，提供一种新的直播数据合流方式，相比于从合流服务器的音视频缓冲区拉取缓存的直播数据，使用实时直播数据进行合流可以解决合流数据之间的时间同步问题，进而得到的合流直播数据在观众端播放时，能够极大地降低出现音画不同步、杂音等各种问题的概率，保证了直播效果；另外，在获取到的实时直播数据无法解码时，主动向主播端请求解码所需的视频关键帧，及时对实时直播数据进行解码、合流和播放，有利于满足直播连麦的响应延迟，具有更好的用户体验。

技术特征：

1.一种直播连麦中音视频合流处理方法，其特征在于，应用于合流服务器，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，响应目标主播端与其它主播端的连麦，向内容分发网络cdn中的目标cdn节点发送第一拉流请求，以请求所述目标主播端的实时直播数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述目标主播端的标识信息包括所述目标主播端的统一资源定位器url，则根据所述目标主播端的标识信息，生成包含拉流参数的第一拉流请求，包括：

4.根据权利要求1所述的方法，其特征在于，在无法对所述目标主播端的实时直播数据解码时，向所述目标主播端发送第一关键帧请求，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，自接收到所述第一视频关键帧开始，对所述目标主播端后续可解码的实时直播数据和所述其它主播端的可解码的实时直播数据进行合流处理，以得到合流直播数据，包括：

6.根据权利要求5所述的方法，其特征在于，将所述目标主播端在第一目标时间之后的直播解码数据和所述其它主播端在第一目标时间之后的直播解码数据进行合流，以得到合流结果数据，包括：

7.根据权利要求5所述的方法，其特征在于，在所述其它主播端仅与所述目标主播端连麦的情况下，在得到合流结果数据之前，还包括：

8.根据权利要求5所述的方法，其特征在于，在所述其它主播端为至少两个，且至少两个其它主播端之间已连麦的情况下，在得到合流结果数据之前，还包括：

9.根据权利要求1-4以及6-8中任一项所述的方法，其特征在于，还包括以下至少一种操作：

10.一种直播连麦中音视频合流处理方法，其特征在于，应用于内存分发网络cdn节点，所述方法包括：

11.根据权利要求10所述的方法，其特征在于，还包括：

12.一种电子设备，其特征在于，包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器耦合至所述存储器，用于执行所述计算机程序以用于执行权利要求1-11任一项所述方法中的步骤。

13.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器能够实现权利要求1-11任一项所述方法中的步骤。

技术总结
本申请实施例提供一种直播连麦中音视频合流处理方法、设备及存储介质，在本申请实施例中，提供一种新的直播数据合流方式，相比于从合流服务器的音视频缓冲区拉取缓存的直播数据，使用实时直播数据进行合流可解决合流数据之间的时间同步问题，进而得到的合流直播数据在观众端播放时，能够极大地降低出现音画不同步、杂音等各种问题的概率，保证了直播效果；另外，在获取到的实时直播数据无法解码时，主动向主播端请求解码所需的视频关键帧，及时对实时直播数据进行解码、合流和播放，有利于满足直播连麦的响应延迟，具有更好的用户体验。

技术研发人员：殷国甫,陈颖,刘旭,吕信炎
受保护的技术使用者：淘宝（中国）软件有限公司
技术研发日：
技术公布日：2024/2/6