一种音视频的同步播放方法、系统、设备和存储介质与流程

本发明涉及音视频处理，尤其涉及一种音视频的同步播放方法、系统、设备和存储介质。

背景技术：

1、随着科技的不断发展，城市大屏已成为城市建设的重要组成部分。目前，城市通常会在闹市中设立超高清公共大屏，推动超高清视频在多领域的融合创新发展。

2、由于城市大屏处于闹市区，为避免户外音频播放造成噪音污染，城市大屏常常以静音模式播放，导致现场观众体验较差。因此，如何让大屏现场观众沉浸体验三维音频成为亟待解决的问题。

技术实现思路

1、本发明实施例的目的是提供一种音视频的同步播放方法、系统、设备和存储介质，其能够有效实现对音频和视频的同步播放，让现场用户能够在观看大屏视频内容时能够收听到对应的音频内容，且所观看的视频和所收听音频内容不存在时延。

2、为实现上述目的，本发明实施例提供了一种音视频的同步播放方法，应用于第一终端，所述方法包括：

3、对待播放的音视频流进行分离解码，得到音频流和视频流；

4、通过与第二终端建立的实时音视频互动连接，获取所述第一终端和所述第二终端之间的网络时延；

5、将所述视频流按照预设的第一延迟时间进行延迟渲染播放；

6、将所述音频流、所述第一延迟时间和所述网络时延发送给所述第二终端，以使所述第二终端基于所述第一延迟时间和所述网络时延对所述音频流进行延迟渲染播放。

7、作为上述方案的改进，所述音视频互动连接的建立，，包括：

8、创建实时音视频互动房间，并生成音视频互动链接，以使所述第二终端通过所述音视频互动链接加入所述音视频互动房间；

9、当所述第二终端加入所述音视频互动房间时，通过实时音视频网络服务建立与所述第二终端之间的实时音视频互动连接。

10、作为上述方案的改进，所述创建实时音视频互动房间，并生成音视频互动链接，以使第二终端通过所述音视频互动链接加入所述音视频互动房间，包括：

11、创建实时音视频互动房间，并生成音视频互动链接；

12、根据所述音视频互动链接，生成包含所述音视频互动链接的标识码；

13、将所述标识码在所述第一终端的显示屏上进行显示，以使所述第二终端通过扫描所述标识码加入所述音视频互动房间。

14、作为上述方案的改进，所述获取所述第一终端和所述第二终端之间的网络时延，包括：

15、响应于所述第二终端发送的时延请求，采用rtt标准算法计算所述第一终端和所述第二终端之间的往返时延；

16、根据所述往返时延，计算所述第一终端和所述第二终端之间的网络时延。

17、作为上述方案的改进，所述网络时延为第一网络时延和第二网络时延之和；其中，所述第一网络时延为所述第一终端与实时音视频网络服务之间的网络时延，所述第二网络时延为所述第二终端与所述实时音视频网络服务之间的网络时延。

18、作为上述方案的改进，所述第二终端能够基于所述第一延迟时间和所述网络时延计算第二延迟时间，并将所述音频流按照所述第二延迟时间进行延迟渲染播放；其中，所述第二延迟时间为所述第一延迟时间和所述网络时延之差。

19、本发明实施例还提供了一种音视频的同步播放方法，应用于第二终端，所述方法包括：

20、建立与第一终端的实时音视频互动连接；其中，所述第一终端能够对待播放的音视频流进行分离解码，得到音频流和视频流，并将所述视频流按照预设的第一延迟时间进行延迟渲染播放；

21、接收所述第一终端发送的所述音频流、所述第一延迟时间，以及所述第一终端和所述第二终端之间的网络时延；

22、根据所述第一延迟时间和所述网络时延，对所述音频流进行延迟渲染播放。

23、作为上述方案的改进，所述根据所述第一延迟时间和所述网络时延，对所述音频流进行延迟渲染播放，包括：

24、计算所述第一延迟时间和所述网络时延之差，得到第二延迟时间；

25、将所述音频流按照所述第二延迟时间进行延迟渲染播放。

26、本发明实施例还提供了一种音视频的同步播放装置，应用于第一终端，所述装置包括：

27、音视频流解码模块，用于对待播放的音视频流进行分离解码，得到音频流和视频流；

28、网络时延计算模块，用于通过与第二终端建立的实时音视频互动连接，获取所述第一终端和所述第二终端之间的网络时延；

29、视频流播放模块，用于将所述视频流按照预设的第一延迟时间进行延迟渲染播放；

30、数据发送模块，用于将所述音频流、所述第一延迟时间和所述网络时延发送给所述第二终端，以使所述第二终端基于所述第一延迟时间和所述网络时延对所述音频流进行延迟渲染播放。

31、本发明实施例还提供了一种音视频的同步播放装置，应用于第二终端，所述装置包括：

32、连接建立模块，用于建立与第一终端的实时音视频互动连接；其中，所述第一终端能够对待播放的音视频流进行分离解码，得到音频流和视频流，并将所述视频流按照预设的第一延迟时间进行延迟渲染播放；

33、数据接收模块，用于接收所述第一终端发送的所述音频流、所述第一延迟时间，以及所述第一终端和所述第二终端之间的网络时延；

34、音频流播放模块，用于根据所述第一延迟时间和所述网络时延，对所述音频流进行延迟渲染播放。

35、本发明实施例还提供了一种音视频的同步播放系统，包括第一终端和第二终端；其中，

36、所述第一终端，用于对待播放的音视频流进行分离解码，得到音频流和视频流，通过与第二终端建立的实时音视频互动连接获取所述第一终端和所述第二终端之间的网络时延；将所述视频流按照预设的第一延迟时间进行延迟播放，将所述音频流、所述第一延迟时间和所述网络时延发送给所述第二终端；

37、所述第二终端，用于基于所述第一延迟时间和所述网络时延对所述音频流进行延迟播放。

38、本发明实施例还提供了一种音视频的同步播放设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的音视频的同步播放方法。

39、本发明实施例还提供了一种计算机可读存储介质，其所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的音视频的同步播放方法。

40、与现有技术相比，本发明公开的音视频的同步播放方法、系统、设备和存储介质，通过建立第一终端和第二终端之间的实时音视频交互连接，由第一终端向第二终端发送音频流和时延两种类型的数据，且第二终端基于延迟算法对音频流进行延迟渲染播放，与现有技术中音频收听端仅获取发音频并对音频进行实时播放的方案相比，本技术方案有效地考虑了网络延迟的影响因素，能够实现第一终端的视频和第二终端的音频的同步播放。并且，相比于仅通过对视频播放端或音频收听端进行延时渲染播放处理的方案相比，本发明实施例是对第一终端和第二终端两侧都进行了改进，第一终端对视频流进行延迟播放，且第二终端基于延迟算法对音频流进行延迟播放，实现了音频和视频的同步播放，解决了音、视频播放不同步的问题，有效地为观看视频的现场观众提供了同步收听三维音频的沉浸式体验。