一种音频视频同步的方法和云端处理系统与流程

本发明涉及数据传输，具体涉及一种音频视频同步的方法和一种云端处理系统。

背景技术：

1、现有技术中，播放影音文件的时候，往往需要在播放端播放视频文件和音频文件。视频和音频从数据传输至播放端，到通过播放端播放出来时，一般分别要分别经历编码、传输和解码过程。为了保证在播放端实现音频和视频的同步，往往是利用外部时钟作为基准来校正音频和视频的播放节奏，以达到人的感知上认为播放的视频和音频达到同步的效果。

2、但是，在向播放端传输视频文件和音频文件的过程中，还会存在网络拥塞等网络延迟的问题，导致视频文件或者音频文件不能及时传输到播放端，或者两者中的一者传输到播放端且完成处理等待播放之前，需要等待另一者完成传输和处理。这样就会导致两者中的一者到了计划要播放的时间点，两者中的另一者还没有达到等待播放的状态，这种音频和视频由于网络延迟而频繁缓冲或不能同步的现象，导致影音播放效果不佳，降低了用户的体验感。

技术实现思路

1、本发明的主要目的是提供一种音频视频同步的方法和一种云端处理系统，旨在解决现有技术中的音频和视频由于网络延迟而频繁缓冲或不能同步的现象降低用户体验的弊端。

2、为实现上述目的，本发明提出的一种音频视频同步的方法包括如下步骤：

3、待播放的视频文件通过云端的第一传输通道向播放端传输，待播放的音频文件通过云端的第二传输通道向播放端传输；

4、播放端根据视频文件的接收和播放，并根据音频文件的接收和播放，预测由于视频文件和音频文件的传输不畅导致的异常播放时段，并获取异常播放时段原本对应的应播放的视频片段和音频片段；

5、根据异常播放时段，计算按照当前播放速率的正常播放时段；

6、根据正常播放时段和异常播放时段，调整播放端的播放速率，以为未来的异常播放时段预留等待时长。

7、优选地，所述根据正常播放时段和异常播放时段，调整播放端的播放速率，以为未来的异常播放时段预留等待时长的步骤，包括：

8、计算异常播放时段原本对应的应播放的视频片段和音频片段传输至播放端的等待时长；

9、计算延长正常播放时段以等待异常播放时段结束，所需要设置的校正播放速率；

10、若校正播放速率不低于设置的播放速率下限，则将播放端的播放速率调整为校正播放速率，以为未来的异常播放时段预留等待时长。

11、优选地，所述方法，还包括：

12、将视频采集终端采集的视频文件，和音频采集终端采集的音频文件，分别按照采集时间采用同步的时间戳进行标记；

13、在对视频文件和音频文件进行编码时，将时间戳分为若干依次连续且等长的时间片段；

14、将视频文件处理成对应每一时间片段的多个视频压缩包，将音频文件处理成对应每一时间片段的多个音频压缩包；

15、将对应于同一时间片段的视频压缩包和音频压缩包采用同一特征码进行标记，以使同一特征码关联到时间片段的起止时间，其中，特征码用于标记同一时间片段对应的视频压缩包和音频压缩包的对应关系，同一特征码对应的视频压缩包和音频压缩包属于同一影音片段。

16、优选地，所述待播放的视频文件通过云端的第一传输通道向播放端传输，待播放的音频文件通过云端的第二传输通道向播放端传输的步骤，包括：

17、将对应每一时间片段的各个视频压缩包通过第一传输通道分别向播放端传输；

18、将对应每一时间片段的各个音频压缩包通过第二传输通道分别向播放端传输。

19、优选地，所述播放端根据视频文件的接收和播放，并根据音频文件的接收和播放，预测由于视频文件和音频文件的传输不畅导致的异常播放时段，并获取异常播放时段原本对应的应播放的视频片段和音频片段的步骤，包括：

20、云端按照预设周期获取播放端的当前播放速率，根据初设播放速率和当前播放速率的比值，确定未播放的每一影音片段的调整播放时长；

21、获取第一传输通道和第二传输通道的传输速率和等待队列，以预测播放端对每一视频压缩包和每一音频压缩包分别对应的预测接收时间；其中，第一传输通道的等待队列中通过视频压缩包对应的特征码排序，第二传输通道的等待队列中通过音频压缩包对应的特征码排序，播放端成功接收的视频压缩包的特征码和音频压缩包的特征码从对应的等待队列中移除；

22、根据每一视频压缩包的预测接收时间、每一音频压缩包的预测接收时间、每一视频压缩包的设定解码时长、每一音频压缩包的设定解码时长、播放端正在播放的影音片段的结束时间、未播放的每一影音片段的调整播放时长，以及每一影音片段的前一影音片段的预测播放时段，预测每一影音片段的预测播放时段；

23、获取相邻影音片段的预测播放时段中是否存在未衔接时段；

24、若存在，将未衔接时段作为异常播放时段，获取异常播放时段与调整播放时长的比值，以确定播放异常的影音片段对应的异常片段数量，并根据异常片段数量将位于未衔接时段后的相等数量的预测播放时段对应的影音片段，作为异常播放时段原本对应的应播放的视频压缩包和音频压缩包。

25、优选地，所述根据异常播放时段，计算按照当前播放速率的正常播放时段的步骤，包括：

26、根据每一影音片段的预测播放时段的集合，确定正常播放时段。

27、优选地，所述根据正常播放时段和异常播放时段，调整播放端的播放速率，以为未来的异常播放时段预留等待时长的步骤，还包括：

28、获取正常播放时段对应的第一总时长，并获取所有异常播放时段对应的第二总时长；

29、根据第一总时长与第二总时长，调整播放端的播放速率，以为未来的异常播放时段预留等待时长。

30、优选地，调整播放端的播放速率具体参照如下方式：

31、；

32、其中，为第i个周期内的当前播放速率，i≥1；，为正常播放时段对应的第一总时长，为所有异常播放时段对应的第二总时长，为第i个周期内的调整后的播放速率，；为播放速率下限，为播放端的初设播放速率；

33、；

34、为第f个预测播放时段对应的时长，，为预测播放时段的数量；

35、；

36、为第g个异常播放时段，，g为异常播放时段的数量。

37、优选地，所述方法，还包括：

38、云端建立第一控制表，并将每一特征码和每一特征码对应的时间片段记录于所述第一控制表；其中，第一控制表中的各特征码按照各个影音片段的时间片段先后顺序依次排列；

39、云端将第一控制表和调整播放时长发送至播放端；

40、播放端建立第二控制表；

41、播放端根据播放起点时间和每一特征码对应的影音片段的调整播放时长，确定每一特征码对应的影音片段的计划播放时段；

42、播放端根据每一特征码对应的影音片段的计划播放时段、每一视频压缩包的设定解码时长和每一音频压缩包的设定解码时长，得到每一特征码对应的影音片段的最迟接收时间；其中，最迟接收时间指的是在满足正常播放的情况下，播放端接收到同一特征码对应的视频压缩包和音频压缩包的最迟时间；

43、播放端根据每一特征码、每一特征码对应的时间片段、每一特征码对应的影音片段的计划播放时段、每一特征码对应的影音片段的最迟接收时间，建立第二控制表，以通过第二控制表从播放端接收的角度侦测异常播放时段。

44、此外，为实现上述目的，本发明还提出一种云端处理系统，用于执行所述的方法；所述系统包括云端，所述云端分别与视频采集终端、音频采集终端采集和播放端通信连接。

45、本发明的技术方案中，播放端侦测视频文件和音频文件的播放进度，并侦测自身对视频文件和音频文件的接收情况，因此，在第一传输通道或第二传输通道存在网络拥塞等网络延迟的问题时，播放端能识别到这种传输的延迟，然后根据传输情况和播放情况，预测由于视频文件和音频文件的传输不畅导致的异常播放时段，根据异常播放时段确定按照当前播放速率的正常播放时段，根据正常播放时段和异常播放时段，来调整播放端的播放速率，以为未来的异常播放时段预留等待时长。从而，本发明由于均匀地调整了当前的播放速率，延长了正常播放时段对应的影音片段的播放时间，为视频文件或音频文件的后续传输预留了更多的等待时间。在异常播放时段相比正常播放时段比值较小的时候，这种播放速率的适当降低用户难以觉察，从而，通过预测异常播放时段来调整当前播放端的播放速率，有利于降低播放端的播放频繁卡滞或影音不同步现象，有利于避免现有技术中这种视频和音频由于网络延迟而频繁缓冲或不能同步的现象造成的降低用户的体验感的弊端。