一种同步播放方法、装置、计算机设备和存储介质与流程

本公开属于视频处理，具体涉及一种同步播放方法、装置、计算机设备和存储介质。

背景技术：

1、随着计算机多媒体技术的发展，直播、投屏、视频教学等应用场景逐渐进入人们的生活。然而，在多媒体视频播放过程中，常常由于各种问题(例如信号的延迟、外接设备的影响、快进、快退等等)，导致播放的声音与图像不同步，从而影响用户体验。现有技术中，往往需要用户手动调整视频或设备，调整方式较为繁琐，影响用户体验。

技术实现思路

1、本公开旨在至少解决现有技术中存在的技术问题之一，提供一种同步播放方法、装置、计算机设备和存储介质。

2、第一方面，解决本公开技术问题所采用的技术方案是一种同步播放方法，包括：

3、接收多媒体数据流；

4、对所述多媒体数据流中连续的多帧视频进行逐帧处理，得到每一帧所述视频对应的音频和每一帧所述视频对应的图像，所述音频携带有第一系统时间戳，所述图像携带有第二系统时间戳；

5、在每得到一帧所述视频对应的音频后，根据该视频所对应的所述音频携带的第一系统时间戳和当前系统时间，确定所述音频的播放方式；以及，在每得到一帧所述视频对应的图像后，根据该视频所对应的所述图像携带的第二系统时间戳和所述当前系统时间，确定所述图像的播放方式。

6、在一些实施例中，所述对所述多媒体数据流中连续的多帧视频进行逐帧处理，得到每一帧所述视频对应的音频和每一帧所述视频对应的图像，包括：

7、对所述多媒体数据流中连续的多帧视频进行逐帧分流，得到每一帧所述视频对应的音频数据和每一帧所述视频对应的图像数据；

8、在每得到一帧所述视频对应的音频数据后，为该视频所对应的所述音频数据添加第一系统时间戳，并对该视频所对应的所述音频数据进行解码，得到所述音频，且所述音频携带有所述第一系统时间戳；

9、在每得到一帧所述视频对应的图像数据后，为该视频所对应的所述图像数据添加第二系统时间戳，并对该视频所对应的所述图像数据进行解码，得到所述图像，且所述图像携带有所述第二系统时间戳。

10、在一些实施例中，在所述对所述多媒体数据流中连续的多帧视频进行逐帧分流，得到每一帧所述视频对应的音频数据和每一帧所述视频对应的图像数据之后，还包括：

11、在每得到一帧所述视频对应的音频数据后，对所述音频数据进行解码，得到所述音频的同时，得到所述音频携带的第一显示时间戳；

12、在每得到一帧所述视频对应的图像数据后，对所述图像数据进行解码，得到所述图像的同时，得到所述图像携带的第二显示时间戳。

13、在一些实施例中，所述根据该视频所对应的所述音频携带的第一系统时间戳和当前系统时间，确定所述音频的播放方式，包括：

14、根据所述视频所对应的所述音频携带的所述第一系统时间戳和所述当前系统时间，确定所述音频的第一播放时延；

15、在所述第一播放时延小于或等于第一预设阈值的情况下，播放上一帧所述视频对应的音频；在所述第一播放时延大于所述第一预设阈值，且小于第二预设阈值的情况下，播放当前所述视频对应的音频；在所述第一播放时延大于所述第二预设阈值的情况下，播放下一帧所述视频对应的音频。

16、在一些实施例中，所述根据该视频所对应的所述图像携带的第二系统时间戳和所述当前系统时间，确定所述图像的播放方式，包括：

17、根据所述视频所对应的所述图像携带的所述第二系统时间戳和所述当前系统时间，确定所述图像的第二播放时延；

18、在所述第二播放时延小于或等于第一预设阈值的情况下，播放当前所述视频对应的图像；

19、在确定所述第二播放时延大于所述第一预设阈值的情况下，根据所述当前系统时间，确定最近播放的所述音频；并根据最近播放的所述音频的第一显示时间戳和当前所述视频所对应的所述图像的第二显示时间戳，在确定所述第一显示时间戳与所述第二显示时间戳之间的差值小于或等于第三预设阈值的情况下，播放当前所述视频对应的图像；在确定所述第一显示时间戳与所述第二显示时间戳之间的差值大于第三预设阈值的情况下，播放下一帧所述视频对应的图像。

20、在一些实施例中，所述在所述第二播放时延小于或等于第一预设阈值的情况下，播放当前所述视频对应的图像，包括：

21、在所述第二播放时延小于或等于第一预设阈值的情况下，根据预先设置的初始图像播放帧率，确定目标播放帧率，并按照所述目标播放帧率播放当前所述视频对应的图像。

22、在一些实施例中，所述在确定所述第一显示时间戳与所述第二显示时间戳之间的差值小于或等于第三预设阈值的情况下，播放当前所述视频对应的图像，包括：

23、在所述第二显示时间戳与所述第一显示时间戳之间的差值的绝对值小于第四预设阈值的情况下，按照预先设置的初始图像播放帧率，播放当前所述视频对应的图像；所述第四预设阈值小于所述第三预设阈值；

24、在所述第二显示时间戳与所述第一显示时间戳之间的差值大于或等于第四预设阈值的情况下，按照所述初始图像播放帧率的第一预设倍数，播放当前所述视频对应的图像；所述第一预设倍数为小于1的正数；

25、在所述第一显示时间戳与所述第二显示时间戳之间的差值大于或等于第四预设阈值，且小于所述第三预设阈值的情况下，按照所述初始图像播放帧率的第二预设倍数，播放当前所述视频对应的图像；所述第二预设倍数大于1。

26、在一些实施例中，所述第一预设倍数的大小是基于所述第二显示时间戳与所述第一显示时间戳之间的差值大小确定的；和/或

27、所述第二预设倍数的大小是基于所述第一显示时间戳与所述第二显示时间戳之间的差值大小确定的。

28、第二方面，本公开实施例还提供了一种同步播放装置，包括接收模块、处理模块、图像显示模块和音频显示模块；

29、所述接收模块，被配置为接收多媒体数据流；

30、所述处理模块，被配置为对所述多媒体数据流中连续的多帧视频进行逐帧处理，得到每一帧所述视频对应的音频和每一帧所述视频对应的图像，所述音频携带有第一系统时间戳，所述图像携带有第二系统时间戳；

31、所述音频显示模块，被配置为在每得到一帧所述视频对应的音频后，根据该视频所对应的所述音频携带的第一系统时间戳和当前系统时间，确定所述音频的播放方式；

32、所述图像显示模块，被配置为在每得到一帧所述视频对应的图像后，根据该视频所对应的所述图像携带的第二系统时间戳和所述当前系统时间，确定所述图像的播放方式。

33、第三方面，本公开实施例还提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述实施例中任一项所述的同步播放方法的步骤。

34、第四方面，本公开实施例还提供了一种计算机非瞬态可读存储介质，其中，该计算机非瞬态可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述实施例中任一项所述的同步播放方法的步骤。