音视频同步的检测方法和装置、存储介质及电子设备与流程

1.本发明涉及多媒体技术领域，具体而言，涉及一种音视频同步的检测方法和装置、存储介质及电子设备。


背景技术：

2.音视频同步是多媒体播放非常重要的播放要求。在网络上传输多媒体数据时，会由于播放终端对数据的处理方式，以及网络中的延时、抖动，而引起音视频的不同步，出现播放声音与显示画面不同步的缺陷。在对于音视频同步性要求较高的播放终端，会大大降低用户体验。
3.而现有的播放终端都是依赖于视频帧和音频帧的时间戳进行音视频对齐，通常是以音频帧的时间戳作为基准，然后查找在时间戳上与音频帧对应的视频帧。在查找匹配后，依旧可能因为网络问题、缓存区问题等，导致所播放的音视频不同步。而对于播放的音视频是否同步，通常是在播出后，才能通过反馈发现，但此时不同步的音视频已经播出，大大降低了了用户的观看体验。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种音视频同步的检测方法和装置、存储介质及电子设备，以至少解决未能及时发现音视频不同步导致的用户观看体验差的技术问题。
6.根据本发明实施例的一个方面，提供了一种音视频同步的检测方法，包括：接收音频流和视频流，其中，上述音频流为基于时间顺序构建的音频数据包序列，上述视频流为基于上述时间顺序构建的视频数据包序列；在从上述视频流中确定出当前待播放的目标视频数据包的情况下，提取上述目标视频数据包中携带的参考音频参数，其中，上述参考音频参数是与上述目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数；在上述参考音频参数与上述待播放音频序列中的目标音频数据包相匹配的情况下，确定上述视频流与上述音频流当前处于播放同步状态。
7.根据本发明实施例的另一方面，还提供了一种音视频同步的检测装置，包括：接收单元，用于接收音频流和视频流，其中，上述音频流为基于时间顺序构建的音频数据包序列，上述视频流为基于上述时间顺序构建的视频数据包序列；获取单元，用于在从上述视频流中确定出当前待播放的目标视频数据包的情况下，提取上述目标视频数据包中携带的参考音频参数，其中，上述参考音频参数是与上述目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数；确定单元，用于在上述参考音频参数与上述待播放音频序列中的目标音频数据包相匹配的情况下，确定上述视频流与上述音频流当前处于播放同步状态。
8.根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述音视
频同步的检测方法。
9.根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的音视频同步的检测方法。
10.在本发明实施例中，采用在接收到基于时间顺序构建的音频数据包序列的音频流和基于时间顺序构建的视频数据包序列的视频流的情况下，从视频流中确定出的待播放的目标音频数据包中携带的参考音频参数，在参考音频参数与待播放音频序列中的目标音频数据包相匹配的情况下，确定音频流与视频流在当前处于播放同步状态的方式，通过在播放前提取待播放的目标视频数据包中的参考音频参数，通过指示与秒视频数据同时生成的参考音频数据的音频参数，确定参考音频参数与目标音频数据包相匹配以确定视频流和音频流当前处于播放同步状态，达到了在目标视频数据包播放之前，进行视频流与音频流当前播放是否同步的检测的目的，从而实现了在视频播放之前对音频与视频的播放同步进行检测以及时确定音频与视频播放是否处于播放同步状态的技术效果，进而解决了未能及时发现音视频不同步导致的用户观看体验差的技术问题。
附图说明
11.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
12.图1是根据本发明实施例的一种可选的音视频同步的检测方法的应用环境的示意图；
13.图2是根据本发明实施例的一种可选的音视频同步的检测方法的流程示意图；
14.图3是根据本发明实施例的一种可选的音视频同步的检测方法的流程示意图；
15.图4是根据本发明实施例的一种可选的音视频同步的检测方法的流程示意图；
16.图5是根据本发明实施例的一种可选的音视频同步的检测方法的待播放序列示意图；
17.图6是根据本发明实施例的一种可选的音视频同步的检测方法的流程示意图；
18.图7是根据本发明实施例的一种可选的音视频同步的检测方法的待播放序列示意图；
19.图8是根据本发明实施例的一种可选的音视频同步的检测装置的结构示意图；
20.图9是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
21.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
22.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
23.根据本发明实施例的一个方面，提供了一种音视频同步的检测方法，可选地，上述音视频同步的检测方法可以但不限于应用于如图1所示的环境中。播放终端110通过网络110接收服务器120发送的音频流和视频流，以在播放终端110中播放音频和视频。播放终端110在播放前对音频流和视频流当前播放是否同步进行检测，并将同步检测结果通过网络110发送给服务器120。
24.播放终端100对音频流和视频流的播放同步检测不限于通过依次执行 s102至s106实现。s102，接收音频流和视频流。音频流为基于时间顺序构建的音频数据包序列，视频流为基于时间顺序构建的视频数据包序列。 s104，提取参考音频参数。在从视频流中确定出当前待播放的目标视频数据包的情况下，提取目标视频数据包中携带的参考音频参，参考音频参数是与目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数。s106，确定当前处于播放同步状态。在参考音频参数与待播放音频序列中的目标音频数据包相匹配的情况下，确定视频流与音频流当前处于播放同步状态。
25.可选地，在本实施例中，上述播放终端100可以是配置有播放音频和视频的目标客户端的终端设备，可以包括但不限于以下至少之一：手机(如 android手机、ios手机等)、笔记本电脑、平板电脑、掌上电脑、mid(mobileinternet devices，移动互联网设备)、pad、台式电脑、智能家居设备等。目标客户端可以是音频客户端、视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络110可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、wifi及其他实现无线通信的网络。上述服务器120可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
26.作为一种可选的实施方式，如图2所示，上述音视频同步的检测方法包括：
27.s202，接收音频流和视频流，其中，音频流为基于时间顺序构建的音频数据包序列，视频流为基于时间顺序构建的视频数据包序列；
28.s204，在从视频流中确定出当前待播放的目标视频数据包的情况下，提取目标视频数据包中携带的参考音频参数，其中，参考音频参数是与目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数；
29.s206，在参考音频参数与待播放音频序列中的目标音频数据包相匹配的情况下，确定视频流与音频流当前处于播放同步状态。
30.音频流和视频流是按照同样的时间顺序构建的数据包序列，不限于是按照生成时间顺序排列。音频流中包括的音频数据包和视频流中包括的视频数据包不限于是同时生成的音频数据和视频数据的数据包。每个音频数据包中所包含的音频数据的数据量不限于相同，每个视频数据包中所包含的音频数据的数据量不限于相同，而每个音频数据包中包含的音频数据量与每个视频数据包所包含的视频数据量不限于相同，以使得同步生成的视频数据和音频数据保存在对应的数据包中。
31.视频流中每个视频数据包均携带有参考音频参数，视频数据包中的参考音频参数是与视频数据包中的视频数据同步生成的音频数据的特征参数。在同时生成的音频数据包与视频数据包对应的情况下，视频数据包中携带的参考音频参数为对应的音频数据包中的音频数据的特征参数。
32.视频流中当前待播放的目标视频数据包不限于是位于待播放视频序列首位的视频数据包，根据比对目标视频数据包中携带的参考音频参数与目标音频数据包的音频参数确定音频流与视频流当前播放状态是否同步。
33.音频流中的待播放音频序列不限于包括待播放音频数据包和当前已经播放过的n个音频数据包。目标音频数据包的数量可以为一或大于一，目标音频数据包可以是待播放音频序列中包括的已经播放过的音频数据包。
34.在目标视频数据包的参考音频参数与目标音频数据包相匹配的情况下，确定视频流与音频流当前处于播放同步状态。不限于对待播放视频序列中的每一个目标视频数据包在播放前进行同步检测，以确定每一个目标视频数据包处于与音频数据播放同步状态下才进行音频流和视频流的播放。
35.在本技术实施例中，采用在接收到基于时间顺序构建的音频数据包序列的音频流和基于时间顺序构建的视频数据包序列的视频流的情况下，从视频流中确定出的待播放的目标音频数据包中携带的参考音频参数，在参考音频参数与待播放音频序列中的目标音频数据包相匹配的情况下，确定音频流与视频流在当前处于播放同步状态的方式，通过在播放前提取待播放的目标视频数据包中的参考音频参数，确定参考音频参数与目标音频数据包相匹配以确定视频流和音频流当前处于播放同步状态，达到了在目标视频数据包播放之前，进行视频流与音频流当前播放是否同步的检测的目的，从而实现了在视频播放之前对音频与视频的播放同步进行检测以及时确定音频与视频播放是否处于播放同步状态的技术效果，进而解决了未能及时发现音视频不同步导致的用户观看体验差的技术问题。
36.作为一种可选的实施方式，在提取所述目标视频数据包中携带的参考音频参数之后，还包括：
37.s1，在参考音频参数与目标音频数据包不匹配的情况下，确定音频流与视频流当前处于播放异步状态；
38.s2，上报异步播放信息给服务器，其中，异步播放信息用于指示播放终端中的音频流的待播放音频和视频流的待播放视频的数据内容不匹配。
39.在目标视频数据包中的参考音频参数与目标音频数据包不匹配时，确定音频流和视频流当前播放并不同步，将播放异步上报给服务器，以实现在音频数据包播放前实现对于播放异步的确定，并及时上报给服务器，以使服务器在播放前进行音频流和视频流的调整，避免了播放异步的出现导致的播放体验差的问题。
40.作为一种可选的实施方式，提取目标视频数据包中携带的参考音频参数包括：从目标视频数据包的扩展区中提取参考音频参数，其中，参考音频参数是参考音频数据的音频指纹参数。
41.视频数据包的扩展区不限于用于存储不包含图像特征的区域，拓展区中不包含图像特征的数据不限于并不用于播放显示，而是用于存储校验数据或特征数据。为保证数据的无损，扩展区不限于使用无量化的无损编码方式对存储的音频特征参数进行编码。
42.参考音频参数是与视频数据同时生成的音频数据的音频指纹参数。音频指纹参数是利用与视频数据包中全部的视频数据对应的全部音频数据计算得到的音频指纹数据。不限于利用预设算法对音频数据进行指纹数据的提取得到的指纹参数。将与视频数据同时生成，也就是同步的音频数据的指纹参数携带在视频数据包的扩展区中，以便于进行音频和视频的同步检测。
43.在本技术实施例中，利用视频数据包中的扩展区存储同时生成，也就是与视频数据同步的音频数据的参考音频参数，以基于参考音频参数确定是否与目标音频数据包处于播放同步状态，从而在播放前及时地进行播放同步检测，保证音频与视频在处于播放同步的状态下进行播放。
44.在基于参考音频参数确定是否与目标音频数据包匹配的情况下，不限于在提取参考音频参数之前或之后，获取待播放音频序列中目标音频数据包的目标音频参数，通过目标音频参数与参考音频参数的比对，确定参考音频参数是否与目标音频数据包匹配。
45.作为一种可选的实施方式，如图3所示，在提取所述目标视频数据包中携带的参考音频参数之后，还包括：
46.s302，确定音频流的待播放音频序列中位于目标序位上的目标音频数据包；
47.s304，获取目标音频数据包中包括的目标音频数据；
48.s306，计算目标音频数据的音频指纹参数，得到目标音频数据包的目标音频参数。
49.将音频流中当前待播放音频序列中当前位于目标序位上音频数据包确定为目标音频数据包。目标序位不限于是根据待播放音频序列首位确定出的序位或序位范围，例如，待播放音频序列首位，待播放音频序列第二位。在带播放音频序列包括已播放音频数据包的情况下，目标序位还可以是负一位、负二位等序位。已播放音频数据包在待播放序列中的序位不限于根据待播放音频序列首位确定。例如，按照播放倒序将已播放音频数据包分别确定为待播放序列负一位、负二位
……
负n位。
50.在目标序位为待播放序列首位的情况下，获取带播放序列中的目标视频包，根据目标音频数据包中的目标音频数据计算得到目标音频数据的音频指纹参数，作为目标音频数据包的目标音频参数。
51.作为一种可选的实施方式，如图4所示，在得到目标音频数据包的音频参数之后，还包括：
52.s402，比对目标音频参数和参考音频参数；
53.s404，在目标音频参数与参考音频参数一致的情况下，确定参考音频参数与目标音频数据包相匹配。
54.在提取到目标视频数据包的参考音频性参数，并计算得到目标音频数据包的目标音频参数之后，比对目标音频参数和参考音频参数。在比对结果指示目标音频参数与参考音频参数一致，则确定目标视频数据包的参考音频参数与目标音频数据包相匹配。在比对结果指示目标音频参数与参考音频参数不一致，则确定目标视频数据包的参考音频参数与目标音频数据包不匹配，从而确定音频流与视频流在当前待播放的音频与视频内容并不同步。
55.根据音频流中待播放音频序列与视频流中待播放视频序列进行当前待播放音频和视频的同步检测不限于如图5所示。待播放视频序列510为当前待播放视频数据包和生成
时间位于其后的视频数据包构成，因此位于待播放视频序列510首位的为视频包1，第二位为视频包2依次类推，即视频包1为目标视频数据包。假设待播放音频序列520包括已播放的音频包1为例，当前待播放的音频包2依旧是待播放音频序列520的首位，已播放的音频包1则为待播放音频序列520的负一位。以目标位序为待播放音频序位的首位为例，则目标音频数据包为音频包2。通过比对从视频包 1中提取的参考音频参数和计算音频包2得到的目标音频参数的一致性，在参数数值一致的情况下，确定视频包1与音频包2的数据内容同步，即当前播放处于播放同步状态，则播放终端播放视频包1和音频包2，保证数据内容同步。
56.作为一种可选的实施方式，在目标序位包括多个候选序位的情况下，依次确定位于多个候选序位上的候选音频数据包；计算候选音频数据包的候选音频参数。
57.目标序位还可以包括多个候选序位，多个候选序位不限于是以首位分别向两方对称延伸，例如目标序位包括负一位、首位和第二位这三个候选序位，或者包括负二位、负一位、首位、第二位和第三位这五个候选序位，还可以包括更多个候选序位，在此不再赘述。
58.在目标序位包括多个候选序位的情况下，依次获取位于每个候选序位上的候选音频数据包，并计算每个候选音频数据包对应的候选音频参数。
59.作为一种可选的实施方式，如图6所示，在计算候选音频数据包的候选音频参数之后，还包括：
60.s602，依次比对多个候选音频参数和参考音频参数；
61.s604，在多个候选音频参数中包括与参考音频参数一致的目标候选音频参数的情况下，将目标候选音频参数对应的候选音频数据包确定为目标音频数据包，并确定参考音频参数与目标音频数据包相匹配。
62.在依次比对候选音频参数和参考音频参数时，如果确定当前候选音频参数和参考音频参数一致，在将当前候选音频参数确定为目标候选音频参数，并确定当前候选音频数据包为目标音频数据包，在确定出目标音频数据包的情况下，则停止比对，并确定参考音频参数与目标音频数据包相匹配。
63.在比对完全部候选音频参数和参考音频参数，确定候选音频参数中不存在与参考音频参数一致的候选音频参数的情况下，则确定参考音频参数与全部候选音频数据包均不匹配，则确定参考音频参数与目标音频数据包不匹配。
64.根据音频流中待播放音频序列与视频流中待播放视频序列进行当前待播放音频和视频的同步检测不限于如图7所示。以目标序位包括负一位、首位和第二位这三个序位为例，在提取到待播放视频序列首位的视频包1 的参考音频参数的情况下，确定当前位于待播放音频序列720负一位的音频包1、首位的音频包2和第二位的音频包3。分别计算音频包1、音频包 2和音频包3的音频参数，得到音频参数1、音频参数2和音频参数3。依次比对音频参数1、音频参数2和音频参数3与视频包1的参考音频参数。
65.假设音频参数1与参考音频参数一致，则将音频包1确定为目标音频数据包，且参考音频参数与目标音频数据包相匹配，当前音视频播放处于同步状态。同样，在音频参数2或音频参数3与参考音频参数一致的情况下，也能确定当前音视频播放处于同步状态。
66.假设音频参数1、音频参数2、音频参数3均与参考音频参数不一致，则确定参考音频参数与目标音频参数不匹配，当前音视频播放处于异步状态。
67.在本技术实施例中，通过在目标序位包括多个候选序位的方式，实现了为音视频
播放设置同步阈值，也就是不影响播放同步性阈值，从而避免不影响播放同步性的异步状态被上报，从而实现在播放终端播放前对音视频同步播放的检测。
68.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
69.根据本发明实施例的另一个方面，还提供了一种用于实施上述音视频同步的检测方法的音视频同步的检测装置。如图8所示，该装置包括：
70.接收单元802，用于接收音频流和视频流，其中，音频流为基于时间顺序构建的音频数据包序列，视频流为基于时间顺序构建的视频数据包序列；
71.获取单元804，用于在从视频流中确定出当前待播放的目标视频数据包的情况下，提取目标视频数据包中携带的参考音频参数，其中，参考音频参数是与目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数；
72.确定单元806，用于在参考音频参数与待播放音频序列中的目标音频数据包相匹配的情况下，确定视频流与音频流当前处于播放同步状态。
73.可选地，上述获取单元804还用于从目标视频数据包的扩展区中提取参考音频参数，其中，参考音频参数是参考音频数据的音频指纹参数。
74.可选地，上述音视频同步的检测装置还包括音频获取单元，用于在提取所述目标视频数据包中携带的参考音频参数之后，确定音频流的待播放音频序列中位于目标序位上的目标音频数据包；获取目标音频数据包中包括的目标音频数据计算目标音频数据的音频指纹参数，得到目标音频数据包的目标音频参数。
75.可选地，上述音视频同步的检测装置还包括第一比对单元，用于在得到目标音频数据包的目标音频参数之后，比对目标音频参数和参考音频参数；在目标音频参数与参考音频参数一致的情况下，确定参考音频参数与目标音频数据包相匹配。
76.可选地，上述音频获取单元还用于在目标序位包括多个候选序位的情况下，依次确定位于多个候选序位上的候选音频数据包；计算候选音频数据包的候选音频参数。
77.可选地，上述音视频同步的检测装置还包括第二比对单元，用于在计算候选音频数据包的候选音频参数之后，依次比对多个候选音频参数和参考音频参数；在多个候选音频参数中包括与参考音频参数一致的目标候选音频参数的情况下，将目标候选音频参数对应的候选音频数据包确定为目标音频数据包，并确定参考音频参数与目标音频数据包相匹配。
78.可选地，上述音视频同步的检测装置还包括上报单元，用于在提取所述目标视频数据包中携带的参考音频参数之后，在参考音频参数与目标音频数据包不匹配的情况下，确定音频流与视频流当前处于播放异步状态；上报异步播放信息给服务器，其中，异步播放信息用于指示播放终端中的音频流的待播放音频和视频流的待播放视频的数据内容不匹配。
79.在本技术实施例中，采用在接收到基于时间顺序构建的音频数据包序列的音频流和基于时间顺序构建的视频数据包序列的视频流的情况下，从视频流中确定出的待播放的
目标音频数据包中携带的参考音频参数，在参考音频参数与待播放音频序列中的目标音频数据包相匹配的情况下，确定音频流与视频流在当前处于播放同步状态的方式，通过在播放前提取待播放的目标视频数据包中的参考音频参数，并基于音频流中的待播放音频序列中的目标音频数据包的音频参数，确定参考音频参数与目标音频数据包相匹配以确定视频流和音频流当前处于播放同步状态，达到了在目标视频数据包播放之前，进行视频流与音频流当前播放是否同步的检测的目的，从而实现了在视频播放之前对音频与视频的播放同步进行检测以及时确定音频与视频播放是否处于播放同步状态的技术效果，进而解决了未能及时发现音视频不同步导致的用户观看体验差的技术问题。
80.根据本发明实施例的又一个方面，还提供了一种用于实施上述音视频同步的检测方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为播放终端为例来说明。如图9所示，该电子设备包括存储器902和处理器904，该存储器902中存储有计算机程序，该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
81.可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
82.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
83.s1，接收音频流和视频流，其中，音频流为基于时间顺序构建的音频数据包序列，视频流为基于时间顺序构建的视频数据包序列；
84.s2，在从视频流中确定出当前待播放的目标视频数据包的情况下，提取目标视频数据包中携带的参考音频参数，其中，参考音频参数是与目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数；
85.s3，在参考音频参数与待播放音频序列中的目标音频数据包相匹配的情况下，确定视频流与音频流当前处于播放同步状态。
86.可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子设备也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图9其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图9中所示更多或者更少的组件(如网络接口等)，或者具有与图9所示不同的配置。
87.其中，存储器902可用于存储软件程序以及模块，如本发明实施例中的音视频同步的检测方法和装置对应的程序指令/模块，处理器904通过运行存储在存储器902内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的音视频同步的检测方法。存储器902可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器902可进一步包括相对于处理器904远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器902具体可以但不限于用于存储音频流中的音频数据包和视频流中的视频数据包等信息。作为一种示例，如图9所示，上述存储器902中可以但不限于包括上述音视频同步的检测装置中的接收单元802，获取单元804和确定单元806。此外，还可以包括但不限于上述音视频同步的检测装置中的其他模块单元，本示例中不再赘述。
88.可选地，上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置906包括一个网络适配器(network interface controller，nic)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置906为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
89.此外，上述电子设备还包括：显示器908，用于显示上述视频流对应的视频内容；和连接总线910，用于连接上述电子设备中的各个模块部件。
90.在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(p2p，peer to peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
91.根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述音视频同步的检测方面的各种可选实现方式中提供的方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
92.可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
93.s1，接收音频流和视频流，其中，音频流为基于时间顺序构建的音频数据包序列，视频流为基于时间顺序构建的视频数据包序列；
94.s2，在从视频流中确定出当前待播放的目标视频数据包的情况下，提取目标视频数据包中携带的参考音频参数，其中，参考音频参数是与目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数；
95.s3，在参考音频参数与待播放音频序列中的目标音频数据包相匹配的情况下，确定视频流与音频流当前处于播放同步状态。
96.可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(randomaccess memory，ram)、磁盘或光盘等。
97.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
98.上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
99.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
100.在本技术所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
101.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
102.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
103.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。