一种播放控制状态检测方法、装置、存储介质及电子设备与流程

1.本技术涉及计算机技术领域，尤其涉及一种播放控制状态检测方法、装置、存储介质及电子设备。


背景技术：

2.播放器是指能播放以数字信号形式存储的视频或音频文件的软件，用户在利用播放器进行视频播放时经常会切换播放器的播放状态，例如将暂停状态切换为开始播放的状态等，有的播放器进行播放状态切换时，往往由于解码错误等问题，导致音视频不同步，即音画不同步的情况，所以需要对播放器的播放控制状态进行检测。


技术实现要素：

3.本技术实施例提供了一种播放控制状态检测方法、装置、存储介质及电子设备，可以通过检测播放控制状态切换时的播放内容与源音视频数据是否相似，判断播放器的播放控制状态是否正常，减少检测播放器播放控制状态所需的步骤和时间，减少检测成本，提高检测效率。所述技术方案如下：
4.第一方面，本技术实施例提供了一种播放控制状态检测方法，所述方法包括：
5.若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳；
6.在所述播放内容中获取所述显示时间戳对应的检测音视频信息；
7.获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息；
8.基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果。
9.第二方面，本技术实施例提供了一种状态检测装置，所述装置包括：
10.时间戳获取模块，用于若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳；
11.目标信息获取模块，用于在所述播放内容中获取所述显示时间戳对应的检测音视频信息；
12.样本信息获取模块，用于获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息；
13.结果获取模块，用于基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果。
14.第三方面，本技术实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
15.第四方面，本技术实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步
骤。
16.本技术一些实施例提供的技术方案带来的有益效果至少包括：
17.在本技术一个或多个实施例中，若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳，在所述播放内容中获取所述显示时间戳对应的检测音视频信息，获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息，基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果。通过检测播放控制状态切换时的播放内容与源音视频数据是否相似，判断播放器的播放控制状态是否正常，减少了检测播放器播放控制状态所需的步骤和时间，减少了检测成本，提高了检测效率。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本技术实施例提供的一种状态检测装置的结构示意图；
20.图2是本技术实施例提供的一种播放控制状态检测方法的流程示意图；
21.图3是本技术实施例提供的一种播放控制状态检测方法的流程示意图；
22.图4是本技术实施例提供的一种检测音视频信息获取的举例示意图；
23.图5是本技术实施例提供的一种源音视频数据获取的举例示意图；
24.图6是本技术实施例提供的一种状态检测装置的结构示意图；
25.图7是本技术实施例提供的一种状态检测装置的结构示意图；
26.图8是本技术实施例提供的一种电子设备的结构示意图；
27.图9是本技术实施例提供的操作系统和用户空间的结构示意图；
28.图10是图8中安卓操作系统的架构图；
29.图11是图8中ios操作系统的架构图。
具体实施方式
30.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.在本技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本技术的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/
或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
32.本技术实施例提供的播放控制状态检测方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的状态检测装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。本技术实施例中的播放控制状态检测装置可以为电视机、手机、个人电脑、平板电脑、手持设备等电子设备，也可以为电子设备中用于实现播放控制状态检测方法的模块。状态检测装置可以用于检测播放器的播放控制状态，所述播放器为能播放以数字信号形式存储的音视频文件的软件，也可以为具有播放音视频文件功能的电子器件产品，播放器携带解码器以还原经过压缩的媒体数据，对媒体数据进行解码即可在播放器上播放音视频数据，所述音视频数据包括音频数据和视频数据，音频数据即数字化的声音数据，视频数据由至少一帧的连续图像帧组成。播放器有不同的播放状态，例如暂停状态、开始播放状态、停止播放状态、播放时间点切换状态等，播放器的播放控制状态，表示播放器在不同的播放状态间切换是否正确、及时，在播放状态切换后的音视频数据能否解码正确，例如播放状态切换后音视频是否同步、是否存在花屏现象。状态检测装置可以检测播放器的播放控制状态，并获取播放器的状态检测结果。
33.请参见图1，为本技术实施例提供的一种状态检测装置的结构示意图，状态检测装置包括播放器、状态检测模组、信息获取模组、源数据获取模组和处理器。播放器和状态检测模组相连接，播放器和信息获取模组相连接，状态检测模组和处理器相连接，状态检测模组和信息获取模组相连接，信息获取模组和处理器相连接，信息获取模组和源数据获取模组相连接。播放器可以是安装于状态检测装置内的能播放以数字信号形式存储的音视频文件的软件，也可以为安装于其他终端设备中的可以播放音视频的软件，或具有播放音视频文件功能的电子器件产品。状态检测模组可以检测到播放器的播放控制状态是否存在状态切换，例如由播放状态切换为暂停状态，或从暂停状态切换为停止播放状态等。当状态检测模组检测到播放器的播放控制状态存在状态切换时，状态检测模组就会获取播放器中播放内容的显示时间戳，并基于显示时间戳生成数据获取信息，将数据获取信息传输给信息获取模组。播放器中存在解码器，播放器利用解码器对音视频文件进行解码获得播放内容，并在播放器中播放解码所获得的播放内容，所述显示时间戳就是在状态切换时播放器所对应的预定时间系统(predetermined time system，pts)时间戳，pts时间戳用于指示播放器对于图像帧的显示顺序，即播放内容中的每一帧图像帧都有对应的pts时间戳，播放器会按照pts时间戳逐帧显示播放内容中的图像帧。所以状态检测模组在检测到状态切换时，会从播放器中获取当前的pts时间戳作为显示时间戳。信息获取模组接收到数据获取信息后，获取数据获取信息中的显示时间戳，获取播放内容中显示时间戳对应的检测音视频信息，所述检测音视频信息为播放器的播放内容在显示时间戳对应的检测图像帧和检测音频片段，检测图像帧可以为在播放内容的显示时间戳时，播放器上所显示的图像帧，检测音频片段可以为在播放内容中以显示时间戳为开始时间，预设时长为片段长度的音频片段。然后信息获取模组获取播放器中播放内容的播放路径，所述播放路径可以为播放内容在本地存储中的存储地址，也可以为网络地址。信息获取模组将播放路径传输至源数据获取模组，源数据获取模组根据播放路径找到播放内容对应的源音视频数据，并将源音视频数据传输至信息
获取模组，类比获取检测音视频信息的方法，信息获取模组还会获取源音视频信息在显示时间戳对应的样本音视频信息，同样的，样本音视频信息可以包括样本图像帧和样本音频片段。
34.信息获取模组将检测音视频信息和样本音视频信息传输至处理器，处理器计算检测音视频信息和样本音视频信息的信息相似度，并根据信息相似度获取播放器的播放控制状态的状态检测结果。处理器可以获取检测图像帧和样本图像帧之间的图像相似度，获取检测音频片段和样本音频片段之间的音频相似度，信息相似度可以由图像相似度和音频相似度组成。处理器可以用比较峰值信噪比(peak signal to noise ratio，psnr)、结构相似性(structural similarity，ssim)等方法获取图像相似度，可以用比较声音指纹方法获取音频相似度。如果图像相似度大于或等于图像相似阈值，并且音频相似度大于或等于音频相似阈值，则代表检测音视频信息和样本音视频信息是相同的或相似的，播放器的播放控制状态在发生状态切换后的音视频是同步的，则处理器会输出第一检测结果，第一检测结果可以表示播放器的播放控制状态是正常的、准确的，在播放器的播放过程中音视频是同步的。若图像相似度小于图像相似阈值，和/或音频相似度小于音频相似阈值，则处理器会输出第二检测结果，第二检测结果可以表示播放器的播放控制状态是异常的、不准确的，在播放器的播放过程中存在音视频不同步的现象，相关工作人员需要对播放器进行修理、调整。
35.下面结合具体的实施例对本技术提供的播放控制状态检测方法进行详细说明。
36.请参见图2，为本技术实施例提供的一种播放控制状态检测方法的流程示意图。如图2所示，本技术实施例的所述方法可以包括以下步骤s101
‑
s104。
37.s101，若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳。
38.具体的，状态检测装置可以检测播放器的播放控制状态，并能获取播放器的状态检测结果，当需要用状态检测装置对播放器进行检测时，若播放器是可以播放音视频文件的软件，则可以将播放器安装于状态检测装置上；若播放器已经安装于其他终端设备上，或播放器是具有播放音视频文件的电子器件产品，则可以将安装有播放器的终端设备或播放器与状态检测装置相连接。启动播放器，当播放器的播放控制状态存在状态切换时状态检测装置就能检测到，例如播放器从暂停状态切换为开始播放状态，或者播放时间点发生了切换时。当状态检测装置检测到播放器的播放控制状态存在状态切换时，会获取播放器中播放内容的显示时间戳。
39.s102，在所述播放内容中获取所述显示时间戳对应的检测音视频信息。
40.具体的，状态检测装置可以在播放内容中获取显示时间戳对应的检测音视频信息，检测音视频信息就是播放内容在显示时间戳对应的检测图像帧和检测音频片段，检测图像帧可以为在播放内容的显示时间戳时，播放器上所显示的图像帧，检测音频片段可以为在播放内容中以显示时间戳为开始时间，预设时长为片段长度的音频片段。
41.s103，获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息。
42.具体的，状态检测装置还可以获取播放内容的播放路径，所述播放路径可以为播放内容在本地存储中的存储地址，也可以为网络地址。状态检测装置可以根据播放路径找
到播放内容对应的源音视频数据，并在源音视频数据中获取显示时间戳对应的样本音视频信息，样本音视频信息可以包括源音视频数据在显示时间戳对应的样本图像帧和样本音频片段，样本图像帧可以为在源音视频数据中的显示时间戳所对应的图像帧，样本音频片段可以为在源音视频数据中已显示时间戳为开始时间，预设时长为片段长度的音频片段。
43.s104，基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果。
44.具体的，状态检测装置可以计算检测音视频信息和样本音视频信息的信息相似度，并根据信息相似度获取播放器的播放控制状态的状态检测结果，状态检测装置可以获取检测图像帧和样本图像帧之间的图像相似度，获取检测音频片段和样本音频片段之间的音频相似度，信息相似度可以由图像相似度和音频相似度组成。如果图像相似度大于或等于图像相似阈值，并且音频相似度大于或等于音频相似阈值，则代表检测音视频信息和样本音视频信息是相同的或相似的，播放器的播放控制状态在发生状态切换后的音视频是同步的，则状态检测装置可以输出第一检测结果，第一检测结果可以表示播放器的播放控制状态是正常的、准确的，在播放器的播放过程中音视频是同步的。若图像相似度小于图像相似阈值，和/或音频相似度小于音频相似阈值，则状态检测装置可以输出第二检测结果，第二检测结果可以表示播放器的播放控制状态是异常的、不准确的，在播放器的播放过程中存在音视频不同步的现象，相关工作人员需要对播放器进行修理、调整。
45.在本技术实施例中，若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳，在所述播放内容中获取所述显示时间戳对应的检测音视频信息，获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息，基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果。通过检测播放控制状态切换时的播放内容与源音视频数据是否相似，判断播放器的播放控制状态是否正常，减少了检测播放器播放控制状态所需的步骤和时间，减少了检测成本，提高了检测效率。
46.请参见图3，为本技术实施例提供的一种播放控制状态检测方法的流程示意图。如图3所示，本技术实施例的所述方法可以包括以下步骤s201
‑
s206。
47.s201，若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳。
48.具体的，状态检测装置可以检测播放器的播放控制状态，并能获取播放器的状态检测结果，当需要用状态检测装置对播放器进行检测时，若播放器是可以播放音视频文件的软件，则可以将播放器安装于状态检测装置上；若播放器已经安装于其他终端设备上，或播放器是具有播放音视频文件的电子器件产品，则可以将安装有播放器的终端设备或播放器与状态检测装置相连接。启动播放器，当播放器的播放控制状态存在状态切换时状态检测装置就能检测到，例如播放器从暂停状态切换为开始播放状态，或者播放时间点发生了切换时。当状态检测装置检测到播放器的播放控制状态存在状态切换时，会获取播放器中播放内容的显示时间戳。
49.可选的，播放器中的解码器存在pts时间戳获取接口，当状态检测装置检测到播放器的播放控制状态存在状态切换时，可以通过pts时间戳获取接口向播放器中的解码器获取当前的pts时间戳，并将当前的pts时间戳作为显示时间戳。
50.s202，获取所述播放内容中所述显示时间戳对应的检测图像帧，获取所述播放内容中所述显示时间戳对应的检测音频片段。
51.具体的，状态检测装置可以获取播放内容中，显示时间戳对应的检测图像帧，检测图像帧可以为播放器的状态切换时，播放器上所显示的图像帧，并获取播放内容中显示时间戳对应的检测音频片段，所述检测音频片段的开始时间为显示时间戳，且片段长度为预设时长，检测图像帧和检测音频片段组成检测音视频信息。
52.请参见图4，为本技术实施例提供的一种检测音视频信息获取的举例示意图，图4中的播放器由播放状态切换为了暂停状态，当状态检测装置检测到播放器的播放控制状态发生了状态切换时，状态检测装置会获取播放器当前的pts时间戳，并将当前的pts时间戳作为播放内容的显示时间戳，如图4所示播放器的播放内容的pts时间戳为t1，则显示时间戳就是t1，然后状态检测装置会获取显示时间戳所对应的检测图像帧，也就是此时播放器上所显示的图像帧，以t1为开始时间，预设时长为片段长度的音频片段即为检测音频片段。
53.s203，获取所述播放器的所述播放内容的播放路径，基于所述播放路径获取源音视频数据。
54.具体的，状态检测装置可以获取播放器中播放内容的播放路径，若播放器播放的是本地存储里的音视频文件，则状态检测装置可以获取播放内容在本地存储里的存储地址，并根据存储地址找到播放内容的源音视频数据；若播放器播放的是网络中的音视频文件，则状态检测装置可以获取播放内容的网络地址，根据网络地址找到源音视频数据，例如，若播放器中的播放内容是从服务器中获取的，则状态检测装置可以获取播放内容的文件标识，所述文件标识可以为播放内容的名称、版本号等，根据文件标识向服务器发送数据获取请求，服务器会根据文件标识查找到源音视频数据并发送给状态检测装置。
55.请参见图5，为本技术实施例提供的一种源音视频数据获取的举例示意图，若播放器中的播放内容是从本地存储中获取的，则状态检测装置可以获取播放内容的存储地址，并根据存储地址在本地存储中找到源音视频数据；若播放器中播放的是服务器中的网络音视频文件，则状态检测装置可以获取播放内容的文件标识，生成包含文件标识的数据获取请求，将数据获取请求发送给服务器，服务器根据数据获取请求找到源音视频数据并发送给状态检测装置。
56.s204，获取源音视频数据中所述显示时间戳对应的样本图像帧，获取源音视频数据中所述显示时间戳对应的样本音频片段。
57.具体的，状态检测装置可以获取源音视频数据中显示时间戳对应的样本图像帧，并获取源音视频数据中显示时间戳对应的样本音频片段，样本音频片段的开始时间为显示时间戳，且片段长度为预设时长，样本图像帧和样本音频片段组成样本音视频信息。
58.s205，获取所述检测图像帧和所述样本图像帧的图像相似度，获取所述检测音频片段和所述样本音频片段的音频相似度，所述图像相似度和所述音频相似度组成信息相似度。
59.具体的，状态检测装置可以计算检测音视频信息和样本音视频信息的信息相似度，并根据信息相似度获取播放器的播放控制状态的状态检测结果，状态检测装置可以获取检测图像帧和样本图像帧之间的图像相似度，获取检测音频片段和样本音频片段之间的音频相似度，信息相似度可以由图像相似度和音频相似度组成。状态检测装置可以通过比
较检测图像帧和样本图像帧的峰值信噪比、结构相似性来获取图像相似度，可以通过比较检测音频片段和样本音频片段的声音指纹来获取音频相似度。
60.s206，基于所述信息相似度，获取所述播放器的播放控制状态的状态检测结果。
61.具体的，根据信息相似度，状态检测装置可以获取播放器的播放控制状态的状态检测结果。
62.可选的，如果图像相似度大于或等于图像相似阈值，并且音频相似度大于或等于音频相似阈值，则代表检测音视频信息和样本音视频信息是相同的或相似的，播放器的播放控制状态在发生状态切换后的音视频是同步的，则状态检测装置可以输出第一检测结果，第一检测结果可以表示播放器的播放控制状态是正常的、准确的，在播放器的播放过程中音视频是同步的。若图像相似度小于图像相似阈值，和/或，音频相似度小于音频相似阈值，则状态检测装置可以输出第二检测结果，第二检测结果可以表示播放器的播放控制状态是异常的、不准确的，在播放器的播放过程中存在音视频不同步的现象，相关工作人员需要对播放器进行修理、调整。
63.可选的，状态检测装置除了可以检测播放器在状态切换后的音视频是否同步，还可以检测状态切换后播放器对音视频文件的解码是否正确，是否出现花屏、黑屏等现象。若状态检测装置检测道德图像相似度小于图像相似阈值，则代表检测图像帧与样本图像帧不相似，状态检测装置对所述检测图像帧进行花屏检测处理，对检测图像帧中的花屏部分进行检测，若状态检测装置检测到检测图像帧存在花屏部分，则输出所述播放器的播放控制状态的第三检测结果，所述第三检测结果可以表示播放器在状态切换后对音视频文件的解码出现错误，导致播放内容中出现花屏现象，需要相关工作人员对播放器进行修正。
64.可选的，播放器在具体使用中，大多数都是由于用户向播放器发出了指令才出现状态切换，例如用户点击了“暂停”按钮，播放器就会由播放状态切换为暂停状态，用户拖动进度条，播放器就会出现播放时间点切换状态，状态检测装置处理可以检测播放器在状态切换后的音视频是否同步，还可以检测状态检测装置是否在接收到指令时及时完成状态切换。可以理解的是，状态检测装置检测到播放器的播放控制状态存在状态切换的时间，就是播放器接收到针对状态切换的指令并开始进行状态切换的时间，即显示时间戳，若状态检测装置检测到所述播放器的播放控制状态切换完成，则获取播放内容的切换时间戳，若切换时间戳和显示时间戳的差值大于差值阈值，则表示播放器并没有在接收到指令后立即就完成状态切换，是隔了一段时间才完成状态切换，例如用户在点击“暂停”按钮后播放器并没有立即暂停，而是继续播放了一段时间后才暂停下来。状态检测装置可以输出播放器的播放控制状态的第四检测结果，所述第四检测结果可以表示播放器完成状态切换不及时，有一定延时，需要相关工作人员对播放器进行修正。
65.在本技术实施例中，若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳，在所述播放内容中获取所述显示时间戳对应的检测音视频信息，获取播放内容的播放路径，根据播放路径获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息，基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果。通过检测播放控制状态切换时的播放内容与源音视频数据是否相似，判断播放器的播放控制状态是否正常，减少了检测播放器播放控制状态所需的步骤和时间，减少了检测成
本，提高了检测效率。若图像相似度和音频相似度均小于相似阈值，则表示状态切换后的音视频是同步的，若图像相似度小于图像相似阈值和/或音频相似度小于音频相似阈值，则表示状态切换后的音视频不同步。同时状态检测装置可以检测播放器在状态切换后是否解码正确，是否出现花屏、黑屏等现象，还可以检测播放器的状态切换是否及时、是否出现延时，丰富了状态检测装置对播放器的播放控制状态的检测项目，提高了状态检测装置针对播放器的检测效果。
66.下面将结合附图6
‑
附图7，对本技术实施例提供的状态检测装置进行详细介绍。需要说明的是，附图6
‑
附图7中的播放控制状态检测装置，用于执行本技术图2和图3所示实施例的方法，为了便于说明，仅示出了与本技术实施例相关的部分，具体技术细节未揭示的，请参照本技术图2和图3所示的实施例。
67.请参见图6，其示出了本技术一个示例性实施例提供的状态检测装置的结构示意图。该播放控制状态检测装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括时间戳获取模块11、目标信息获取模块12、样本信息获取模块13和结果获取模块14。
68.时间戳获取模块11，用于若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳；
69.目标信息获取模块12，用于在所述播放内容中获取所述显示时间戳对应的检测音视频信息；
70.样本信息获取模块13，用于获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息；
71.结果获取模块14，用于基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果。
72.在本实施例中，若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳，在所述播放内容中获取所述显示时间戳对应的检测音视频信息，获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息，基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果。通过检测播放控制状态切换时的播放内容与源音视频数据是否相似，判断播放器的播放控制状态是否正常，减少了检测播放器播放控制状态所需的步骤和时间，减少了检测成本，提高了检测效率。
73.请参见图7，其示出了本技术一个示例性实施例提供的状态检测装置的结构示意图。该播放控制状态检测装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括时间戳获取模块11、目标信息获取模块12、样本信息获取模块13、结果获取模块14、花屏检测模块15和切换时间检测模块16。
74.时间戳获取模块11，用于若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳；
75.目标信息获取模块12，用于在所述播放内容中获取所述显示时间戳对应的检测音视频信息；
76.可选的，所述目标信息获取模块12具体用于获取所述播放内容中所述显示时间戳对应的检测图像帧；
77.获取所述播放内容中所述显示时间戳对应的检测音频片段，所述检测音频片段的开始时间为所述显示时间戳，且片段长度为预设时长，所述检测图像帧和所述检测音频片段组成检测音视频信息。
78.样本信息获取模块13，用于获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息；
79.可选的，所述样本信息获取模块13具体用于获取所述播放内容对应的源音视频数据；
80.获取源音视频数据中所述显示时间戳对应的样本图像帧；
81.获取源音视频数据中所述显示时间戳对应的样本音频片段，所述样本音频片段的开始时间为所述显示时间戳，且片段长度为所述预设时长，所述样本图像帧和所述样本音频片段组成样本音视频信息。
82.可选的，所述样本信息获取模块13具体用于获取所述播放器的所述播放内容的播放路径，基于所述播放路径获取源音视频数据。
83.结果获取模块14，用于基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果。
84.可选的，所述结果获取模块14具体用于获取所述检测图像帧和所述样本图像帧的图像相似度，获取所述检测音频片段和所述样本音频片段的音频相似度，所述图像相似度和所述音频相似度组成信息相似度；
85.基于所述信息相似度，获取所述播放器的播放控制状态的状态检测结果。
86.可选的，所述结果获取模块14具体用于若所述图像相似度大于或等于图像相似阈值，且所述音频相似度大于或等于音频相似阈值，则输出所述播放器的播放控制状态的第一检测结果；
87.若所述图像相似度小于所述图像相似阈值，和/或，所述音频相似度小于所述音频相似阈值，则输出所述播放器的播放控制状态的第二检测结果。
88.花屏检测模块15，用于若所述图像相似度小于图像相似阈值，则对所述检测图像帧进行花屏检测处理；
89.若检测到所述检测图像帧存在花屏部分，则输出所述播放器的播放控制状态的第三检测结果；
90.切换时间检测模块16，用于若检测到所述播放器的播放控制状态切换完成，则获取所述播放内容的切换时间戳；
91.若所述切换时间戳和所述显示时间戳的差值大于差值阈值，则输出所述播放器的播放控制状态的第四检测结果。
92.在本实施例中，若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳，在所述播放内容中获取所述显示时间戳对应的检测音视频信息，获取播放内容的播放路径，根据播放路径获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息，基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果。通过检测播放控制状态切换时的播放内容与源音视频数据是否相似，判断播放器的播放控制状态是否正常，减少了检测播放器播放控制状态所需的步骤和时间，减少了检测成本，提
高了检测效率。若图像相似度和音频相似度均小于相似阈值，则表示状态切换后的音视频是同步的，若图像相似度小于图像相似阈值和/或音频相似度小于音频相似阈值，则表示状态切换后的音视频不同步。同时状态检测装置可以检测播放器在状态切换后是否解码正确，是否出现花屏、黑屏等现象，还可以检测播放器的状态切换是否及时、是否出现延时，丰富了状态检测装置对播放器的播放控制状态的检测项目，提高了状态检测装置针对播放器的检测效果。
93.需要说明的是，上述实施例提供的播放控制状态检测装置在执行播放控制状态检测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的播放控制状态检测装置与播放控制状态检测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
94.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
95.本技术实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图2
‑
图5所示实施例的所述播放控制状态检测方法，具体执行过程可以参见图2
‑
图5所示实施例的具体说明，在此不进行赘述。
96.本技术还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图2
‑
图5所示实施例的所述播放控制状态检测方法，具体执行过程可以参见图2
‑
图5所示实施例的具体说明，在此不进行赘述。
97.请参考图8，其示出了本技术一个示例性实施例提供的电子设备的结构方框图。本技术中的电子设备可以包括一个或多个如下部件：处理器110、存储器120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。
98.处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器110可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
99.存储器120可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read
‑
only memory，rom)。可选地，该存储器120包括非瞬时性计算机可读介质(non
‑
transitory computer
‑
readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(android)系统，包括基于android系统深度开发的系统、苹果公司开发的ios系统，包括基
于ios系统深度开发的系统或其它系统。存储数据区还可以存储电子设备在使用中所创建的数据比如电话本、音视频数据、聊天记录数据，等。
100.参见图9所示，存储器120可分为操作系统空间和用户空间，操作系统即运行于操作系统空间，原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果，操作系统针对不同第三方应用程序为其分配相应的系统资源。然而，同一第三方应用程序中不同应用场景对系统资源的需求也存在差异，比如，在本地资源加载场景下，第三方应用程序对磁盘读取速度的要求较高；在动画渲染场景下，第三方应用程序则对gpu性能的要求较高。而操作系统与第三方应用程序之间相互独立，操作系统往往不能及时感知第三方应用程序当前的应用场景，导致操作系统无法根据第三方应用程序的具体应用场景进行针对性的系统资源适配。
101.为了使操作系统能够区分第三方应用程序的具体应用场景，需要打通第三方应用程序与操作系统之间的数据通信，使得操作系统能够随时获取第三方应用程序当前的场景信息，进而基于当前场景进行针对性的系统资源适配。
102.以操作系统为android系统为例，存储器120中存储的程序和数据如图10所示，存储器120中可存储有linux内核层320、系统运行时库层340、应用框架层360和应用层380，其中，linux内核层320、系统运行库层340和应用框架层360属于操作系统空间，应用层380属于用户空间。linux内核层320为电子设备的各种硬件提供了底层的驱动，如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、wi
‑
fi驱动、电源管理等。系统运行库层340通过一些c/c++库来为android系统提供了主要的特性支持。如sqlite库提供了数据库的支持，opengl/es库提供了3d绘图的支持，webkit库提供了浏览器内核的支持等。在系统运行时库层340中还提供有安卓运行时库(android runtime)，它主要提供了一些核心库，能够允许开发者使用java语言来编写android应用。应用框架层360提供了构建应用程序时可能用到的各种api，开发者也可以通过使用这些api来构建自己的应用程序，比如活动管理、窗口管理、视图管理、通知管理、内容提供者、包管理、通话管理、资源管理、定位管理。应用层380中运行有至少一个应用程序，这些应用程序可以是操作系统自带的原生应用程序，比如联系人程序、短信程序、时钟程序、相机应用等；也可以是第三方开发者所开发的第三方应用程序，比如游戏类应用程序、即时通信程序、相片美化程序、壁纸设置程序等。
103.以操作系统为ios系统为例，存储器120中存储的程序和数据如图11所示，ios系统包括：核心操作系统层420(core os layer)、核心服务层440(core services layer)、媒体层460(media layer)、可触摸层480(cocoa touch layer)。核心操作系统层420包括了操作系统内核、驱动程序以及底层程序框架，这些底层程序框架提供更接近硬件的功能，以供位于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的系统服务和/或程序框架，比如基础(foundation)框架、账户框架、广告框架、数据存储框架、网络连接框架、地理位置框架、运动框架等等。媒体层460为应用程序提供有关视听方面的接口，如图形图像相关的接口、音频技术相关的接口、视频技术相关的接口、音视频传输技术的无线播放(airplay)接口等。可触摸层480为应用程序开发提供了各种常用的界面相关的框架，可触摸层480负责用户在电子设备上的触摸交互操作。比如本地通知服务、远程推送服务、广告框架、游戏工具框架、消息用户界面接口(user interface，ui)框架、用户界面uikit框架、地图框架等等。
104.在图11所示出的框架中，与大部分应用程序有关的框架包括但不限于：核心服务层440中的基础框架和可触摸层480中的uikit框架。基础框架提供许多基本的对象类和数据类型，为所有应用程序提供最基本的系统服务，和ui无关。而uikit框架提供的类是基础的ui类库，用于创建基于触摸的用户界面，ios应用程序可以基于uikit框架来提供ui，所以它提供了应用程序的基础架构，用于构建用户界面，绘图、处理和用户交互事件，响应手势等等。
105.其中，在ios系统中实现第三方应用程序与操作系统数据通信的方式以及原理可参考android系统，本技术在此不再赘述。
106.其中，输入装置130用于接收输入的指令或数据，输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据，输出装置140包括但不限于显示设备和扬声器等。在一个示例中，输入装置130和输出装置140可以合设，输入装置130和输出装置140为触摸显示屏，该触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作，以及显示各个应用程序的用户界面。触摸显示屏通常设置在电子设备的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合，本技术实施例对此不加以限定。
107.除此之外，本领域技术人员可以理解，上述附图所示出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，电子设备中还包括射频电路、输入单元、传感器、音频电路、wi
‑
fi模块、电源、蓝牙模块等部件，在此不再赘述。
108.在本技术实施例中，各步骤的执行主体可以是上文介绍的电子设备。可选地，各步骤的执行主体为电子设备的操作系统。操作系统可以是安卓系统，也可以是ios系统，或者其它操作系统，本技术实施例对此不作限定。
109.本技术实施例的电子设备，其上还可以安装有显示设备，显示设备可以是各种能实现显示功能的设备，例如：阴极射线管显示器(cathode ray tubedisplay，简称cr)、发光二极管显示器(light
‑
emitting diode display，简称led)、电子墨水屏、液晶显示屏(liquid crystal display，简称lcd)、等离子显示面板(plasma display panel，简称pdp)等。用户可以利用电子设备101上的显示设备，来查看显示的文字、图像、视频等信息。所述电子设备可以是智能手机、平板电脑、游戏设备、ar(augmented reality，增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。
110.在图8所示的电子设备中，处理器110可以用于调用存储器120中存储的播放控制状态检测应用程序，并具体执行以下操作：
111.若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳；
112.在所述播放内容中获取所述显示时间戳对应的检测音视频信息；
113.获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息；
114.基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器
的播放控制状态的状态检测结果。
115.在一个实施例中，所述处理器110在执行在所述播放内容中获取所述显示时间戳对应的检测音视频信息时，具体执行以下操作：
116.获取所述播放内容中所述显示时间戳对应的检测图像帧；
117.获取所述播放内容中所述显示时间戳对应的检测音频片段，所述检测音频片段的开始时间为所述显示时间戳，且片段长度为预设时长，所述检测图像帧和所述检测音频片段组成检测音视频信息。
118.在一个实施例中，所述处理器110在执行获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息时，具体执行以下操作：
119.获取所述播放内容对应的源音视频数据；
120.获取源音视频数据中所述显示时间戳对应的样本图像帧；
121.获取源音视频数据中所述显示时间戳对应的样本音频片段，所述样本音频片段的开始时间为所述显示时间戳，且片段长度为所述预设时长，所述样本图像帧和所述样本音频片段组成样本音视频信息。
122.在一个实施例中，所述处理器110在执行获取所述播放内容对应的源音视频数据时，具体执行以下操作：
123.获取所述播放器的所述播放内容的播放路径，基于所述播放路径获取源音视频数据。
124.在一个实施例中，所述处理器110在执行基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果时，具体执行以下操作：
125.获取所述检测图像帧和所述样本图像帧的图像相似度，获取所述检测音频片段和所述样本音频片段的音频相似度，所述图像相似度和所述音频相似度组成信息相似度；
126.基于所述信息相似度，获取所述播放器的播放控制状态的状态检测结果。
127.在一个实施例中，所述处理器110在执行基于所述信息相似度，获取所述播放器的播放控制状态的状态检测结果时，具体执行以下操作：
128.若所述图像相似度大于或等于图像相似阈值，且所述音频相似度大于或等于音频相似阈值，则输出所述播放器的播放控制状态的第一检测结果；
129.若所述图像相似度小于所述图像相似阈值，和/或，所述音频相似度小于所述音频相似阈值，则输出所述播放器的播放控制状态的第二检测结果。
130.在一个实施例中，所述处理器110在执行所述播放控制状态检测时，还执行以下操作：
131.若所述图像相似度小于图像相似阈值，则对所述检测图像帧进行花屏检测处理；
132.若检测到所述检测图像帧存在花屏部分，则输出所述播放器的播放控制状态的第三检测结果。
133.在一个实施例中，所述处理器110在执行所述播放控制状态检测时，还执行以下操作：
134.若检测到所述播放器的播放控制状态切换完成，则获取所述播放内容的切换时间
戳；
135.若所述切换时间戳和所述显示时间戳的差值大于差值阈值，则输出所述播放器的播放控制状态的第四检测结果。
136.在本实施例中，若检测到播放器的播放控制状态存在状态切换，则获取所述播放器中播放内容的显示时间戳，在所述播放内容中获取所述显示时间戳对应的检测音视频信息，获取播放内容的播放路径，根据播放路径获取所述播放内容对应的源音视频数据，在所述源音视频数据中获取所述显示时间戳对应的样本音视频信息，基于所述检测音视频信息和所述样本音视频信息的信息相似度，获取所述播放器的播放控制状态的状态检测结果。通过检测播放控制状态切换时的播放内容与源音视频数据是否相似，判断播放器的播放控制状态是否正常，减少了检测播放器播放控制状态所需的步骤和时间，减少了检测成本，提高了检测效率。若图像相似度和音频相似度均小于相似阈值，则表示状态切换后的音视频是同步的，若图像相似度小于图像相似阈值和/或音频相似度小于音频相似阈值，则表示状态切换后的音视频不同步。同时状态检测装置可以检测播放器在状态切换后是否解码正确，是否出现花屏、黑屏等现象，还可以检测播放器的状态切换是否及时、是否出现延时，丰富了状态检测装置对播放器的播放控制状态的检测项目，提高了状态检测装置针对播放器的检测效果。
137.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
138.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。