音画同步测试方法及装置与流程

本发明涉及音视频测试技术领域，尤其涉及一种音画同步测试方法及装置。

背景技术：

由于电视机等多媒体设备处理视频信号所花费的时间多于处理音频信号的时间，特别是在视频画面需要进行画质运动补偿时，所要花费的时间会更多。在研发过程中，需要测试视频的音画是否同步，也即，将音频信号存入缓存，测试计量出音画在播放上的差异。

目前常见的测试音画同步的方式，是由测试人员观看电视，并对比视频画面中人物的唇动和听到的声音是否同步。由于测试人员的个体差异，会有200ms左右的误差，而很多发烧友却不能忍受这200ms的误差而引发投诉，因而，需要对视频的音画是否同步进行客观的测试。

然而，已有的对音画进行客观同步测试的方式，只能是黑白场的标准测试信号，而不能对用户实际观看的视频进行测试，且对标准测试信号的测试不能准确地代表用户实际观看的视频的音画是否同步，其检测流程也不够简捷。

技术实现要素：

本发明提供一种音画同步测试方法及装置，旨在解决现有音画同步测试方式不够客观、准确、简捷的技术问题。

为实现上述目的，本发明提供一种音画同步测试方法，所述音画同步测试方法包括：

在视频的每一帧中依序添加帧编号；

通过音频解码器读取所述视频的音频数据时，将音频信号从无到有时对应的播放时刻确定为检查点，并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号；

在终端播放添加帧编号后的视频时，当第N次检测到音频信号从无到有时，获取当前视频画面对应的第二帧编号，并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值，判断当前的音画是否同步；其中，N的取值依次为1、2、3…。

优选地，所述根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值，判断当前的音画是否同步的步骤包括：

若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值，大于或等于所述第一阈值，则确定当前的音画不同步，否则，确定当前的音画同步。

优选地，所述通过音频解码器读取所述视频的音频数据时，将音频信号从无到有时对应的播放时刻确定为检查点，并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号的步骤包括：

通过音频解码器读取所述视频的音频数据时，实时侦测音频信号的强度；

当侦测到音频信号的强度从零变为超过预设的第二阈值时，将当前音频信号对应的播放时刻确定为检查点；

从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号，并将获得的帧编号作为当前检查点对应的第一帧编号。

优选地，所述音画同步测试方法还包括：

在视频的每一帧中依序添加帧编号时，控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。

优选地，所述在终端播放添加帧编号后的视频时，当第N次检测到音频信号从无到有时，获取当前视频画面对应的第二帧编号的步骤包括：

在终端播放添加帧编号后的视频时，实时侦测音频信号的强度；

当侦测到音频信号的强度从零变为超过预设的第三阈值时，通过预置的摄像头捕获当前的视频画面；

对捕获到的视频画面进行图像处理，以获取所述视频画面上的帧编号，并将获取到的帧编号作为当前视频画面对应的第二帧编号。

为实现上述目的，本发明还提供一种音画同步测试装置，所述音画同步测试装置包括：

视频处理模块，用于在视频的每一帧中依序添加帧编号；

检查点确定模块，用于通过音频解码器读取所述视频的音频数据时，将音频信号从无到有时对应的播放时刻确定为检查点，并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号；

同步测试模块，用于在终端播放添加帧编号后的视频时，当第N次检测到音频信号从无到有时，获取当前视频画面对应的第二帧编号，并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值，判断当前的音画是否同步；其中，N的取值依次为1、2、3…。

优选地，所述同步测试模块包括判断单元，所述判断单元用于：

若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值，大于或等于所述第一阈值，则确定当前的音画不同步，否则，确定当前的音画同步。

优选地，所述检查点确定模块包括：

侦测单元，用于通过音频解码器读取所述视频的音频数据时，实时侦测音频信号的强度；

确定单元，用于当侦测到音频信号的强度从零变为超过预设的第二阈值时，将当前音频信号对应的播放时刻确定为检查点；

获取单元，用于从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号，并将获得的帧编号作为当前检查点对应的第一帧编号。

优选地，所述视频处理模块具体用于：

在视频的每一帧中依序添加帧编号时，控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。

优选地，所述同步测试模块包括检测单元，所述检测单元包括：

侦测子单元，用于在终端播放添加帧编号后的视频时，实时侦测音频信号的强度；

捕获子单元，用于当侦测到音频信号的强度从零变为超过预设的第三阈值时，通过预置的摄像头捕获当前的视频画面；

获取子单元，用于对捕获到的视频画面进行图像处理，以获取所述视频画面上的帧编号，并将获取到的帧编号作为当前视频画面对应的第二帧编号。

本发明提出的音画同步测试方法及装置，在视频的每一帧中依序添加帧编号，然后通过音频解码器读取视频的音频数据，以确定出音频信号从无到有时的检查点，并从添加帧编码后的视频中获取各个检查点各自对应的第一帧编号；在终端上播放添加帧编号后的视频时，当第N次检测到音频信号从无到有时，获取当前视频画面对应的第二帧编号，并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值，判断当前的音画是否同步。测试时所用的视频可以是用户实际观看的任意视频，且在同一声音停顿处重新有声音时，通过比较此时本该播放的帧编号与当前实际播放的帧编号的差异，从而实现对用户实际观看的视频进行客观、准确、简捷的音画同步测试。

附图说明

图1为本发明音画同步测试方法第一实施例的流程示意图；

图2为图1中步骤S20的细化流程示意图；

图3为本发明音画同步测试方法第三实施例中获取当前视频画面对应的第二帧编号的细化流程示意图；

图4为本发明音画同步测试装置第一实施例的功能模块示意图；

图5为图4中检查点确定模块的细化功能模块示意图；

图6为本发明音画同步测试装置第三实施例中同步测试模块的细化功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种音画同步测试方法，如图1所示，示出了本发明音画同步测试方法第一实施例的流程示意图，所述音画同步测试方法包括：

S10、在视频的每一帧中依序添加帧编号；

在进行视频的音画同步测试时，首先需要选取一段视频，该段视频是用户实际观看的任意视频，可以是一个完整的长视频，也可以是从一个完整的长视频中截取的一小段视频。采用现有的视频处理技术，可在选取的视频的每一帧中依序添加帧编号。例如，假设待测试的是一个10分钟的视频，其帧率为50fps，则该视频的总帧数为50×10×60＝30000，在添加帧编号时，可将编号1-30000根据视频帧的先后顺序依次添加到该视频的每一帧中，即该视频的第一帧的编号为1，第二帧的编号为2，第800帧的编号为800，以此类推。添加的帧编号可存储在每一帧对应的视频帧数据中。

S20、通过音频解码器读取所述视频的音频数据时，将音频信号从无到有时对应的播放时刻确定为检查点，并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号；

进一步地，参照图2，上述步骤S20包括：

S21、通过音频解码器读取所述视频的音频数据时，实时侦测音频信号的强度；

S22、当侦测到音频信号的强度从零变为超过预设的第二阈值时，将当前音频信号对应的播放时刻确定为检查点；

S23、从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号，并将获得的帧编号作为当前检查点对应的第一帧编号。

所述视频包括图像数据(即视频帧数据)和音频数据，这些数据存储在同一个数据包里，当需要读取图像时，解析该数据包中的图像数据即可，当需要读取音频数据时，解析该数据包中的音频数据即可。通过音频解码器读取该段视频(也可指添加帧编号后的视频)的音频数据时，可获取到该音频数据的每一播放时刻(与该段视频的播放时刻一致)对应的音频信号。实时侦测该读取过程中音频信号的强度，并在检测到音频信号从无到有，即音频信号的强度从零变为到一个较高的值，且该值大于预设的第二阈值时，将此时音频信号对应的播放时刻确定为检查点，并从添加帧编号后的视频中解析当前检查点对应的视频帧，以获取该视频帧中的帧编号，获得的帧编号即为当前检查点(即当前播放时刻)对应的第一帧编号。

其中，第一帧编号为各个检查点在视频中对应的视频帧的帧编号；所述第二阈值是预先设置的一个音频信号强度值，用于表示强度值超过第二阈值的音频信号属于有声音的音频信号。

S30、在终端播放添加帧编号后的视频时，当第N次检测到音频信号从无到有时，获取当前视频画面对应的第二帧编号，并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值，判断当前的音画是否同步。

所述终端可以为电视机，也可以为手机等能够播放视频且需要对视频的图像显示和音频播放进行处理的硬件设备。所述第二帧编号是用来区分于第一帧编号的一类帧编号，表示在通过终端播放视频时获取到的帧编号。N的取值依次为1、2、3…。

以电视机为例，则测试时的视频为电视机实际接收的直播数字信号经处理后得到的TS(Transport Stream，传输流或节目流)视频文件。在进行音画同步测试时，可通过串口线与电视机连接以获取所需数据，并在电视机上播放添加帧编号后的视频。在播放过程中，可获取到实时的音频信号和视频帧数据，当检测到音频信号从无到有，即音频信号的强度从零变为超过预设的第三阈值时，一方面获取当前视频画面所属视频帧的第二帧编号，另一方面根据该次检测到音频信号从无到有的次序，即第N次，获取之前确定出的检查点中、播放时刻按升序排列的第N个检查点(即音画同步播放中第N次声音停顿处重新有声音的播放时刻)对应的第一帧编号，然后根据当前获取到的第一帧编号、第二帧编号、预设的第一阈值，判断当前的音画是否同步。其中，所述第三阈值也是预先设置的一个音频信号强度值，其取值可以与所述第二阈值相同，也可以不同。

例如，假设当前获取到的第一帧编号为950、第二帧编号为986，预设的第一阈值为时间差值且取值为500ms，则第一帧编号与第二帧编号的绝对差值为|950－986|＝36，计算得到当前视频画面在当前播放场景下与在音画同步播放场景下相差的时间差值为(36/50)×1000＝720ms，由于计算得到的时间差值大于第一阈值500ms，则可判断出当前的音画不同步。进一步地，还可根据计算得到的时间差值对播放的视频进行音画同步校正。

本发明提出的音画同步测试方法，在视频的每一帧中依序添加帧编号，然后通过音频解码器读取视频的音频数据，以确定出音频信号从无到有时的检查点，并从添加帧编码后的视频中获取各个检查点各自对应的第一帧编号；在终端上播放添加帧编号后的视频时，当第N次检测到音频信号从无到有时，获取当前视频画面对应的第二帧编号，并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值，判断当前的音画是否同步。测试时所用的视频可以是用户实际观看的任意视频，且在同一声音停顿处重新有声音时，通过比较此时本该播放的帧编号与当前实际播放的帧编号的差异，从而实现对用户实际观看的视频进行客观、准确、简捷的音画同步测试。

进一步地，基于上述音画同步测试方法第一实施例提出本发明音画同步测试方法第二实施例，在本实施例中，所述根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值，判断当前的音画是否同步的步骤包括：

若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值，大于或等于所述第一阈值，则确定当前的音画不同步，否则，确定当前的音画同步。

本实施例中，所述第一阈值是为帧编号的绝对差值设置的一个阈值。假设当前获取到的第一帧编号为950、第二帧编号为986，第一阈值为30，则帧编号的绝对差值为|950－986|＝36，大于预设的第一阈值30，因而可确定当前的音画不同步。进一步地，还可根据帧编号的绝对差值对播放的视频进行音画同步校正。

本发明提出的音画同步测试方法，通过计算第一帧编号与第二帧编号的绝对差值，并比较计算得到的绝对差值与预设的第一阈值的大小关系，从而判断当前的音画是否同步，判断过程简单、快速，且判断结果准确。

进一步地，基于上述音画同步测试方法第二实施例提出本发明音画同步测试方法第三实施例，在本实施例中，所述音画同步测试方法还包括：

在视频的每一帧中依序添加帧编号时，控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。

例如，在终端上播放该视频时，在该视频的第一帧对应的视频画面的指定位置(如右下角)处能够显示帧编号1，在该视频的第二帧对应的视频画面的相同位置处能够显示帧编号2，以此类推。

进一步地，参照图3，所述在终端播放添加帧编号后的视频时，当第N次检测到音频信号从无到有时，获取当前视频画面对应的第二帧编号的步骤包括：

S31、在终端播放添加帧编号后的视频时，实时侦测音频信号的强度；

可通过与终端进行串口连接，从而从终端的音频处理装置(如扬声器)获取到视频播放时实时的音频信号的强度，也可通过麦克风等装置捕获视频播放时的声音，从而获取到实时的音频信号的强度。

S32、当侦测到音频信号的强度从零变为超过预设的第三阈值时，通过预置的摄像头捕获当前的视频画面；

在终端上播放添加帧编号后的视频时，使用预置的摄像头对准该视频的视频画面，且当侦测到音频信号从无到有，即音频信号的强度从零变为超过预设的第三阈值时，控制摄像头捕获当前的视频画面。

S33、对捕获到的视频画面进行图像处理，以获取所述视频画面上的帧编号，并将获取到的帧编号作为当前视频画面对应的第二帧编号。

通过摄像头得到当前的视频画面后，利用图像处理技术提取出该视频画面上的帧编号，提取出的帧编号即为当前视频画面对应的第二帧编号。

本发明提出的音画同步测试方法，控制帧编号在终端播放视频时显示在相应视频画面的指定位置，使得测试者能够直观查看到各个测试点(即音频信号从无到有时)对应视频画面的帧编号，且能够通过预置的摄像头捕获得到该帧编号，从而获得测试需要的第二帧编号。

本发明还提供一种音画同步测试装置，如图4所示，示出了本发明音画同步测试装置第一实施例的功能模块示意图，所述音画同步测试装置包括：

视频处理模块100，用于在视频的每一帧中依序添加帧编号；

在进行视频的音画同步测试时，首先需要选取一段视频，该段视频是用户实际观看的任意视频，可以是一个完整的长视频，也可以是从一个完整的长视频中截取的一小段视频。采用现有的视频处理技术，可在选取的视频的每一帧中依序添加帧编号。例如，假设待测试的是一个10分钟的视频，其帧率为50fps，则该视频的总帧数为50×10×60＝30000，在添加帧编号时，视频处理模块100可将编号1-30000根据视频帧的先后顺序依次添加到该视频的每一帧中，即该视频的第一帧的编号为1，第二帧的编号为2，第800帧的编号为800，以此类推。添加的帧编号可存储在每一帧对应的视频帧数据中。

检查点确定模块200，用于通过音频解码器读取所述视频的音频数据时，将音频信号从无到有时对应的播放时刻确定为检查点，并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号；

进一步地，参照图5，所述检查点确定模块200包括：

侦测单元201，用于通过音频解码器读取所述视频的音频数据时，实时侦测音频信号的强度；

确定单元202，用于当侦测到音频信号的强度从零变为超过预设的第二阈值时，将当前音频信号对应的播放时刻确定为检查点；

获取单元203，用于从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号，并将获得的帧编号作为当前检查点对应的第一帧编号。

所述视频包括图像数据(即视频帧数据)和音频数据，这些数据存储在同一个数据包里，当需要读取图像时，解析该数据包中的图像数据即可，当需要读取音频数据时，解析该数据包中的音频数据即可。通过音频解码器读取该段视频(也可指添加帧编号后的视频)的音频数据时，可获取到该音频数据的每一播放时刻(与该段视频的播放时刻一致)对应的音频信号。侦测单元201实时侦测该读取过程中音频信号的强度，确定单元202在检测到音频信号从无到有，即音频信号的强度从零变为到一个较高的值，且该值大于预设的第二阈值时，将此时音频信号对应的播放时刻确定为检查点，且获取单元203从添加帧编号后的视频中解析当前检查点对应的视频帧，以获取该视频帧中的帧编号，获得的帧编号即为当前检查点(即当前播放时刻)，对应的第一帧编号。

其中，第一帧编号为各个检查点在视频中对应的视频帧的帧编号；所述第二阈值是预先设置的一个音频信号强度值，用于表示强度值超过第二阈值的音频信号属于有声音的音频信号。

同步测试模块300，用于在终端播放添加帧编号后的视频时，当第N次检测到音频信号从无到有时，获取当前视频画面对应的第二帧编号，并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值，判断当前的音画是否同步。

所述终端可以为电视机，也可以为手机等能够播放视频且需要对视频的图像显示和音频播放进行处理的硬件设备。所述第二帧编号是用来区分于第一帧编号的一类帧编号，表示在通过终端播放视频时获取到的帧编号。N的取值依次为1、2、3…。

以电视机为例，则测试时的视频为电视机实际接收的直播数字信号经处理后得到的TS视频文件。在进行音画同步测试时，在电视机上播放添加帧编号后的视频，同时，同步测试模块300可通过串口线与电视机连接以获取所需数据。在播放过程中，同步测试模块300可获取到实时的音频信号和视频帧数据，当检测到音频信号从无到有，即音频信号的强度从零变为超过预设的第三阈值时，一方面获取当前视频画面所属视频帧的第二帧编号，另一方面根据该次检测到音频信号从无到有的次序，即第N次，获取之前确定出的检查点中、播放时刻按升序排列的第N个检查点(即音画同步播放中第N次声音停顿处重新有声音的播放时刻)对应的第一帧编号，然后根据当前获取到的第一帧编号、第二帧编号、预设的第一阈值，判断当前的音画是否同步。其中，所述第三阈值也是预先设置的一个音频信号强度值，其取值可以与所述第二阈值相同，也可以不同。

例如，假设当前获取到的第一帧编号为950、第二帧编号为986，预设的第一阈值为时间差值且取值为500ms，则第一帧编号与第二帧编号的绝对差值为|950－986|＝36，计算得到当前视频画面在当前播放场景下与在音画同步播放场景下相差的时间差值为(36/50)×1000＝720ms，由于计算得到的时间差值大于第一阈值500ms，则同步测试模块300可判断出当前的音画不同步。进一步地，还可根据计算得到的时间差值对播放的视频进行音画同步校正。

本发明提出的音画同步测试装置，在视频的每一帧中依序添加帧编号，然后通过音频解码器读取视频的音频数据，以确定出音频信号从无到有时的检查点，并从添加帧编码后的视频中获取各个检查点各自对应的第一帧编号；在终端上播放添加帧编号后的视频时，当第N次检测到音频信号从无到有时，获取当前视频画面对应的第二帧编号，并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值，判断当前的音画是否同步。测试时所用的视频可以是用户实际观看的任意视频，且在同一声音停顿处重新有声音时，通过比较此时本该播放的帧编号与当前实际播放的帧编号的差异，从而实现对用户实际观看的视频进行客观、准确、简捷的音画同步测试。

进一步地，基于上述音画同步测试装置第一实施例提出本发明音画同步测试装置第二实施例，在本实施例中，所述同步测试模块300包括判断单元301，所述判断单元301用于：

若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值，大于或等于所述第一阈值，则确定当前的音画不同步，否则，确定当前的音画同步。

本实施例中，所述第一阈值是为帧编号的绝对差值设置的一个阈值。假设当前获取到的第一帧编号为950、第二帧编号为986，第一阈值为30，则帧编号的绝对差值为|950－986|＝36，大于预设的第一阈值30，因而判断单元301可判断出当前的音画不同步。进一步地，还可根据帧编号的绝对差值对播放的视频进行音画同步校正。

本发明提出的音画同步测试装置，通过计算第一帧编号与第二帧编号的绝对差值，并比较计算得到的绝对差值与预设的第一阈值的大小关系，从而判断当前的音画是否同步，判断过程简单、快速，且判断结果准确。

进一步地，基于上述音画同步测试装置第二实施例提出本发明音画同步测试装置第三实施例，在本实施例中，所述视频处理模块100具体用于：

在视频的每一帧中依序添加帧编号时，控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。

例如，在终端上播放该视频时，在该视频的第一帧对应的视频画面的指定位置(如右下角)处能够显示帧编号1，在该视频的第二帧对应的视频画面的相同位置处能够显示帧编号2，以此类推。

进一步地，参照图6，所述同步测试模块300还包括检测单元302，所述检测单元302包括：

侦测子单元，用于在终端播放添加帧编号后的视频时，实时侦测音频信号的强度；

可通过与终端进行串口连接，从而从终端的音频处理装置(如扬声器)获取到视频播放时实时的音频信号的强度，也可通过麦克风等装置捕获视频播放时的声音，从而使侦测子单元获取到实时的音频信号的强度。

捕获子单元，用于当侦测到音频信号的强度从零变为超过预设的第三阈值时，通过预置的摄像头捕获当前的视频画面；

在终端上播放添加帧编号后的视频时，使用预置的摄像头对准该视频的视频画面，且当侦测到音频信号从无到有，即音频信号的强度从零变为超过预设的第三阈值时，捕获子单元控制摄像头捕获当前的视频画面。

获取子单元，用于对捕获到的视频画面进行图像处理，以获取所述视频画面上的帧编号，并将获取到的帧编号作为当前视频画面对应的第二帧编号。

通过摄像头得到当前的视频画面后，获取子单元利用图像处理技术提取出该视频画面上的帧编号，提取出的帧编号即为当前视频画面对应的第二帧编号。

本发明提出的音画同步测试装置，控制帧编号在终端播放视频时显示在相应视频画面的指定位置，使得测试者能够直观查看到各个测试点(即音频信号从无到有时)对应视频画面的帧编号，且能够通过预置的摄像头捕获得到该帧编号，从而获得测试需要的第二帧编号。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。