播放控制方法及装置与流程

本发明实施例涉及音视频处理技术领域，尤其涉及一种播放控制方法及装置。

背景技术：

在观看视频时，为了提高视频播放的音质，常常需要利用终端上连接的音响设备，相比与终端上的声音输出设备而言，专业的音响设备的声音品质相对高很多，满足用户对高质量声音的需求。

但在实现本发明的过程中，申请人发现，如果音响设备通过有线方式(例如：数据线或音频线)和终端相连接，这种情况下，由于线材传输性能较优，声音的延迟相对较小，用户往往可以忽略。但如果音响设备通过无线方式和终端相连接，那么声音在利用无线信号传输时，延迟将会增大，严重时，导致用户观看视频时，声音和画面不一致，例如：当前播放的声音和画面中的字幕或口型显示不同步，影响用户对视频的正常观看。

技术实现要素：

本发明实施例中提供了一种播放控制方法及装置，以解决现有技术中的利用无线信号传输音频信号到无线音响设备时，声音信号和视频画面不同步的问题。

本发明实施例公开了如下技术方案：

第一方面，提供了一种播放控制方法，应用于终端，包括：

当终端播放多媒体数据中的视频数据，且将所述多媒体数据中与所述视频数据相关联的音频数据通过无线方式发送给预设无线音响设备播放时，采集所述无线音响设备播放的声音信号；

检测所述声音信号与所述终端上播放的视频画面是否同步；

当所述声音信号与所述视频画面不同步时，在所述音频数据传输的同时，对所述终端上播放的视频画面进行时延，以使所述视频画面与所述声音信号同步。

可选地，所述检测所述声音信号与所述终端上播放的视频画面是否同步，包括：

提取所述声音信号的实时波形；

获取与所述视频画面对应的音频数据的理论波形；

判断所述实时波形和与所述理论波形是否一致；

当所述实时波形和所述理论波形不一致时，确定所述声音信号与所述视频画面不同步。

可选地，所述对所述终端上播放的视频画面进行时延，包括：

计算所述视频画面与所述声音信号之间的时延时长；

利用所述时延时长对所述终端上播放的视频画面进行时延。

可选地，所述计算所述视频画面与所述声音信号之间的时延时长，包括：

提取所述实时波形中的波形特征，以及，提取所述理论波形的波形特征；

将所述实时波形和所述理论波形的波形特征进行特征对比；

根据特征对比结果，确定所述理论波形与所述实时波形的时延方向；

沿所述时延方向移动所述理论波形，并记录所述理论波形和所述实时波形一致时的移动时长；

将所述时延方向上的所述移动时长确定为所述时延时长。

可选地，所述对所述终端上播放的视频画面进行时延，包括：

获取从所述多媒体解码数据得到所述视频数据和音频数据时的解码信息；

查找解码信息与所述声音信号的解码信息相同的目标视频数据；

将所述终端当前播放的视频数据切换到所述目标视频数据，实现对所述终端上播放的视频画面进行时延。

第二方面，提供一种播放控制装置，应用于终端，包括：

采集模块，用于当终端播放多媒体数据中的视频数据，且将所述多媒体数据中与所述视频数据相关联的音频数据通过无线方式发送给预设无线音响设备播放时，采集所述无线音响设备播放的声音信号；

同步检测模块，用于检测所述声音信号与所述终端上播放的视频画面是否同步；

时延模块，用于当所述声音信号与所述视频画面不同步时，在所述音频数据传输的同时，对所述终端上播放的视频画面进行时延，以使所述视频画面与所述声音信号同步。

可选地，所述同步检测模块，包括：

波形提取子模块，用于提取所述声音信号的实时波形；

波形获取子模块，用于获取与所述视频画面对应的音频数据的理论波形；

波形判断子模块，用于判断所述实时波形和与所述理论波形是否一致；

确定子模块，用于当所述实时波形和所述理论波形不一致时，确定所述声音信号与所述视频画面不同步。

可选地，所述时延模块，包括：

时长计算子模块，用于计算所述视频画面与所述声音信号之间的时延时长；

时延控制子模块，用于利用所述时延时长对所述终端上播放的视频画面进行时延。

可选地，所述时长计算子模块，包括：

波形特征提取子模块，用于提取所述实时波形中的波形特征，以及，提取所述理论波形的波形特征；

波形特征对比子模块，用于将所述实时波形和所述理论波形的波形特征进行特征对比；

时延方向确定子模块，根据特征对比结果，确定所述理论波形与所述实时波形的时延方向；

移动子模块，用于沿所述时延方向移动所述理论波形；

时长记录子模块，用于记录所述理论波形和所述实时波形一致时的移动时长；

时长确定子模块，用于将所述时延方向上的所述移动时长确定为所述时延时长。

可选地，所述时延模块，包括：

解码信息获取子模块，用于获取从所述多媒体解码数据得到所述视频数据和音频数据时的解码信息；

视频数据查找子模块，用于查找解码信息与所述声音信号的解码信息相同的目标视频数据；

视频数据切换子模块，用于将所述终端当前播放的视频数据切换到所述目标视频数据，实现对所述终端上播放的视频画面进行时延。

第三方面，提供了一种终端，包括：如第二方面任一项所述的播放控制装置。

第四方面，提供了一种终端，包括：

一个或多个处理器；以及，

存储器；其中，

所述存储器存储有可被所述一个或多个处理器执行的指令，所述指令被设置为执行：

当终端播放多媒体数据中的视频数据，且将所述多媒体数据中与所述视频数据相关联的音频数据通过无线方式发送给预设无线音响设备播放时，采集所述无线音响设备播放的声音信号；

检测所述声音信号与所述终端上播放的视频画面是否同步；

当所述声音信号与所述视频画面不同步时，在所述音频数据传输的同时，对所述终端上播放的视频画面进行时延，以使所述视频画面与所述声音信号同步。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明实施例提供的该方法，在终端本地播放与视频数据的视频画面，并且在无线音响设备上播放与视频画面对应的音频数据的声音信号时，通过采集无线音响设备播放的声音信号，并且将声音信号和视频画面进行比较，当二者不同步时，通过对视频画面进行时延，使得视频画面可以与声音信号同步。

该方法，在应用时，即使终端在向无线音响设备传输音频数据时存在延迟，由于同时还对视频画面进行时延，使得视频画面和声音信号仍然可以保持同步，从而避免了由于视频画面和声音不一致而影响用户正常观看视频的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有

技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人

员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种场景视图；

图2为本发明实施例提供的一种播放控制方法的流程示意图；

图3为图2中步骤S102的详细流程示意图；

图4为图2中步骤S103的一种详细流程示意图；

图5为图4中步骤S1031的详细流程示意图；

图6为本发明实施例提供的一种波形示意图；

图7为图2中步骤S103的另一种详细流程示意图；

图8为本发明实施例提供的一种播放控制装置的结构示意图；

图9为图8中同步检测模块的结构示意图；

图10为图8中时延模块的一种结构示意图；

图11为图8中时延模块的另一种结构示意图；

图12为本发明实施例提供的视频播放终端的模块示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1为本发明实施例提供的一种场景视图。

如图1所示，图中包括：终端1、无线路由器2、无线音响设备3和麦克风4，其中，终端1为视频播放终端，并且终端1可以直接与无线音响设备3进行无线通信，例如：蓝牙通信方式，也可以通过第三方进行无线通信，例如：通过路由器进行wifi通信。在本发明实施例中，终端1可以为常见的电视机、平板电脑、台式机或便携式笔记本等，在图1中以电视机为例，无线音响设备3可以为蓝牙音响，也可以为wifi音响，在图1中，无线音响设备3以wifi音响为例。

终端1可以通过网络接收待播放的多媒体数据，然后对多媒体数据进行解编码处理，得到能够播放的视频数据和音频数据，然后终端1在本地播放与视频数据对应的视频画面，然后将音频数据通过无线方式发送给无线音响设备3，在无线音响设备3上播放声音，例如：图1中，终端1可以将声音信号通过无线路由器2转发给无线音响设备3。

图1中的麦克风4可以设置在终端1内，用于采集无线音响设备3的声音信号；另外，当无线音响设备3与终端1之间的距离较远时，麦克风4还可以设置在终端1外部，并且麦克风4通过线缆与终端1相连接，以缩短麦克风4与无线音响设备3之间的距离。

图2为本发明实施例提供的一种播放控制方法的流程示意图。该播放控制方法可以应用于图1中的终端1中。如图2所示，该播放控制方法可以包括以下步骤。

当终端播放多媒体数据中的视频数据，且将所述多媒体数据中与所述视频数据相关联的音频数据通过无线方式发送给预设无线音响设备播放时，在步骤S101中，采集所述无线音响设备播放的声音信号。

终端可以通过网络接收多媒体数据，通常接收到的多媒体数据都是按照一定的网络协议进行编码后得到。当终端接收到的多媒体数据后，需要对多媒体数据进行解码后重新编码，然后才能得到可以在终端上进行播放的视频数据和与视频数据相关联的音频数据。

当终端得到视频数据后，可以直接在本地播放视频数据形成视频画面。另外，终端还可以将与视频数据对应的音频数据发送给无线音响设备进行播放，形成声音信号。

另外，参见图1所示，终端1可以利用麦克风4采集无线音响设备播放音频数据时的声音信号。

在步骤S102中，检测所述声音信号与所述终端上播放的视频画面是否同步。

当检测到声音信号后，可以判断该声音信号是否和终端上播放的视频画面同步，判断的方式可以为，查找视频画面对应的音频数据，然后通过对音频数据的波形和声音信号的波形进行对比，进而如果二者的波形一致，表示声音信号和视频画面同步。相反，声音信号和视频画面不同步。

当所述声音信号与所述视频画面不同步时，在步骤S103中，在所述音频数据传输的同时，对所述终端上播放的视频画面进行时延。

如果声音信号和视频画面不同时，两者必然存在有偏差，所以，在该步骤中，在音频数据传输的同时，直接对终端上播放的视频画面进行时延，其中，如果声音信号提前，可以将视频画面向前拖动，如果声音信号延后，可以将视频画面向后拖动。在进行时延后最终使得所述视频画面与所述声音信号同步。通常情况下，由于无线信号的延迟，声音信号都是延后的，所以，一般需要将视频画面向后拖动。这里向前是指播放时进度条移动方向的相反反向，向后是指与播放时进度条移动方向的相同方向。

本发明实施例提供的该方法，在终端本地播放与视频数据的视频画面，并且在无线音响设备上播放与视频画面对应的音频数据的声音信号时，通过采集无线音响设备播放的声音信号，并且将声音信号和视频画面进行比较，当二者不同步时，通过对视频画面进行时延，使得视频画面可以与声音信号同步。

该方法，在应用时，即使终端在向无线音响设备传输音频数据时存在延迟，由于同时还对视频画面进行时延，使得视频画面和声音信号仍然可以保持同步，从而避免了由于视频画面和声音不一致而影响用户正常观看视频的问题。

在本发明另一实施例中，如图3所示，图2中的步骤S102可以包括以下步骤。

在步骤S1021中，提取所述声音信号的实时波形。

在该步骤中，可以利用将声音信号输入到数字示波器，进而得到声音信号的实时波形。

在步骤S1022中，获取与所述视频画面对应的音频数据的理论波形。

在该步骤中，可以将视频画面对应的音频数据输入到数字扬声器中，生成模拟声音信号，然后将模拟声音信号输入到数字示波器中，进而可以得到与视频画面对应的音频数据的理论波形。

在步骤S1023中，判断所述实时波形和与所述理论波形是否一致。

在对比波形时，在精度要求不高时，可以仅根据波形的波峰波谷进行轮廓对比；当精度要求较高时，除了对波峰波谷等轮廓进行对比，还可以对波形进行细节分解，然后进行细节对比。

无论是轮廓对比还是细节对比，只要对比结果不一致，均可以确定实时波形和理论波形不一致。

当所述实时波形和所述理论波形不一致时，在步骤S1024中，确定所述声音信号与所述视频画面不同步。否则，结束流程。

在本发明另一实施例中，如图4所示，图2中所示步骤S103可以包括以下步骤：

在步骤S1031中，计算所述视频画面与所述声音信号之间的时延时长。

在本发明一实施例中，如图5所示，该步骤S1031可以包括：

在步骤S201中，提取所述实时波形中的波形特征，以及，提取所述理论波形的波形特征。

在该步骤中，波形特征包括波形轮廓，波峰和波谷点，以及，波峰的跨度等等。

在步骤S202中，将所述实时波形和所述理论波形的波形特征进行特征对比。

在进行特征对比时，是指将所有特征进行对比，而非仅将某一个特征进行对比，例如：仅将波峰进行对比的话，实时波形和理论波形的波峰可能一致，但其余特征不一致，仍然不足以说明两个波形一致，进而无法对波形进行移动。

在步骤S203中，根据特征对比结果，确定所述理论波形与所述实时波形的时延方向。

在本发明实施例中，时延方向是指理论波形相对实时波形进行移动时的方向，时延方向可以为提前或延后。参见图6所示，图中示出了两个波形，其中实线的波形A表示声音信号的实时波形，虚线的波形B表示音频信号的虚拟波形，从图中可以看到，无线音响设备播放的声音信号要比音频数据对应的波形延后，也即声音信号比画面播放的要晚，所以时延方向为延后，也即时延方向与播放时进度条移动方向的相反。

在步骤S204中，沿所述时延方向移动所述理论波形，并记录所述理论波形和所述实时波形一致时的移动时长。

从图5中可以看到，由于理论波形和实时波形之间的差值为△t，所以，控制理论波形沿时间轴向后方向移动理论波形时，移动△t后，即可使得两个波形一致。

在步骤S205中，将所述时延方向上的所述移动时长确定为所述时延。

在步骤S1032中，利用所述时延时长对所述终端上播放的视频画面进行时延。

在本发明另一实施例中，如图7所示，前述步骤S103可以包括以下步骤：

在步骤S1033中，获取从所述多媒体解码数据得到所述视频数据和音频数据时的解码信息。

在本发明实施例中，解码信息可以为时间标，也即当解码多媒体数据时，可以对界面后得到的视频数据和音频数据加上相同的时间标，通过时间标可以将解码后得到的视频数据和音频数据完全对应。

在步骤S1034中，查找解码信息与所述声音信号的解码信息相同的目标视频数据。

可以根据音频数据的时间标对采集到的声音信号进行时间标记，这样就可以根据声音信号的时间标查找目标视频数据，这里，查找到的目标视频数据的时间标和声音信号的时间标完全一致。

在步骤S1035中，将所述终端当前播放的视频数据切换到所述目标视频数据。

当找到目标视频数据后，可以直接将当前播放的视频数据切换到目标视频数据，也即相当于将当前播放的视频数据直接延缓一段时间，所以通过该步骤，可以实现对所述终端上播放的视频画面进行时延。

本发明另一实施例还提供了一种播放控制装置，该装置可以应用于图1中的终端1中，如图8所示，该装置可以包括：采集模块11、同步检测模块12和时延模块13，其中，

采集模块11，用于当终端播放多媒体数据中的视频数据，且将所述多媒体数据中与所述视频数据相关联的音频数据通过无线方式发送给预设无线音响设备播放时，采集所述无线音响设备播放的声音信号；

同步检测模块12，用于检测所述声音信号与所述终端上播放的视频画面是否同步；

时延模块13，用于当所述声音信号与所述视频画面不同步时，在所述音频数据传输的同时，对所述终端上播放的视频画面进行时延，以使所述视频画面与所述声音信号同步。

在本发明另一实施例中，如图9所示，同步检测模块11，可以包括：波形提取子模块111、波形获取子模块112、波形判断子模块113和确定子模块114，其中，

波形提取子模块111，用于提取所述声音信号的波形；

波形获取子模块112，用于获取与所述视频画面对应的音频数据的实时波形；

波形判断子模块113，用于判断所述声音信号的波形和与所述视频画面对应的音频数据的理论波形是否一致；

确定子模块114，用于当所述实时波形和所述理论波形不一致时，确定所述声音信号与所述视频画面不同步。

在本发明另一实施例中，如图10所示，时延模块13，可以包括：时长计算子模块131和时延控制子模块132，其中，

时长计算子模块131，用于计算所述视频画面与所述声音信号之间的时延时长；

时延控制子模块132，用于利用所述时延时长对所述终端上播放的视频画面进行时延。

在本发明一实施例中，时长计算子模块，包括：

波形特征提取子模块，用于提取所述实时波形中的波形特征，以及，提取所述理论波形的波形特征；波形特征对比子模块，用于将所述实时波形和所述理论波形的波形特征进行特征对比；时延方向确定子模块，根据特征对比结果，确定所述理论波形与所述实时波形的时延方向；移动子模块，用于沿所述时延方向移动所述理论波形；时长记录子模块，用于记录所述理论波形和所述实时波形一致时的移动时长；时长确定子模块，用于将所述时延方向上的所述移动时长确定为所述时延时长。

在本发明另一实施例中，如图11所示，时延模块13，包括：解码信息获取子模块133、视频数据查找子模块134和视频数据切换子模块135，其中，

解码信息获取子模块133，用于获取从所述多媒体解码数据得到所述视频数据和音频数据时的解码信息；

视频数据查找子模块134，用于查找解码信息与所述声音信号的解码信息相同的目标视频数据；

视频数据切换子模块135，用于将所述终端当前播放的视频数据切换到所述目标视频数据，实现对所述终端上播放的视频画面进行时延。

在本发明另一实施例中，还提供了一种终端，该视频播放终端可以包括：如上述图8-图11任一个实施例所述的播放控制装置。

在本发明另一实施例中，还提供了一种终端，如图12所示，该终端可以包括：

一个或多个处理器100；以及，

存储器200；其中，

所述存储器200存储有可被所述一个或多个处理器100执行的指令，所述指令被设置为执行：

当终端播放多媒体数据中的视频数据，且将所述多媒体数据中与所述视频数据相关联的音频数据通过无线方式发送给预设无线音响设备播放时，采集所述无线音响设备播放的声音信号；

检测所述声音信号与所述终端上播放的视频画面是否同步；

当所述声音信号与所述视频画面不同步时，在所述音频数据传输的同时，对所述终端上播放的视频画面进行时延，以使所述视频画面与所述声音信号同步。

在本发明另一实施例中，所述检测所述声音信号与所述终端上播放的视频画面是否同步的指令被设置为执行：

提取所述声音信号的实时波形；

获取与所述视频画面对应的音频数据的理论波形；

判断所述实时波形和与所述理论波形是否一致；

当所述实时波形和所述理论波形不一致时，确定所述声音信号与所述视频画面不同步。

在本发明另一实施例中，所述对所述终端上播放的视频画面进行时延的指令被设置为执行包括：

计算所述视频画面与所述声音信号之间的时延时长；

利用所述时延时长对所述终端上播放的视频画面进行时延。

在本发明另一实施例中，所述计算所述视频画面与所述声音信号之间的时延时长的指令被设置为执行：

提取所述实时波形中的波形特征，以及，提取所述理论波形的波形特征；

将所述实时波形和所述理论波形的波形特征进行特征对比；

根据特征对比结果，确定所述理论波形与所述实时波形的时延方向；

沿所述时延方向移动所述理论波形，并记录所述理论波形和所述实时波形一致时的移动时长；

将所述时延方向上的所述移动时长确定为所述时延时长。

在本发明另一实施例中，所述对所述终端上播放的视频画面进行时延的指令被设置为执行：

获取从所述多媒体解码数据得到所述视频数据和音频数据时的解码信息；

查找解码信息与所述声音信号的解码信息相同的目标视频数据；

将所述终端当前播放的视频数据切换到所述目标视频数据，实现对所述终端上播放的视频画面进行时延。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。