一种音画同步方法和装置及显示设备与流程

本发明的实施例涉及电子技术领域，尤其涉及一种音画同步方法和装置及显示设备。

背景技术：

在音视频播放技术中，播放设备(例如电视)在解码一个视频文件(包含音频数据和图像数据)后，将图像数据经过图像处理(例如图像解码、画质调节等)输出至屏幕，将音频数据进行声音处理(如解码、放大等)输出至扬声器，从而实现视频文件的播放。然而，由于图像数据较大且还要经过画质调节等图像处理过程，使得图像数据输出至屏幕比音频数据输出至扬声器较慢，因此通过采取使音频数据延迟输出至扬声器的方案可以保证音视频同步，延迟时间即为图像数据比音频数据输出慢的时长。

然而，随着杜比、dts(digitaltheatersystems，数字影院系统)等音效技术的发展，用户使用arc(audioreturnchannel，声音回传)外接功放达到更好的立体效果的场景越来越多。但由于此场景，电视不进行音频解码，而是将音频透传给外接的功放设备，由功放设备对音频数据进行解码。而，对音频数据进行音频透传加上功放设备解码以及音效处理，则可能出现声音播放比图像显示还延后的情况，致使音画不同步。

技术实现要素：

本发明的实施例提供一种音画同步方法和装置及显示设备，能够实现音画同步，提高用户体验。

第一方面，提供一种音画同步方法，包括：

当确定有音画数据输出时将所述音画数据缓存，所述音画数据包括音频数据和图像数据；

获取音画同步设置参数，所述音画同步设置参数用于指示所述音频数据与所述图像数据的输出延时；

当所述音画同步设置参数小于0时，根据所述音画同步设置参数将所述图像数据经过图像处理后延后输出至显示设备，并将所述音频数据输出至功放设备。

在上述方案中，能够将待输出的音画数据缓存，其中音画数据包括音频数据和图像数据；然后，音画同步装置获取用于指示音频数据与图像数据的输出延时的音画同步设置参数；当确定音画同步设置参数小于0时，根据所述音画同步设置参数将所述图像数据经过图像处理后延后输出至显示设备，并将所述音频数据输出至功放设备。这样，图像数据提前于音频数据，可以通过延后图像数据实现音画同步，提高了用户体验。

第二方面，提供一种音画同步装置，包括：处理单元，用于当确定有音画数据输出时将所述音画数据缓存，所述音画数据包括音频数据和图像数据；所述处理单元，还用于获取音画同步设置参数，所述音画同步设置参数用于指示所述音频数据与所述图像数据的输出延时；输出单元，用于当所述音画同步设置参数小于0时，根据所述音画同步设置参数将所述图像数据经过图像处理后延后输出至显示设备，并将所述音频数据输出至功放设备。

第三方面，提供一种音画同步装置，包括通信接口、处理器、存储器、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述音画同步装置运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述音画同步装置执行上述的音画同步方法。

第四方面，提供一种计算机存储介质，包括指令，当所述指令在计算机上运行时，使得所述计算机执行第一方面所述的音画同步方法。

第五方面，提供一种显示设备，包括如第二方面、第三方面所述的音画同步装置。

可以理解地，上述提供的任一种显示设备、音画同步装置或计算机存储介质均用于执行上文所提供的第一方面对应的方法，因此，其所能达到的有益效果可参考上文第一方面的方法以及下文具体实施方式中对应的方案的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的一种图像数据和音频数据的输出方式示意图；

图2为本发明的实施例提供的一种音画同步范围的进度条示意图；

图3为本发明的实施例提供的一种音频数据的输出方式示意图；

图4为本发明的另一实施例提供的一种图像数据和音频数据的输出方式示意图；

图5为本发明的提供的一种音画同步方法的流程示意图；

图6为本发明的另一实施例提供的一种音画同步范围的进度条示意图；

图7为本发明的实施例提供的一种音画同步装置的结构示意图；

图8为本发明的另一实施例提供的一种音画同步装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，在音视频播放技术中，播放设备(例如电视)在解码一个视频文件(包含音频数据和图像数据)后，将图像数据经过图像处理(例如图像解码、画质调节等)输出至屏幕，将音频数据进行声音处理(如解码、放大等)输出至扬声器，从而实现视频文件的播放。然而，由于图像数据较大且还要经过画质调节等图像处理过程，使得图像数据输出至屏幕比音频数据输出至扬声器较慢，因此通过采取使音频数据延迟输出至扬声器的方案可以保证音视频同步，延迟时间即为图像数据比音频数据输出慢的时长。

如图1所示，由于需要对图像数据进行图像处理会造成延时tv，对音频数据进行声音处理会造成延时ta，而通常tv＞ta。目前的音画同步处理流程为首先通过芯片能力缓存一定的音频数据，如图2所示，通过人机交互的ui接收延时指令，例如可以在ui显示用于生成延时指令的进度条，其中该延时指令调节的音画同步范围为如图2示出的进度条所示，为：-10—10(单位可以为秒或者毫秒)，以taδ＝tv-ta时延时指令为0，此时由于图像数据经图像处理延时tv，音频数据进行声音处理延时ta，则相当于音频数据相对于图像数据输出至屏幕延时taδ输出至扬声器，则音画同步；延时指令为-10时音频数据输出延迟为0，延时指令为10时音频数据输出延迟为最大tamax。

然而，随着杜比、dts等音效技术的发展，用户使用arc外接功放达到更好的立体效果的场景越来越多。但由于此场景，电视不进行音频解码，而是将音频透传给外接的功放设备，由功放设备对音频数据进行解码，如图3所示。而，对音频数据进行音频透传加上功放设备解码以及音效处理，则可能出现声音播放比图像显示还延后的情况，致使音画不同步。

如图4所示，由于需要对图像数据进行图像处理会造成延时tv，对音频数据进行透传造成延时ta，功放设备对音频数据进行声音处理进一步造成延时ta’，而当ta’＞taδ时，说明声音播放比图像显示还延后，则通过音频数据延时并不能解决音画不同步的问题。

为解决上述问题，提供一种音画同步方法，参照图5所示，包括如下步骤：

101、确定是否有音视频数据输出。

102、当确定有音画数据输出时将音画数据缓存，获取音画同步设置参数m。

其中，音画数据包括音频数据和图像数据，音画同步设置参数m用于指示音频数据与图像数据的输出延时。

其中，可以通过用户界面ui接收用户输入的操作指令，获取操作指令携带的音画同步设置参数m。参照图6所示，可以在用户界面显示不同的音画同步设置参数对应的调节进度条，例如，-n—10，用户可以在用户界面调节进度条的位置向电视输入音画同步设置参数m，其中taδ＝tv-ta时音画同步设置参数m＝0，此时图像数据经图像处理延时tv，音频数据透传至功放设备延时ta，相当于音频数据相对于图像数据延时taδ输出至功放设备，音画同步设置参数m小于0的部分对应图像数据的延时，音画同步设置参数m大于0的部分对应音频数据的延时。

103、当音画同步设置参数小于0时，根据音画同步设置参数将图像数据经过图像处理后延后输出至显示设备，并将音频数据输出至功放设备。

具体的，当确定音画同步设置参数小于0时，确定通过延后图像数据实现音画同步。而由于不同视频文件对应的图像数据的帧率不一定相同同，因此在计算图像数据延后输出的帧数时，需要考虑图像数据的帧率。

若图像数据的帧率与默认的播放帧率相同，则根据音画同步设置参数确定延后的帧数，根据延后的帧数将经过图像处理后的所述图像数据延后输出至显示设备；例如，当前图像数据的帧率和当时用户设置的默认的播放帧率相同，直接按对应的数据m，对应延后相应帧数图像。例如，m单位为ms时，帧率为f，则将图像数据延后m/(1000/f)帧输出。

当图像数据的帧率与默认的播放帧率不相同时，根据图像数据的帧率、默认的播放帧率以及音画同步设置参数计算延后的帧数，根据延后的帧数将经过图像处理后的所述图像数据延后输出。其中，延后的帧数满足如下条件：n*(1000/f)＞ta’，其中，n为延后的帧数，f为图像数据的帧率，ta’为功放设备处理音频数据造成的延时。

当前图像数据的帧率f与默认的播放帧率f'不相同时，计算出当前图像数据的帧率对应的音画同步设置参数m'，对图像数据按照m'延后对应的帧数。用户使用的功放设备固定时，功放设备对音频数据处理时造成的延时也就相应是固定的。所以在音画同步时，要保证延时相同，由于图像数据的帧率不同，每帧数据耗时不同，耗时情况为1000ms/f(f为当前帧率)。如果是50帧的数据，每帧耗时就是1000/50＝20ms，同理24帧的数据，每帧耗时就是1000/24≈42ms。所以如果音画同步设置参数m<0，在缓存图像数据时也同时记录图像数据的帧率，如果帧率发生改变，需要通过m'＝f'/f*m(计算数据需要四舍五入取整)来确认具体图像延后帧数，以此来保证不同帧率的数据，对应的延时最趋近于同步。

在上述方案中，能够将待输出的音画数据缓存，其中音画数据包括音频数据和图像数据；然后，获取用于指示音频数据与图像数据的输出延时的音画同步设置参数；当确定音画同步设置参数小于0时，根据所述音画同步设置参数将所述图像数据经过图像处理后延后输出至显示设备，并将所述音频数据输出至功放设备。这样，图像数据提前于音频数据，可以通过延后图像数据实现音画同步，提高了用户体验。

此外，还包括如下步骤：

104、当音画同步设置参数大于0时，根据音画同步设置参数将音频数据延后输出至功放设备，并将图像数据经过图像处理后输出至显示设备。

例如，音画同步设置参数大于0，确定通过延后音频数据实现音画同步，具体若m表示需要将音频数据延后mms，则根据ui获取的操作指令中携带的将音频数据延后mms输出至功放设备，并将经过图像处理后的图像数据输出至显示设备。

105、当音画同步设置参数等于0时，根据音画同步设置参数将图像数据经过图像处理后输出至显示设备，并将音频数据输出至功放设备。

此时，并不对图像数据和或音频数据做额外的延后处理，即认为对图像数据进行图像处理会造成延时tv，对音频数据进行透传造成延时ta，以及功放设备对音频数据进行声音处理进一步造成延时ta’，并不会对音画同步造成影响。

这样，当音画同步设置参数大于0时，根据音画同步设置参数将音频数据延后输出至功放设备，并将所述图像数据经过图像处理后输出至显示设备；当音画同步设置参数等于0时，根据所述音画同步设置参数将所述图像数据经过图像处理后输出至显示设备，并将音频数据输出至功放设备。因此，无论音频数据提前于图像数据，或者图像数据提前于音频数据，通过上述方案均能够实现音画同步，提高了用户体验。

参照图7所示，提供一种音画同步装置，包括：

处理单元71，用于当确定有音画数据输出时将所述音画数据缓存其中所述音画数据包括音频数据和图像数据。

处理单元71，还用于获取音画同步设置参数，音画同步设置参数用于指示所述音频数据与所述图像数据的输出延时；

输出单元72，用于当所述音画同步设置参数小于0时，根据所述音画同步设置参数将所述图像数据经过图像处理后延后输出至显示设备，并将所述音频数据输出至功放设备。

在一种示例性的方案中，输出单元72，用于当所述音画同步设置参数大于0时，根据所述音画同步设置参数将所述音频数据延后输出至功放设备，并将所述图像数据经过图像处理后输出至显示设备。所述输出单元72，用于当所述音画同步设置参数等于0时，根据所述音画同步设置参数将所述图像数据经过图像处理后输出至显示设备，并将所述音频数据输出至功放设备。

在一种示例性的方案中，所述输出单元72，具体用于当所述音画同步设置参数小于0时，若确定所述图像数据的帧率与默认的播放帧率相同，则根据所述音画同步设置参数确定延后的帧数，根据所述延后的帧数将经过图像处理后的所述图像数据延后输出至显示设备；当所述图像数据的帧率与默认的播放帧率不相同时，根据所述图像数据的帧率、所述默认的播放帧率以及所述音画同步设置参数计算延后的帧数，根据所述延后的帧数将经过图像处理后的所述图像数据延后输出。

在一种示例性的方案中，所述延后的帧数满足如下条件：

n*(1000/f)＞ta’，其中，n为所述延后的帧数，所述f为所述图像数据的帧率，ta’为所述功放设备处理所述音频数据造成的延时。

在一种示例性的方案中，所述处理单元71，具体用于通过用户界面接收用户输入的操作指令，获取所述操作指令携带的音画同步设置参数。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。

在采用集成的模块的情况下，音画同步装置包括：存储单元、处理单元以及接口单元。处理单元用于对音画同步装置的动作进行控制管理，例如，处理单元用于支持音画同步装置执行图5中的过程101-105。接口单元用于支持音画同步装置与其他装置的交互，例如与显示设备或者功放设备的交互。存储单元，用于存储音画同步装置的程序代码和数据。

其中，以处理单元为处理器，存储单元为存储器，接口单元为通信接口为例。其中，音画同步装置参照图8中所示，包括通信接口801、处理器802、存储器803和总线804，通信接口801、处理器802通过总线804与存储器803相连。

处理器802可以是一个通用中央处理器(centralprocessingunit，cpu)，微处理器，特定应用集成电路(application-specificintegratedcircuit，asic)，或一个或多个用于控制本申请方案程序执行的集成电路。

存储器803可以是只读存储器(read-onlymemory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(randomaccessmemory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasableprogrammableread-onlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器803用于存储执行本申请方案的应用程序代码，并由处理器802来控制执行。通讯接口801用于与其他装置进行信息交互，例如与显示设备或者功放设备进行信息交互。处理器802用于执行存储器803中存储的应用程序代码，从而实现本申请实施例中所述的方法。

本发明的实施例提供一种显示设备，包括上述的音画同步装置。此外，还提供一种计算存储媒体(或介质)，包括在被执行时进行上述实施例中的方法的操作的指令。

另外，还提供一种计算机程序产品，包括上述计算存储媒体(或介质)。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称:read-onlymemory，英文简称：rom)、随机存取存储器(英文全称：randomaccessmemory，英文简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。