音画同步方法及装置与流程

本发明实施例涉及电视技术领域，尤其涉及一种音画同步方法及装置。

背景技术：

随着超高清电视技术的不断发展，视频的分辨率也越来越高。目前，视频的分辨率可以达到8k(例如，7680×4320)。

在实际应用过程中，电视中通常具有系统级芯片(systemonchip，简称soc)，该soc可以处理分辨率小于或等于4k的图像，但无法处理分辨率大于4k的图像。为了使得电视可以处理8k视频，通常在电视中集成图像处理芯片，例如，图像处理芯片可以为帧率转换(framerateconversion，简称frc)芯片，由图像处理芯片控制显示8k视频中的图像，由soc控制播放8k视频中的声音。然而，由于8k视频中的图像和声音由不同的芯片控制，导致电视在播放8k视频的过程中，图像和声音的同步性较差。

技术实现要素：

本发明实施例提供一种音画同步方法及装置，提高了图像和声音的同步性。

第一方面，本发明实施例提供一种音画同步方法，包括：

接收待播放视频的数据；所述待播放视频的数据包括图像数据和声音数据；

当所述待播放视频的分辨率大于预设分辨率时，分别获取第一芯片控制显示所述图像数据的第一时延、第二芯片控制播放所述声音数据的第二时延；

根据所述第一时延和所述第二时延，控制所述第一芯片延迟显示所述图像数据或所述第二芯片延迟播放所述声音数据，以使所述图像数据显示和所述声音数据播放同步。

在一种可能的实施方式中，获取第二芯片控制播放所述声音数据的第二时延，包括：

确定获取到所述待播放视频的第一时刻；

通过所述第二芯片控制播放所述待播放视频中的声音数据，并通过所述第二芯片控制麦克风采集所述待播放视频中的声音；

确定所述麦克风采集得到所述待播放视频中的声音的第二时刻；

根据所述第一时刻和所述第二时刻，确定所述第二时延。

在一种可能的实施方式中，所述通过所述第二芯片控制播放所述待播放视频中的声音数据，包括：

通过所述第一芯片在所述待播放视频中提取所述声音数据；

通过所述第一芯片对所述声音数据进行压缩处理；

通过所述第二芯片解码压缩处理后的声音数据，并通过所述第二芯片控制声音播放装置播放解码后的声音数据。

在一种可能的实施方式中，所述根据所述第一时刻和所述第二时刻，确定所述第二时延，包括：

获取所述第二时刻和所述第一时刻之间的第一时间差；

将所述第一时间差减去第三时延，得到所述第二时延，所述第三时延为所述麦克风采集声音的时延。

在一种可能的实施方式中，所述根据所述第二时延和所述第一时延，控制所述第一芯片延迟显示所述图像数据或所述第二芯片延迟播放所述声音数据，以使所述图像数据显示和所述声音数据播放同步，包括：

若所述第二时延大于所述第一时延，则获取所述第二时延减去所述第一时延的第一差值，并控制所述第一芯片按照所述第一差值延迟显示所述待播放视频中的图像数据；

若所述第二时延小于所述第一时延，则获取所述第一时延减去所述第二时延的第二差值，并控制所述第二芯片按照所述第二差值延迟播放所述待播放视频中的声音数据。

第二方面，本发明实施例提供一种音画同步装置，包括接收模块、获取模块和控制模块，其中，

所述接收模块用于，接收待播放视频的数据；所述待播放视频的数据包括图像数据和声音数据；

所述获取模块用于，当所述待播放视频的分辨率大于预设分辨率时，分别获取第一芯片控制显示所述图像数据的第一时延、第二芯片控制播放所述声音数据的第二时延；

所述控制模块用于，根据所述第一时延和所述第二时延，控制所述第一芯片延迟显示所述图像数据或所述第二芯片延迟播放所述声音数据，以使所述图像数据显示和所述声音数据播放同步。

在一种可能的实施方式中，所述获取模块具体用于：

确定获取到所述待播放视频的第一时刻；

通过所述第二芯片控制播放所述待播放视频中的声音数据，并通过所述第二芯片控制麦克风采集所述待播放视频中的声音；

确定所述麦克风采集得到所述待播放视频中的声音的第二时刻；

根据所述第一时刻和所述第二时刻，确定所述第二时延。

在一种可能的实施方式中，所述控制模块具体用于：

通过所述第一芯片在所述待播放视频中提取所述声音数据；

通过所述第一芯片对所述声音数据进行压缩处理；

通过所述第二芯片解码压缩处理后的声音数据，并通过所述第二芯片控制声音播放装置播放解码后的声音数据。

在一种可能的实施方式中，所述获取模块具体用于：

获取所述第二时刻和所述第一时刻之间的第一时间差；

将所述第一时间差减去第三时延，得到所述第二时延，所述第三时延为所述麦克风采集声音的时延。

在一种可能的实施方式中，所述控制模块具体用于：

若所述第二时延大于所述第一时延，则获取所述第二时延减去所述第一时延的第一差值，并控制所述第一芯片按照所述第一差值延迟显示所述待播放视频中的图像数据；

若所述第二时延小于所述第一时延，则获取所述第一时延减去所述第二时延的第二差值，并控制所述第二芯片按照所述第二差值延迟播放所述待播放视频中的声音数据。

第三方面，本发明实施例提供一种一种音画同步设备，包括：处理器，所述处理器与存储器耦合；

所述存储器用于，存储计算机程序；

所述处理器用于，执行所述存储器中存储的计算机程序，以使得所述终端设备执行上述第一方面任一项所述的方法。

第四方面，本发明实施例提供一种可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，如上述第一方面任意一项所述的方法被执行。

本发明实施例提供的声画同步方法及装置，在接收到待播放视频的数据之后，当待播放视频的分辨率大于预设分辨率时，分别获取第一芯片控制显示图像数据的第一时延、第二芯片控制播放声音数据的第二时延，根据第一时延和第二时延，控制第一芯片延迟显示图像数据或第二芯片延迟播放声音数据，以使图像数据显示和声音数据播放同步，进而提高视频播放过程中声音和画面的同步性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的音画同步方法的架构图；

图2为本发明实施例提供的一种音画同步方法的流程示意图；

图3为本发明实施例提供的确定第二时延方法的流程示意图；

图4为本发明实施例提供的另一种音画同步方法的流程示意图；

图5为本发明实施例提供的音画同步装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的音画同步方法的架构图。请参见图1，电视中包括第一芯片11、第二芯片12、显示装置13和声音播放装置14。

可选的，第一芯片11可以为图像处理芯片，例如，第一芯片11可以为frc芯片。第一芯片11可以对8k视频进行处理，以在8k视频中提取声音数据和图像数据。第一芯片11还可以对声音数据进行压缩处理，例如，将从8k视频中提取得到的声音数据压缩至4k视频对应的声音数据。第一芯片11还可以控制图像数据的显示等，例如，第一芯片11可以控制在显示装置中显示8k图像。

可选的，第二芯片12可以控制声音数据的播放，例如，第二芯片12可以控制声音播放装置播放声音数据。

在本申请中，通过第一芯片11控制显示8k视频中的8k图像数据，通过第二芯片12控制播放8k视频中的声音数据。在播放8k视频的过程中，可以获取从接收到8k视频的数据到第一芯片11控制显示该视频中的图像的第一时延，以及从接收到8k视频的数据到第二芯片控制播放该视频中的声音的第二时延，并根据第一时延和第二时延控制第一芯片11显示8k视频中的8k图像、以及控制第二芯片12播放8k视频中的声音，以使得第一芯片11控制显示的图像与第二芯片12控制播放的声音同步。

下面，通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是，下面几个具体实施例可以相互结合，对于相同或相似的内容，在不同的实施例中不再进行重复说明。

图2为本发明实施例提供的一种音画同步方法的流程示意图。请参见图2，该方法可以包括：

s201、接收待播放视频的数据，待播放视频的数据包括图像数据和声音数据。

s202、当待播放视频的分辨率大于预设分辨率时，分别获取第一芯片控制显示图像数据的第一时延、第二芯片控制播放声音数据的第二时延。

本发明实施例的执行主体可以为电视，还可以为集成于电视的音画同步装置。可选的，音画同步装置可以集成于第一芯片和/或第二芯片，或者，音画同步装置还可以集成于电视中的其它芯片。可选的，音画同步装置可以通过软件实现，或者，音画同步装置可以通过软件和硬件的结合实现。

需要说明的是，视频的分辨率即为视频中图像的分辨率，例如，8k视频中的图像的分辨率为8k(例如，7680×4320)，4k视频中的图像的分辨率为4k(例如，4096×2160)。

可选的，预设分辨率可以为4k视频中的图像的分辨率。

例如，预设分辨率可以为4096×2160。

可选的，待播放视频的分辨率可以为8k等。

可选的，待播放视频可以为直播视频、网络视频或电视的本地视频等。

可选的，待播放视频可以为高清晰度多媒体接口(highdefinitionmultimediainterface，简称hdmi)格式的视频。

可选的，电视中通常设置有显示装置，例如显示屏等。第一芯片可以控制将待播放视频中的图像显示至显示屏，在第一芯片控制将待播放视频中图像显示至显示屏的过程中，第一芯片需要对待播放视频中的图像进行解码、画质调整等处理，因此，第一芯片控制显示待播放视频中的图像具有时延。

可选的，第一时延可以包括：第一芯片对待播放视频中的图像进行解码所需的时长、将待播放视频中的图像传输给显示装置的所需的时长、以及显示装置显示图像所需的时长等。

可选的，可以通过如下可行的实现方式获取第一时延：确定获取到待播放视频的第一时刻，确定显示装置中首次显示待播放视频中的图像的第三时刻，并将第三时刻与第一时刻的差值确定为第一时延。

可选的，电视中通常设置有声音播放装置，例如喇叭等。第二芯片可以控制将待播放视频中的声音输出至声音播放装置，由声音播放装置播放待播放视频中的声音。在第二芯片控制声音播放装置播放待播放视频中的声音的过程中，第二芯片需要对待播放视频中的声音信号进行解码、音效等处理，因此，第二芯片控制声音播放装置播放待播放视频中的声音具有时延。

可选的，第二时延可以包括：第二芯片对待播放视频中的声音进行解码所需的时长、将待播放视频中的声音信号传输给声音播放装置所需的时长、以及声音播放装置播放声音信号所需的时长等。

需要说明的是，在图3所示的实施例中，对确定第二时延的过程进行详细说明，此处不再进行赘述。

s203、根据第一时延和第二时延，控制第一芯片延迟显示图像数据或第二芯片延迟播放声音数据，以使图像数据显示和声音数据播放同步。

若第二时延大于第一时延，则获取第二时延减去第一时延的第一差值，并控制第一芯片按照第一差值显示待播放视频中的图像数据，即，控制第一芯片显示待播放视频中的图像数据的时延增大第一差值，相应的，第二芯片正常控制显示待播放视频中的图像即可。

若第二时延小于第一时延，则获取第一时延减去第二时延的第二差值，并控制第二芯片按照第二差值播放待播放视频中的声音数据，即，控制第二芯片播放待播放视频中的声音数据的时延增大第二差值，相应的，第一芯片正常控制播放待播放视频中的声音即可。

需要说明的是，针对同一视频，第一时延和第二时延通常为固定值，因此，在一个视频播放的过程中，只需在该视频开始播放的时候确定一次第一时延和第二时延即可。可以缓存确定得到的第一时延和第二时延，在视频的播放过程中，根据缓存的第一时延和第二时延控制第一芯片和第二芯片进行声画同步即可。

本发明实施例提供的声画同步方法，在接收到待播放视频的数据之后，当待播放视频的分辨率大于预设分辨率的待播放视频时，分别获取第一芯片控制显示图像数据的第一时延、第二芯片控制播放声音数据的第二时延，根据第一时延和第二时延，控制第一芯片延迟显示图像数据或第二芯片延迟播放声音数据，以使图像数据显示和声音数据播放同步，进而提高视频播放过程中声音和画面的同步性。

在上述任意一个实施例的基础上，可选的，可以通过如下可行的实现方式确定第二时延，具体的，请参见图3所述的实施例。

图3为本发明实施例提供的确定第二时延方法的流程示意图。请参见图3，该方法可以包括：

s301、确定获取到待播放视频的第一时刻。

可选的，第一时刻可以为首次获取到待播放视频的一个视频流的时刻。例如，这里第一时刻可以为图1所示第一芯片接收到8k视频的时刻。

s302、通过第二芯片控制播放待播放视频中的声音数据，并通过第二芯片控制麦克风采集待播放视频中的声音。

可选的，可以通过如下可行的实现方式通过第二芯片控制播放待播放视频中的声音：通过第一芯片在待播放视频中提取声音数据；通过第一芯片对声音数据进行压缩处理；通过第二芯片解码压缩处理后的声音数据，并通过第二芯片控制语音播放装置播放解码后的声音数据。

可选的，由于待播放视频的分辨率大于4k，相应的，待播放视频中声音数据的码率也较高，为了避免第一芯片无法处理待播放视频中的声音数据，则可以对待播放视频中的声音数据进行压缩处理。

可选的，在获取得到待播放视频之后，第二芯片启动麦克风，以使麦克风可以进行声音采集。在待播放视频中的声音播放出来之后，麦克风即可采集得到待播放视频中的声音。

s303、确定麦克风采集得到待播放视频中的声音的第二时刻。

在麦克风采集得到待播放视频中的声音后，确定麦克风采集得到待播放视频中的声音的时刻确定为第二时刻。

例如，在麦克风采集得到待播放视频中的声音之后，麦克风的输入信号的波形发生变化，则可以将麦克风的输入信号的波形发生变化的时刻确定为第二时刻。

s304、根据第一时刻和第二时刻，确定第二时延。

可选的，可以获取第二时刻和第一时刻之间的第一时间差，将第一时间差减去第三时延，得到第二时延；第三时延为麦克风采集声音的时延，至少包括启动麦克风的时间。

可选的，第三时延通常为固定值。

例如，可以预先设置第三时延。

在图3所示的实施例中，在确定第二时延的过程中，在接收到待播放视频之后，便在第二芯片的控制下播放待播放视频中的声音，并启动麦克风，由麦克风进行声音信号采集，可以根据麦克风采集得到声音信号的时刻和接收到待播放视频的时刻确定第二时延，该过程不但简单方便，还可以使得确定得到的第二时延的准确性较高。

在上述任意一个实施例的基础上，下面，以第一芯片和第二芯片为执行主体，且第一芯片为frc芯片，第二芯片为soc、待播放视频为8k视频为例，对上述方法实施例所示的技术方案进行详细说明，具体的，请参见图4所示的实施例。

图4为本发明实施例提供的另一种音画同步方法的流程示意图。请参见图4，该方法可以包括：

s401、frc芯片通过hdmi接收8k视频。

可选的，该8k视频可以为电视接收到的直播视频、下载的网络视频、电视的本地视频等。

s402、frc芯片向soc发送第一通知消息。

可选的，第一通知消息中包括frc芯片获取到8k视频的第一时刻。

s403、soc根据第一通知消息，启动麦克风。

s404、frc芯片在8k视频中提取声音数据和图像数据。

其中，在8k视频中提取得到的图像数据对应的图像的分辨率为8k。

s405、frc芯片向显示屏发送图像数据，以使显示屏显示该图像数据对应的图像。

可选的，在frc芯片向显示屏发送图像数据之前，frc芯片可以先对图像数据进行解码处理、画质调整处理等。

s406、frc芯片对声音数据进行压缩处理。

s407、frc芯片通过hdmi向soc发送压缩处理后的声音数据。

s408、soc向声音播放装置发送压缩处理后的声音数据，以使声音播放装置播放压缩后的声音数据。

可选的，soc可以先对声音数据进行解码处理、音效处理等，再将解码处理后的声音数据发送给声音播放装置。

需要说明的是，在声音播放装置播放声音数据之后，麦克风即可采集得到待播放视频中的声音。

s409、soc获取麦克风采集得到待播放视频中的声音的第二时刻。

s410、soc根据第一时刻、第二时刻和麦克风采集声音的第三时延，确定第二时延。

其中，第二时延为soc芯片控制播放8k视频中的声音的时延。

可选的，soc可以将第二时刻减去第一时刻和第三时延的值确定为第二时延。

s411、soc获取frc芯片控制显示8k图像的第一时延。

可选的，该第一时延可以为预设值，且soc可以存储第一时延，相应的，soc直接在本地获取第一时延即可。

s412、soc判断第一时延是否大于第二时延。

若是，则执行s413。

若否，则执行s414。

s413、soc获取第一时延减去第二时延的第二差值，并将soc控制播放声音的时延增大第二差值。

需要说明的是，在s413之后，在该8k视频的播放过程中，均将soc芯片控制播放声音的时延增大第二差值。

s414、soc获取第二时延减去第一时延的第一差值。

s415、soc向frc芯片发送第一差值。

s416、frc芯片将控制显示图像的时延增大第一差值。

需要说明的是，在s416之后，在该8k视频的播放过程中，均将frc芯片控制显示图像的时延增大第一差值。

在图4所示的实施例中，确定第一时延和第二时延的过程简单方便，且使得确定得到的第二时延的准确性较高。进一步的，根据第一时延和第二时延，控制第一芯片显示待播放视频中的图像、以及第二芯片播放待播放视频中的声音，以使得第一芯片控制显示的图像与第二芯片控制播放的声音同步，进而提高视频播放过程中声音和画面的同步性。

图5为本发明实施例提供的音画同步装置的结构示意图。请参见图5，该音画同步装置包括接收模块11、获取模块12和控制模块13，其中，

所述接收模块11用于，接收待播放视频的数据；所述待播放视频的数据包括图像数据和声音数据；

所述获取模块12用于，当所述待播放视频的分辨率大于预设分辨率时，分别获取第一芯片控制显示所述图像数据的第一时延、第二芯片控制播放所述声音数据的第二时延；

所述控制模块13用于，根据所述第一时延和所述第二时延，控制所述第一芯片延迟显示所述图像数据或所述第二芯片延迟播放所述声音数据，以使所述图像数据显示和所述声音数据播放同步。

本发明实施例提供的音画同步装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

在一种可能的实施方式中，所述获取模块12具体用于：

确定获取到所述待播放视频的第一时刻；

通过所述第二芯片控制播放所述待播放视频中的声音数据，并通过所述第二芯片控制麦克风采集所述待播放视频中的声音；

确定所述麦克风采集得到所述待播放视频中的声音的第二时刻；

根据所述第一时刻和所述第二时刻，确定所述第二时延。

在一种可能的实施方式中，所述控制模块13具体用于：

通过所述第一芯片在所述待播放视频中提取所述声音数据；

通过所述第一芯片对所述声音数据进行压缩处理；

通过所述第二芯片解码压缩处理后的声音数据，并通过所述第二芯片控制声音播放装置播放解码后的声音数据。

在一种可能的实施方式中，所述获取模块12具体用于：

获取所述第二时刻和所述第一时刻之间的第一时间差；

将所述第一时间差减去第三时延，得到所述第二时延，所述第三时延为所述麦克风采集声音的时延。

在一种可能的实施方式中，所述控制模块13具体用于：

若所述第二时延大于所述第一时延，则获取所述第二时延减去所述第一时延的第一差值，并控制所述第一芯片按照所述第一差值延迟显示所述待播放视频中的图像数据；

本发明实施例提供的音画同步装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

本发明实施例提供一种音画同步设备，包括：处理器，所述处理器与存储器耦合；

所述存储器用于，存储计算机程序；

所述处理器用于，执行所述存储器中存储的计算机程序，以使得所述终端设备执行上述任意方法实施例所述的方法。

本发明实施例提供一种可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，如上述任意方法实施例所述的方法被执行。

本发明实施例还提供一种电视，包括第一芯片、第二芯片、显示装置和语音播放装置，其结构可以参见图1，本发明实施例不再进行赘述。

可选的，与第一芯片和第二芯片连接的存储器。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例方案的范围。