一种视频声音与图像同步的方法及装置与流程

本发明涉及互联网技术领域，特别涉及一种视频声音与图像同步的方法及装置。

背景技术：

随着科学技术的发展，视频等多媒体格式的信息数据越来越丰富，而其后台数据编辑的工作量也越来越大，尤其是在时限性很强的新闻等行业中，对于视频数据编辑的精准性和编辑效率要求很高。在视频数据编辑的过程中，视频声音和图像的同步是必须要处理的问题，而在现有技术的方案中，由于编辑系统中的音频文件通常是一旦加载之后就开始播放的，而视频中提取的图像的时间和音频的时间并未自动对齐，因此在进行自动播放时，播放的声音与显示的图像往往不是属于同一个时间段；而在进行同步编辑时，只有当编辑人员单击了图像才会触发对应时段内的音频，这样需要编辑人员将音视频分为一段一段逐个进行检查之后，才能找到不同步的位置并对其进行编辑，操作十分复杂且工作效率低、操作时间长。

技术实现要素：

本发明提供一种视频声音与图像同步的方法及装置，用以减少声音与图像同步操作过程中的工作量，节约工作时间，提高工作效率。

根据本发明实施例的第一方面，提供一种视频声音与图像同步的方法，包括：

接收到同步编辑指令后，检测当前播放声音在正在播放的音频中的播放时间；

根据所述播放时间及所述音频中预先划分的声音时间区段，检测所述播放时间在所述音频中所属的声音时间区段；

调取与所述音频中的所述声音时间区段预先关联的视频关键帧，并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。

在一个实施例中，所述根据所述播放时间及所述音频中预先划分的声音时间区段，检测所述播放时间在所述音频中所属的声音时间区段之前，包括：

自与所述音频对应的视频中提取视频关键帧，并对应存储各所述视频关键帧在所述视频中播放时所属的图像时间区段；

根据各所述视频关键帧在所述视频中所属的图像时间区段，将所述音频的播放时间划分为与多个声音时间区段，使得多个所述声音时间区段与多个所述图像时间区段一一对应；

将对应于各所述图像时间区段的声音时间区段与对应于各所述图像时间区段的视频关键帧关联后存储。

在一个实施例中，所述调取与所述音频中的所述声音时间区段预先关联的视频关键帧，并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像，包括：

在检测到所述播放时间在所述音频中所属的声音时间区段时，调取与所述音频中的所述声音时间区段预先关联的视频关键帧；

在所述音频播放的显示界面中显示所述视频关键帧的图像。

在一个实施例中，所述调取与所述音频中的所述声音时间区段预先关联的视频关键帧，并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像之后，还包括：

实时检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配；

在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时，调取与当前播放的声音所属的声音时间区段预先关联的视频关 键帧，并在所述音频播放的显示界面中显示所述视频关键帧的图像；

在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时，继续在所述音频播放的显示界面中显示当前显示图像。

在一个实施例中，所述调取与所述音频中的所述声音时间区段预先关联的视频关键帧，并在所述音频的所述声音时间区段的声音播放过程中同步显示所述视频关键帧的图像之后，还包括：

在当前播放的声音与当前显示图像出现不同步时，对当前播放的声音所属的声音时间区段的起始时间或/和中止时间节点进行调整。

根据本发明实施例的第二方面，还提供一种视频声音与图像同步的装置，包括：

第一检测模块，用于接收到同步编辑指令后，检测当前播放声音在正在播放的音频中的播放时间；

第二检测模块，用于根据所述播放时间及所述音频中预先划分的声音时间区段，检测所述播放时间在所述音频中所属的声音时间区段；

同步显示模块，用于调取与所述音频中的所述声音时间区段预先关联的视频关键帧，并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。

在一个实施例中，所述装置还包括：

关键帧提取模块，用于自与所述音频对应的视频中提取视频关键帧，并对应存储各所述视频关键帧在所述视频中播放时所属的图像时间区段；

声音时间区段划分模块，用于根据各所述视频关键帧在所述视频中所属的图像时间区段，将所述音频的播放时间划分为与多个声音时间区段，使得多个所述声音时间区段与多个所述图像时间区段一一对应；

关联存储模块，用于将对应于各所述图像时间区段的声音时间区段与对应于各所述图像时间区段的视频关键帧关联后存储。

在一个实施例中，所述同步显示模块包括：

关键帧调取子模块，用于在检测到所述播放时间在所述音频中所属的声音时间区段时，调取与所述音频中的所述声音时间区段预先关联的视频关键帧；

同步显示子模块，用于在所述音频播放的显示界面中显示所述视频关键帧的图像。

在一个实施例中，所述装置还包括：

实时检测模块，用于实时检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配；

第一显示模块，用于在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时，调取与当前播放的声音所属的声音时间区段预先关联的视频关键帧，并在所述音频播放的显示界面中显示所述视频关键帧的图像；

第二显示模块，用于在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时，继续在所述音频播放的显示界面中显示当前显示图像。

在一个实施例中，所述装置还包括：

调整模块，用于在当前播放的声音与当前显示图像出现不同步时，对当前播放的声音所属的声音时间区段的起始时间或/和中止时间节点进行调整。

本发明实施例提供的技术方案可产生以下有益效果：接收到同步编辑指令后，检测当前播放声音在正在播放的音频中的播放时间；根据所述播放时间及所述音频中预先划分的声音时间区段，检测所述播放时间在所述音频中所属的声音时间区段；调取与所述音频中的所述声音时间区段预先关联的视频关键帧，并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。该方案将提取的视频关键帧的图像与播放的音频的声音时间区段进行关联，使得在声音播放的同时自动显示与其对应的图像，令出现声音与图像不对应的情况时，可以直接在音频的音轨上进行调整，而不需要一一点击图像去 播放所点击图像对应的音频文件，简化了操作过程，且为声音与图像的同步编辑过程节约了时间，提高了编辑效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明根据一示例性实施例示出的一种视频声音与图像同步的方法的流程图；

图2为本发明根据一示例性实施例示出的另一种视频声音与图像同步的方法的流程图；

图3为本发明根据一示例性实施例示出的视频声音与图像同步的方法中步骤S30的实施方式流程图；

图4为本发明根据一示例性实施例示出的又一种视频声音与图像同步的方法的流程图；

图5为本发明根据一示例性实施例示出的再一种视频声音与图像同步的方法的流程图；

图6为本发明根据一示例性实施例示出的一种视频声音与图像同步的装置的框图；

图7为本发明根据一示例性实施例示出的另一种视频声音与图像同步的装置的框图；

图8为本发明根据一示例性实施例示出的视频声音与图像同步的装置中同步显示模块63的框图；

图9为本发明根据一示例性实施例示出的又一种视频声音与图像同步的装置的框图；

图10为本发明根据一示例性实施例示出的再一种视频声音与图像同步的装置的框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本公开实施例提供了一种视频声音与图像同步的方法，用于减少声音与图像同步操作过程中的工作量，节约工作时间，提高工作效率。如图1所示，该方法包括步骤S10-S30：

在步骤S10中，接收到同步编辑指令后，检测当前播放声音在正在播放的音频中的播放时间。也即，当音频开始加载完毕并开始播放时，则开始接收到同步编辑指令，此时检测所述音频当前播放的声音在当前音频中的具体的播放时间。

在步骤S20中，根据所述播放时间及所述音频中预先划分的声音时间区段，检测所述播放时间在所述音频中所属的声音时间区段。在步骤S10中检测到所述音频当前播放的声音在当前音频中的具体的播放时间之后，判断所述播放时间在所述音频中所属的声音时间区段，也即，该播放时间属于所述音频中的哪一个声音时间区段被确定之后，可以利用该声音时间区段将当前播放声音与图像进行匹配后同步显示。其中所述声音时间区段是在所述音频中预先划分的，且预先划分之后的声音时间区段是与视频中提取的视频关键帧所属的图像时间区段一一对应的。

在步骤S30中，调取与所述音频中的所述声音时间区段预先关联的视频关 键帧，并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。其中，所述音频中的所述声音时间区段与视频中提取的视频关键帧是预先关联的，因此在所述音频的所述声音时间区段的声音播放时，可以设定自动显示与其关联的视频关键帧的图像。

在一个实施例中，如图3所示，所述步骤S30可包括：

步骤S301、在检测到所述播放时间在所述音频中所属的声音时间区段时，调取与所述音频中的所述声音时间区段预先关联的视频关键帧；也即，所述音频中的所述声音时间区段与视频中提取的视频关键帧是预先关联的，因此在所述音频的所述声音时间区段的声音播放时，首先找到预先关联的所述视频关键帧，并将其从数据库中调取出来，之后显示在所述音频播放的界面上，以便于编辑人员查看比对所述声音与图像是否同步匹配。

步骤S302、在所述音频播放的显示界面中显示所述视频关键帧的图像。所述图像与所述声音的音轨在同一显示界面中显示，且两者最好形成一个相互对应的显示关系，比如，将所述图像显示在所述音频的音轨中当前播放的声音时间区段的上方或者下方，形成一个对应关系，以便于编辑人员查看比对所述声音与图像是否同步匹配。

在一个实施例中，如图2所示，该方法的步骤S20之前还包括步骤S40-S60：

在步骤S40中，自与所述音频对应的视频中提取视频关键帧，并对应存储各所述视频关键帧在所述视频中播放时所属的图像时间区段。也即，在需要进行声音图像同步的视频中提取视频关键帧，且各所述视频关键帧分别对应所述视频中的一个图像时间区段，将所述时间区段信息与所述视频关键帧一并存储在数据库中，以便于在需要时进行调取。

在步骤S50中，根据各所述视频关键帧在所述视频中所属的图像时间区段，将所述音频的播放时间划分为与多个声音时间区段，使得多个所述声音时间区段与多个所述图像时间区段一一对应。也即，在提取视频关键帧并将其与各所述视频关键帧在所述视频中播放时所属的图像时间区段对应存储之后，此时将 于各个图像时间区段对应的声音时间区段也一一划分出来，将多个所述声音时间区段与多个所述图像时间区段一一对应之后，只要播放音频的声音，就会将该声音所属声音时间区段的视频关键帧的图像调取出来进行显示。

在步骤S60中，将对应于各所述图像时间区段的声音时间区段与对应于各所述图像时间区段的视频关键帧关联后存储。将所述时间区段信息与所述视频关键帧的所述图像时间区段对应存储在数据库中，以便于在声音播放时自动调取和显示其对应的图像。

在一个实施例中，如图4所示，该方法的步骤S30之后还包括步骤S70-S90：

在步骤S70中，实时检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配；也即，在音频播放的过程中，当前声音时间区段的声音播放完毕之后，由于当前显示的是上一个声音时间区段关联的视频关键帧的图像，因此需要将当前显示的图像实时更换为当前播放声音的声音时间区段对应的图像，因此需要实时进行检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配，以便于实时替换当前显示的图像。

在步骤S80中，在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时，调取与当前播放的声音所属的声音时间区段预先关联的视频关键帧，并在所述音频播放的显示界面中显示所述视频关键帧的图像；在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时，需要将当前显示的图像实时更换为当前播放声音的声音时间区段对应的图像，因此，需要取消当前图像的显示，而将与当前播放声音的声音时间区段对应的图像调取出来进行实时显示。

在步骤S90中，在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时，继续在所述音频播放的显示界面中显示当前显示图像。而在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时，说明当前声音时间区段的声音播放尚未完毕，继续进行播放且显 示当前图像即可。

在一个实施例中，如图5所示，该方法的步骤S30之后还包括步骤S100：

在步骤S100中，在当前播放的声音与当前显示图像出现不同步时，对当前播放的声音所属的声音时间区段的起始时间或/和中止时间节点进行调整。

也即，当编辑人员发现当前播放的声音与当前显示图像出现不同步时，比如，当前播放的声音并不是图像中显示的发言人物的发言，或者其发言并未与发言人物的口型同步，此时，需要调整所述音频的当前声音时间区段的起始时间或/和中止时间节点，也即在当前显示的音轨上对上述时间节点进行调整，调整后声音和图像同步匹配播放，且由于仅对时间节点进行了调整，声音和图像之间的对应关系并未改变，因此在播放修改时间节点之后的音频的所述声音时间区段时，还是会同步显示与其对应的视频关键帧的图像，同时也不会影响对后续的同步关系进行调整。

本发明实施例提供的上述方法，接收到同步编辑指令后，检测当前播放声音在正在播放的音频中的播放时间；根据所述播放时间及所述音频中预先划分的声音时间区段，检测所述播放时间在所述音频中所属的声音时间区段；调取与所述音频中的所述声音时间区段预先关联的视频关键帧，并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。该方案将提取的视频关键帧的图像与播放的音频的声音时间区段进行关联，使得在声音播放的同时自动显示与其对应的图像，令出现声音与图像不对应的情况时，可以直接在音频的音轨上进行调整，而不需要一一点击图像去播放所点击图像对应的音频文件，简化了操作过程，且为声音与图像的同步编辑过程节约了时间，提高了编辑效率。

对应本发明实施例提供的视频声音与图像同步的方法，本发明还提供视频声音与图像同步的装置，如图6所示，该装置可包括：

第一检测模块61，用于接收到同步编辑指令后，检测当前播放声音在正在 播放的音频中的播放时间；

第二检测模块62，用于根据所述播放时间及所述音频中预先划分的声音时间区段，检测所述播放时间在所述音频中所属的声音时间区段；

同步显示模块63，用于调取与所述音频中的所述声音时间区段预先关联的视频关键帧，并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。

在一个实施例中，如图7所示，所述装置还包括：

关键帧提取模块64，用于自与所述音频对应的视频中提取视频关键帧，并对应存储各所述视频关键帧在所述视频中播放时所属的图像时间区段；

声音时间区段划分模块65，用于根据各所述视频关键帧在所述视频中所属的图像时间区段，将所述音频的播放时间划分为与多个声音时间区段，使得多个所述声音时间区段与多个所述图像时间区段一一对应；

关联存储模块66，用于将对应于各所述图像时间区段的声音时间区段与对应于各所述图像时间区段的视频关键帧关联后存储。

在一个实施例中，如图8所示，所述同步显示模块63包括：

关键帧调取子模块631，用于在检测到所述播放时间在所述音频中所属的声音时间区段时，调取与所述音频中的所述声音时间区段预先关联的视频关键帧；

同步显示子模块632，用于在所述音频播放的显示界面中显示所述视频关键帧的图像。

在一个实施例中，如图9所示，所述装置还包括：

实时检测模块67，用于实时检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配；

第一显示模块68，用于在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时，调取与当前播放的声音所属的声音时间区段预先关联的视频关键帧，并在所述音频播放的显示界面中显示所述视频关键 帧的图像；

第二显示模块69，用于在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时，继续在所述音频播放的显示界面中显示当前显示图像。

在一个实施例中，如图10所示，所述装置还包括：

调整模块70，用于在当前播放的声音与当前显示图像出现不同步时，对当前播放的声音所属的声音时间区段的起始时间或/和中止时间节点进行调整。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。