字幕同步方法及装置与流程

本发明涉及数字电视技术领域，特别涉及一种字幕同步方法及装置。

背景技术：

随着数字电视技术的迅速发展，人们通过智能电视机、电视一体机以及机顶盒播放和观看影视娱乐资源或节目的频率越来越大。在节目播放过程中，常常会出现字幕与音频不能同步的问题，比如音乐频道，特别是在播放非母语的节目时，如电影节目，宣传视频等，这种不同步导致无法直观可靠的了解节目内容，让人难以接受。

目前，在智能电视机、机顶盒等设备进行字幕同步显示的技术中，只是简单的将收到字幕时的时间戳与当前的音频的时间戳进行同步来实现字幕最终的显示，由于在实际的节目播放过程中，由于存在硬件或者软件解码的条件不同，导致音频解码和字幕解析的时间戳不一致，从而导致同步的效果不够精准，很大程度上直接影响了用户体验和感受。例如，当节目语速过快或者节目解析过程中遇到音频解析错误时，会出现字幕跟音频匹配不同步，从而达不到用户期望的同步效果。

并且，从ts(transportstream，传输流)中通过demux(demultiplexer，解复用)得到音频、字幕等数据后，从音频解码到实际播放，由于解码等方面的原因还会产生一定的时间差。

由于上述等情况的存在，导致音频播放与字幕显示无法准确同步，降低了用户在观看节目内容时所带来的体验效果。

技术实现要素：

为了解决相关技术中存在的音频播放与字幕显示无法准确同步的问题，本发明提供了一种字幕同步方法及装置。

一种字幕同步方法，所述方法包括：

音频播放中，获取音频播放时的播放时间点及显示字幕对应的字幕时间戳；

根据输入的时间调整值对所述显示字幕对应的字幕时间戳进行调整，得到调整时间戳；

判断所述调整时间戳与所述音频播放时的播放时间点的差值是否在误差范围内，若为是，则在所述音频播放中按照所述时间调整值对所述显示字幕对应的字幕时间戳进行调整。

一种字幕同步装置，所述装置包括：

获取模块，用于音频播放中，获取音频播放时的播放时间点及显示字幕对应的字幕时间戳；

调整模块，用于根据输入的时间调整值对所述显示字幕对应的字幕时间戳进行调整，得到调整时间戳；

判断模块，用于判断所述调整时间戳与所述音频播放时的播放时间点的差值是否在误差范围内，若为是，则在所述音频播放中按照所述时间调整值对所述显示字幕对应的字幕时间戳进行调整。

本发明的实施例提供的技术方案可以包括以下有益效果：

音频播放中，获取音频播放时的播放时间点及显示字幕对应的字幕时间戳，根据输入的时间调整值对该显示字幕所对应的字幕时间戳进行调整，得到调整时间戳，将该调整时间戳与该音频播放时的播放时间点进行比较，如果两者的差值在一个预先设定的误差范围内，此时即可根据该输入的时间调整值对所述显示字幕对应的字幕时间戳进行调整。因此，本发明通过获取用户输入的时间调整值来调整字幕时间戳，避免因为不同的智能终端对音频的解码时间和字幕的解析时间不同而导致音频播放与字幕显示无法准确同步的现象，然后根据调整时间戳进行字幕显示，从而实现了字幕的同步，提升了用户观看节目的体验，同时增加了用户与设备之间的交互，即在用户观看节目时根据自身需求主动参与带来的新的体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是本发明所涉及的一种实施环境的示意图；

图2是根据一示例性实施例示出的一种字幕同步方法的流程图；

图3是根据另一个示例性实施例示出的在步骤s210之前该字幕同步方法还需执行的步骤的流程示意图；

图4是根据另一个示例性实施例示出的在步骤s210之前该字幕同步方法还需执行的步骤的流程示意图；

图5是对应图4中实施例的根据音频时间戳进行字幕显示的自动调整步骤的一种具体实现流程图；

图6是根据一示例性实施例示出的一种字幕同步装置的框图；

图7是根据另一示例性实施例示出的一种字幕同步装置的框图；

图8是根据另一示例性实施例示出的一种字幕同步装置的框图；

图9是图8对应实施例示出的自动调整模块的细节进行描述的框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是本发明所涉及的一种实施环境的示意图。该实施环境包括：至少一个ts110和至少一个智能设备120，其中智能设备120可以包括但不限于智能电视机、电视一体机或者机顶盒等，并且智能设备120具备或者能够实现字幕显示和音频播放等功能。

ts110与智能设备120之间的关联方式，包括有线或无线的网络关联方式，以及二者之间往来的数据关联方式，具体的关联方式不受本实施例的限制。

智能设备120可以通过硬件或软件的解码关联方式，以及二者之间往来的数据关联方式来实现字幕显示和音频播放的关联方式，具体的关联方式不受本实施例的限制。

其中，电视一体机是指将数字接收、解码与显示融为一体从而可以不需要外接机顶盒的电视机。

智能电视机是指基于互联网internet应用技术，具备操作系统，可以实现双向人机交互等功能的电视机。

机顶盒通常称作机顶盒或机上盒，是一个连接显示终端(如电视机、显示屏等)与外部信号源的设备。它可以将压缩的数字信号转成电视内容，并在显示终端(如电视机、显示屏等)上显示出来。信号可以来自有线电缆、卫星天线、宽带网络以及地面广播。

ts110是将视频、音频、字幕、psi(programspecificinformation，节目特定信息)等数据打包成传输包进行传送的一种码流，主要用于节目内容的传输。

ts110(transportstream，传输流)通过demux(demultiplexer，解复用)可以得到音频、字幕等数据。

图2是根据一示例性实施例示出的一种字幕同步方法的流程图。如图2所示，该字幕同步方法可以包括以下步骤。

在步骤s210中，音频播放中，获取音频播放时的播放时间点及显示字幕对应的字幕时间戳。

其中，音频播放中是指当前正在播放音频的时候，获取当前播放音频的播放时间点，将demux获取到的字幕数据进行解析，获取当前显示字幕对应的字幕时间戳。

通常情况下，ts过来的原始数据，音频的时间和字幕的时间是对应的，即如果当前播放的音频的播放时间点是2分0秒的时候，如果屏幕上显示字幕对应的字幕时间戳如果正好也是2分0秒，那么显示字幕的时间跟音频播放的时间是同步的，如此，音频播放的内容刚好是屏幕上所显示的字幕内容。但是，实际情况是由于软件或者硬件解码或者解析过程出现错误等原因，经常出现显示字幕的时间戳会比音频播放时的播放时间点提前。由于这个显示字幕的时间提前的原因，一般都是在字幕数据解析完成之后，将字幕相关信息加入到一个字幕队列中以等待显示。

例如，智能设备120将一个ts通过demux后，获取到的显示字幕对应的字幕时间戳是2分10秒，而音频播放时的播放时间点是2分0秒，这说明显示字幕的时间跟音频播放的时间不同步，即音频播放的内容，并不是屏幕上所显示的字幕内容。

在步骤s230中，根据输入的时间调整值对显示字幕对应的字幕时间戳进行调整，得到调整时间戳。

其中，时间调整值是指一个具体的数值，是根据用户的判断，将该数值输入给智能设备120的，通常是一个比较小的数值，比10秒，这个数值可以通过与智能设备120配对的遥控器来输入，也可以通过与智能设备120连接的智能终端设备(如手机，平板终端设备)来输入。这个时间调整值是用户根据自身经验来确定的，用户在观看电视节目的时候，当发现屏幕上显示的字幕内容跟当前的音频内容不同步，对应不上时，可以根据经验来估计两者相差多少时间，然后将该值输入给智能设备120。

当然，实际操作中，由于每个用户的感受不一样，所以可能会出现多次调整的情形，也就是说通过输入多个不同的时间调整值，最终实现比较合理的同步状态，毕竟相差在一个极小的时间的时候，用户体验并没有那么明显的区别。就拿前面的例子来说，因为获取到的显示字幕对应的字幕时间戳是2分10秒，而音频播放时的播放时间点是2分0秒，这说明实际上是有10秒的时间差，这时候用户通过经验判断，这个时间差，可能在8-12秒之间，那么，他可以先输入一个数值8来进行第一步调整，如果调整后，观看节目还是觉得不同步，可以再进一步调整。

调整时间戳是指，智能设备120根据用户输入的时间调整值将当前屏幕上显示字幕对应的字幕时间戳进行调整。

例如，获取到的显示字幕对应的字幕时间戳是2分10秒，而音频播放时的播放时间点是2分0秒，这时候用户输入一个时间调整值8秒，也就是说将字幕时间戳提前8秒钟，即在音频播放时的播放时间点是2分0秒的时候，显示字幕时间戳是2分2秒的字幕内容，在此可以看出，字幕跟音频的时间匹配上更加接近了，这样带给用户的体验也就会好很多。

在步骤s250中，判断调整时间戳与音频播放时的播放时间点的差值是否在误差范围内，若为是，则在音频播放中按照时间调整值对显示字幕对应的字幕时间戳进行调整。

其中，本步骤中的误差范围是指两者相比得到的结果处在预先设置的一个数值范围内或者误差范围内。一般情况下，误差范围可以将两者的差值在-0.5秒～+0.5秒之间，这里定义为标准a，也可以是-1秒～+1秒之间，这里定义为标准b，当然这个误差范围是可以根据实际的环境来进行定义或者调整的。

例如，获取到的显示字幕对应的字幕时间戳是2分10秒，而音频播放时的播放时间点是2分0秒，这时候用户输入一个时间调整值8秒，也就是说将字幕时间戳提前8秒钟，即在音频播放时的播放时间点是2分0秒的时候，显示字幕时间戳是2分2秒的字幕内容，这时候两者的差值是2秒，无论按标准a或标准b，调整时间戳与音频播放时的播放时间点的差值都不在误差范围内，也就是说此时还是无法将音频与字幕同步。

如果用户发现第一次调整的8秒不是很合适，进行第二次调整时，输入一个时间调整值9.6秒，也就是说将字幕时间戳提前9.6秒钟，即在音频播放时的播放时间点是2分0秒的时候，显示字幕时间戳是2分0.4秒的字幕内容，这时候两者的差值是0.4秒，无论按标准a或标准b，调整时间戳与音频播放时的播放时间点的差值都在误差范围内，也就是说此时音频与字幕以实现同步。

在节目播放过程中，通过输入的方式将音频与字幕调整同步后，因为软硬件基本已经确定，后续的播放可按照该输入的时间调整值进行调整即可。如果出现了新的不同步情况，可以再次输入合适的时间调整值来实现字幕与音频的同步。

通过如上所述的方法，由于各种原因导致字幕与音频无法同步时，在音频播放中，获取音频播放时的播放时间点及显示字幕对应的字幕时间戳，根据输入的时间调整值将显示字幕对应的字幕时间戳进行调整从而得到调整时间戳，并将该调整时间戳对应的字幕进行显示，即通过用户与智能设备120的交互，输入的时间调整值来实现音频与字幕的同步，从而提高了用户体验，同时增加了用户主动参与的乐趣，进一步提高了用户的体验。

在另一个示例性实施例中，如图3所示，在步骤s210之前本发明提供的字幕同步方法还可以包括以下步骤

在步骤s201中，根据音频播放时的播放时间点，确定匹配播放时间点的字幕时间点。

其中，此步骤实现的是根据音频播放时的播放时间点确定显示字幕的字幕时间点，是根据音频的播放时间点自动调整字幕时间点的一种方式。

例如，智能设备120获取到的显示字幕对应的字幕时间戳是2分10秒，而音频播放时的播放时间点是2分0秒，这时候智能设备120根据音频的播放时间点2分0秒，将应该对应该音频的显示字幕的字幕时间点确定为2分0秒，也就是说音频播放时的播放时间点是2分0秒的时候，直接将应当显示字幕的字幕时间点确定为2分0秒。这时候播放时间点和字幕时间戳是同步的，即能相互匹配上。

在步骤s203中，对匹配播放时间点的字幕时间点对应的字幕进行显示。

根据步骤s201中的例子，已经确定字幕时间点为2分0秒，此时只需将字幕时间点为2分0秒的字幕内容进行显示即可。

通过如上所述的方法，将显示字幕的时间戳通过智能设备120根据当前音频的播放时间点进行自动调整得到对应该音频的播放时间点的字幕时间点，最终将该字幕时间点对应的字幕内容进行显示，实现了字幕与音频的自动同步，提高了用户体验。

进一步的，在通过如上所述的方法最终带给用户的体验依然有些许误差导致不能同步时，可以继续通过输入时间调整值进行调整，即在通过该自动方式依然无法实现同步效果时，再根据输入时间调整值的方式来调整，结合自动与手动调整的方式，最终提高了用户的体验。

在另一个示例性实施例中，如图4所示，在步骤s210之前本发明提供的字幕同步方法还可以包括以下步骤。

在步骤s310中，提取音频播放时对应的音频流的音频时间戳。

其中，智能设备120将ts通过demux获取音频数据之后，将音频数据解码称音频流，在此时可以获取该音频流的音频时间戳，通常情况下，由于软件或者硬件等方面的原因，该音频流的音频时间戳通常会比音频播放时的播放时间点提前一点。

例如，获取到的显示字幕对应的字幕时间戳是2分10秒，而音频播放时的播放时间点是2分0秒，提取的音频时间戳是1分58秒。

在步骤s330中，根据音频时间戳进行字幕显示的自动调整。

自动调整是指，智能设备120根据步骤s310获取的音频时间戳将对应该音频时间戳进行调整。

通过如上所述的方法，根据通过获取另一种场景状态下的音频时间戳，根据该音频时间戳来调整字幕显示的自动调整，即在另一种场景下字幕显示的自动化调整，进一步提高了字幕与音频的同步效果，有效提高了用户体验。

进一步的，在通过如上所述的方法最终带给用户的体验依然有些许误差导致不能同步时，可以继续通过输入时间调整值进行调整，即在通过该自动方式依然无法实现同步效果时，再根据输入时间调整值的方式来调整，结合自动与手动调整的方式，最终提高了用户的体验。

图5是对应图4中实施例的根据音频时间戳进行字幕显示的自动调整步骤的一种具体实现流程图。该步骤s330可以包括以下步骤。

在步骤s331中，根据音频时间戳，确定匹配音频时间戳的字幕时间点。

其中，此步骤实现的是通过音频播放时对应的音频流的音频时间戳来确定显示字幕的字幕时间点，是根据音频播放时对应的音频流的音频时间戳自动调整字幕时间点的一种方式。

例如，智能设备120获取到的显示字幕对应的字幕时间戳是2分10秒，而音频播放时对应的音频流的音频时间戳是1分58秒，这时候智能设备120根据音频的播放时间点1分58秒，将应该对应该音频的显示字幕的字幕时间点确定为1分58秒，也就是说音频播放时对应的音频流的音频时间戳是1分58秒的时候，直接将应当显示字幕的字幕时间点确定为1分58秒。这时候音频时间戳和字幕时间点是同步的，即能相互匹配上。

在步骤s333中，对匹配音频时间戳的字幕时间点对应的字幕进行显示。

根据步骤s331中的例子，已经确定字幕时间点为1分58秒，此时只需将字幕时间点为1分58秒的字幕内容进行显示即可。

通过如上所述的方法，将显示字幕的时间戳通过智能设备120根据音频播放时对应的音频流的音频时间戳进行自动调整得到对应该音频的播放时间点的字幕时间点，最终将该字幕时间点对应的字幕内容进行显示，实现了字幕与音频的自动同步，提高了用户体验。

进一步的，在通过如上所述的方法最终带给用户的体验依然有些许误差导致不能同步时，可以继续通过输入时间调整值进行调整，即在通过该自动方式依然无法实现同步效果时，再根据输入时间调整值的方式来调整，结合自动与手动调整的方式，最终提高了用户的体验。

下述为本发明装置实施例，可以用于执行本发明上述字幕同步方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明字幕同步方法实施例。

图6是根据一示例性实施例示出的一种字幕同步装置的框图。字幕同步装置可以用于图1所示的实施环境中，执行图2所示的字幕同步方法的全部或部分步骤。如图6所示，该字幕同步装置400可以包括但不限于：获取模块410，调整模块430和判断模块450。

获取模块410，用于音频播放中，获取音频播放时的播放时间点及显示字幕对应的字幕时间戳。

调整模块430，用于根据输入的时间调整值对显示字幕对应的字幕时间戳进行调整，得到调整时间戳。

判断模块450，用于判断所述调整时间戳与所述音频播放时的播放时间点的差值是否在误差范围内，若为是，则在所述音频播放中按照所述时间调整值对所述显示字幕对应的字幕时间戳进行调整。

上述字幕同步装置中各个模块的功能和作用的实现过程具体详见上述字幕同步方法中对应步骤的实现过程，在此不再赘述。

可选的，在上述实施例提供的字幕同步装置的基础上，该字幕同步装置，如图7所示，还可以包括但不限于：匹配模块401和显示模块403。

匹配模块401，用于根据音频播放时的播放时间点，确定匹配播放时间点的字幕时间点。

显示模块403，用于对所述匹配所述播放时间点的字幕时间点对应的字幕进行显示。

可选的，在上述实施例提供的字幕同步装置的基础上，该字幕同步装置，如图8所示，还可以包括但不限于：提取模块510和自动调整模块530。

提取模块510，用于提取音频播放时对应的音频流的音频时间戳。

自动调整模块530，用于根据音频时间戳进行字幕显示的自动调整。

图9是图8对应实施例示出的自动调整模块的细节进行描述的框图。该自动调整模块530，如图9所示，可以包括但不限于：匹配单元531和字幕显示单元533。

匹配单元531，用于根据音频时间戳，确定匹配所述音频时间戳的字幕时间点。

字幕显示单元533，用于对匹配所述音频时间戳的字幕时间点对应的字幕进行显示。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。