用于同步两个电子设备处的回放的方法和装置的制造方法
【专利摘要】一种用于将第一电子设备处的包括视频和相关联第一音频的节目的回放与也接收第一音频的第二电子设备处的与节目相关联的第二音频的回放同步的方法(400)，所述方法包括：由第二电子设备中的第一音频解码器对第一音频进行解码(405)，并且输出解码后的第一音频；由第二电子设备中的第二音频解码器对第二音频进行解码(410)，并且输出解码后的第二音频以便由第二电子设备进行回放；接收(415)用以将第一电子设备处的视频的回放与第二电子设备处的第二音频的回放同步的用户命令；响应于用户命令，所述方法还包括：由第二电子设备中的捕获设备捕获(505)第一电子设备处的第一音频的回放；由第二电子设备确定(510)所输出的解码后的第一音频与所捕获的第一音频之间的偏移；以及根据偏移来调整(520)解码后的第二音频的输出，使得第一电子设备处的第一音频的回放与第二电子设备处的第二音频的回放同步。
【专利说明】
用于同步两个电子设备处的回放的方法和装置
技术领域
[0001]本实施例的原理总体上涉及一种用于同步两个电子设备的回放的方法和装置，更具体地，将在两个电子设备之一处的视频以及与该视频相关联的第一音频的回放与在另一电子设备处的与第一音频不同的且与该视频相关联的第二音频的回放进行同步。
【背景技术】
[0002]多种方式(诸如，宽带电视(TV)和移动TV)如今共存，以将多媒体流或广播节目带给端用户。在宽带TV的情况下，接收器通常是连接到被称为机顶盒或STB的接收设备的标准TV设备。在移动TV的情况下，接收器设备是移动终端(诸如，移动电话、个人数字助理(PDA)或平板)。
[0003]在MPEG-2流中，若干分量(例如，音频、视频)彼此之间进行同步，以便在正确的时间进行呈现。这被称为分量间同步。普通示例是唇形同步(被标注为lip-sync)，其在与人的唇在对应视频上移动的确切相同的时间提供音频。典型地使用特定时间戳来实现这种同步。在MPEG-2流中，展现(Pre sen tat i on)时间戳(或PTS)确保这种同步。音频样本的PTS参照(归因于MPEG-2流中也包含的节目时钟基准或PCR而设置的)内部时钟来指示其展现时间；以相同的方式，视频样本的PTS也参照同一内部时钟来指示其展现时间。
[0004]然而，当两个电子设备分别接收视频流和音频流时，无法容易地实现各个回放之间的同步。相应地，需要一种用于同步由两个不同接收设备分别接收的音频和视频的方法和装置。本发明解决这些和/或其它问题。
【发明内容】
[0005]根据本发明一方面，公开一种用于将第一电子设备处的包括视频和相关联的第一音频的节目的回放与也接收第一音频的第二电子设备处的与节目相关联的第二音频的回放进行同步的方法。所述方法包括步骤:由第二电子设备中的第一音频解码器对第一音频进行解码，并且输出解码后的第一音频；由第二电子设备中的第二音频解码器对第二音频进行解码，并且输出解码后的第二音频以便第二电子设备进行回放;接收用以将第一电子设备处的视频的回放与第二电子设备处的第二音频的回放同步的用户命令;响应于用户命令，所述方法还包括:由第二电子设备中的捕获设备捕获第一电子设备处的第一音频的回放；由第二电子设备确定所输出的解码后的第一音频与所捕获的第一音频之间的偏移；以及根据偏移来调整解码后的第二音频的输出，使得第一电子设备处的第一音频的回放与第二电子设备处的第二音频的回放同步。
[0006]在一个实施例中，用户通过激活输入机制(mechanism)来生成用户命令。
[0007]在一个实施例中，所述方法还包括:由第二电子设备从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，由第一电子设备所进行的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。
[0008]在一个实施例中，所述方法还包括:响应于用户信号来将第二音频的回放定位到第一位置。
[0009]在另一实施例中，所述方法还包括步骤:如果确定偏移的步骤失败，则要求用户再次输入用户命令，而且重复捕获和确定偏移的步骤。
[0010]在另一实施例中，所述方法还包括:由第一音频解码器通过根据偏移输出解码后的第一音频来调整输出，使得第一音频解码器的输出和第二音频解码器的输出同步。
[0011]在另一实施例中，所述方法还包括:在由第二电子设备回放第二音频之前，将第一音频和第二音频下载到第二电子设备。可以从第一源或分别从第二源和第一源下载由第一电子设备接收的节目以及由第二电子设备接收的第一音频和第二音频。
[0012]在另一实施例中，所述方法还包括:根据偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳的步骤，并且调整第二音频的回放包括输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。
[0013]根据本发明另一方法，公开一种第二电子设备。第二设备包括:第一音频解码器和第二音频解码器，用于分别解码由第二电子设备接收的第一音频和第二音频，并且输出解码后的第一音频和第二音频，所述第一音频和第二音频与包括视频和第一音频并且由第一电子设备正在回放的节目相关联;音频捕获设备，用于捕获由第一电子设备正在回放的第一音频;音频相关器，接收所捕获的回放的第一音频和来自第一音频解码器的解码后的第一音频；以及处理器，其中，当处理器接收用以将第二电子设备处的第二音频的回放与第一电子设备的视频的回放同步的用户命令时，处理器被配置为:指令音频相关器确定接收到的所捕获的回放的第一音频与接收到的从第一音频解码器输出的解码后的第一音频之间的偏移，并且指令第二音频解码器根据偏移来输出解码后的第二音频。
[0014]在一个实施例中，第二电子设备还包括视频播放器，其通过第二电子设备从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，第一电子设备处的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。视频播放器可以响应于用户信号来将第二音频的回放定位到第一位置。第二电子设备可以包括输入机制(48，49)，用于用户输入用户命令。如果确定偏移失败，则处理器可以被配置为:要求用户再次输入用户命令，并且指令音频相关器再次确定偏移。
[0015]在一个实施例中，处理器可以被配置为:指令第一音频解码器通过根据偏移输出解码后的第一音频来调整输出，使得第一音频解码器的输出和第二音频解码器的输出同步。
[0016]在另一实施例中，在第二电子设备回放第二音频之前，可以将第一音频和第二音频下载到第二电子设备(4)。
[0017]在另一实施例中，从第一源或分别从第二源和第一源下载由第一电子设备接收的节目以及由第二电子设备接收的第一音频和第二音频。
[0018]在另一实施例中，处理器可以被配置为:指令音频相关器根据所述偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳，并且指令第二音频解码器输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。
[0019]根据本发明另一方面，公开一种第二电子设备。第二设备包括:第一部件和第二部件，用于分别解码由第二电子设备接收的第一音频和第二音频，并且输出解码后的第一音频和第二音频，所述第一音频和第二音频与包括视频和第一音频并且由第一电子设备正在回放的节目相关联;用于捕获第一电子设备正在回放的第一音频的部件;相关器部件，用于接收所捕获的回放的第一音频和来自第一部件的解码后的第一音频；以及处理部件，其中，当处理部件接收用以将第二电子设备处的第二音频的回放与第一电子设备的视频的回放同步的用户命令时，处理部件被配置为:指令相关器部件确定接收到的所捕获的回放的第一音频与接收到的从第一部件输出的解码后的第一音频之间的偏移，并且指令第二部件根据偏移来输出解码后的第二音频。第二电子设备可以包括用于用户输入用户命令的部件。
[0020]在一个实施例中，第二电子设备还包括视频播放器，其通过第二电子设备从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，第一电子设备处的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。视频播放器可以响应于用户信号来将第二音频的回放定位到第一位置。
[0021 ]在另一实施例中，如果确定偏移失败，则处理部件可以被配置为:要求用户再次输入用户命令，并且指令相关器部件再次确定偏移。
[0022]在另一实施例中，处理器可以被配置为:指令第一部件通过根据偏移输出解码后的第一音频来调整输出，使得第一部件和第二部件的输出同步。
[0023]在另一实施例中，在第二电子设备回放第二音频之前，可以将第一音频和第二音频下载到第二电子设备。
[0024]在另一实施例中，可以从第一源或分别从第二源和第一源下载由第一电子设备接收的节目以及由第二电子设备接收的第一音频和第二音频。
[0025]在另一实施例中，处理部件可以被配置为:指令相关器部件根据所述偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳，并且指令第二部件输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。
[0026]在所有三个方面中，第一电子设备可以是电视接收器、影院视频再现设备和计算机之一O
【附图说明】
[0027]通过参照与附图结合而进行的本发明的实施例的以下描述，本发明的上述和其它特征和优点以及实现它们的方式将变得更清楚，并且本发明将被更好地理解。
[0028]图1示出了根据本发明的示例性实施例的系统；
[0029]图2示出了根据本发明的示例性实施例的在图1中所示的系统中的STB2、TV3和移动终端4的更多细节；
[0030]图3示出了移动终端4的显示器48上的视频播放器的示例性用户界面；
[0031]图4示出了根据本发明的示例性实施例的在移动终端4处执行的用于同步TV3处的视频的回放与移动终端4处的第二音频的回放的示例性处理400 ；以及
[0032]图5示出了根据本发明的示例性实施例的响应于用以同步TV3处的视频的回放与移动终端4处的第二音频的回放的用户命令而同步这两个回放的示例性处理420。
[0033]在此所阐述的范例说明了本发明的优选实施例，并且不要将这些范例理解为以任何方式限制本发明的范围。
【具体实施方式】
[0034]现参照附图，更具体地，参照图1，示出了符合本发明的实施例的系统的框图。作为音频-视频流的第一流8(诸如，MPEG-2传输流)在例如作为宽带网络的第一网络5上由视频服务器9发送。由机顶盒(STB)2接收第一流8。第一流8携带包括第一音频和相关联视频的节目，并且在该节目被STB 2处理完之后，由电视(TV)3回放该节目。如本领域中已知的，STB 2通过使用第一流8中所嵌入的同步信号来将第一音频与视频同步。因此，TV3处的视频和第一音频的回放得以同步。
[0035]在此所使用的术语“同步”意味着:如果音频相对于视频超前，则音频与视频之间的时间差不超过20毫秒(ms)，或者如果音频相对于视频延迟，则音频与视频之间的时间差不超过40ms。
[0036]虽然MPEG-2编码格式被用作示例，但同样可以使用根据数字视频广播(DVB)、数字视频广播手持(DVB-H)、高级电视系统委员会-移动/手持(ATSC-M/H)和ATSC A/53的编码。
[0037]此外，第一流8可以是经由卫星、地面或电缆从广播源进行广播的广播节目。第一流8也可以来自本地驱动器、网络驱动器或可由STB 2访问的其它存储设备。因此，在一些实施例中，无需第一网络5。第一流8同样可以表示模拟电视信号。在一个实施例中，STB 2可以被集成到TV 3中，使得TV 3执行二者的功能集合。
[0038]由视频服务器I通过第二网络6将包括第一音频和第二音频的第二流7发送到移动终端4。第二音频与第一流8中的视频相关联，但与第一音频不同。例如，第二音频携带与第一音频不同的语言。根据本发明的实施例的原理，在两个回放同步的情况下，用户可以观看TV 3上的视频并且收听移动终端4上的第二音频。
[0039]在需要时将第二流7发送到移动终端4，并且第二流7还可以包括相关联视频。在需要时第一流8可以被广播到STB 2或被发送到STB 2。
[0040]第二网络6也可以是互联网、卫星网络、W1-Fi网络或可由移动终端4以无线方式或通过有线访问的其它数据网络。
[0041 ] 根据实施例，只要移动终端4支持编码格式，就可以通过DVB-H网络、ATSC-M/H网络或支持其它编码标准的其它网络分发第二流7。还可以从可由移动终端4访问的存储设备(例如，以无线方式或通过有线(诸如USB)连接到移动终端4的存储设备)接收第二流7。因此，在一些实施例中，无需第二网络6。虽然被示出为移动终端，但移动终端4可能是诸如蜂窝终端、平板、W1-Fi接收器、DVB-T终端、DVB-H终端以及ATSC-M/H终端的设备。
[0042]STB 2可以位于公共热点(hot spot)中，其包括用于展现视频的一个或多个显示器以及用于输出第一音频的听觉信号的一个或多个扬声器。当在公共热点中时，端用户在移动终端上收听与热点中所显示的视频相关联的音频。根据本发明的实施例的原理，利用被附接或包含在移动终端4中的麦克风将移动终端4所播放的音频与STB 2正在回放的视频进行同步。热点中的不同用户观看同一视频，但收听携带例如与该视频相关联的不同语言的不同音频流。
[0043]图2示出了STB2,TV 3和移动终端4的更多细节。如先前所指示的，STB 2的功能可以被集成到TV 3中。STB 2包括数据解复用器21、视频解码器23和音频解码器25 3V 3包括显示器31和外放扬声器33。数据解复用器21从接收自第一网络5的第一流8中分离并且输出第一音频流和视频流。如上面所提到的，虽然第一流8被示出为来自网络，但第一流8可以来自本地驱动器、网络驱动器或可由STB 2访问的其它存储设备。在另一实施例中，第一流8可以是模拟信号，并且视频解码器23和音频解码器25应当例如分别由视频解调器和声音解调器来替换。
[0044]然后由视频解码器23对视频流进行解码。解码后的视频信号由TV3接收，并且显示在显示器31上。音频解码器25对第一音频流进行解码，并且将解码后的第一音频信号输出到TV 3oTV 3响应于解码后的音频信号而经由扬声器33生成听觉输出信号(回放的第一音频信号)。
[0045]移动终端4在该实施例中包括主处理器40、音频捕获41、音频相关器42、第一音频解码器43、数据复用器44、第二音频解码器45、扬声器(诸如，头戴式耳机或入耳式耳机)46、麦克风47、显示器48和键盘49。主处理器40是移动终端4的主控制器。一些元件(诸如，音频捕获41、音频相关器42、数据解复用器44和/或第一音频解码器43和第二音频解码器45)的功能可以被集成到主处理器40中。
[0046]在操作中，数据解复用器44从接收自第二网络6的第二流7中分离并且提取第一音频流和第二音频流。数据解复用器44将第一音频流和第二音频流分别输出到第一音频解码器43和第二音频解码器45。第一音频解码器43和第二音频解码器45分别响应于相应的第一音频流和第二音频流而产生解码后的第一和第二音频信号。头戴式耳机46将解码后的第二音频信号呈现为听觉信号(回放的第二音频信号)。
[0047]麦克风47从扬声器33接收听觉输出信号。麦克风47所接收的听觉信号由音频捕获41进行数字化，音频捕获41还充当缓冲器并且将数字化的音频信号发送到音频相关器42。注意，数字化的音频和解码后的第一音频信号表示第一音频，但可以彼此不同步。
[0048]音频相关器42确定来自音频捕获41的数字化的音频信号与来自第一音频解码器43的解码后的第一音频信号之间的偏移。音频相关器42可以通过将数字化的音频信号的频率范围的至少一部分与解码后的第一音频信号的频率范围的至少一部分进行相关来确定偏移。例如，可以使用相应信号的低音分量、中央通道信号分量等来执行数字化的音频信号与解码后的第一音频信号的相关。
[0049]可替换地，如本领域中已知的，音频相关器42可以解释解码后的第一音频信号和数字化的音频信号的信号特性以确定偏移。例如，可以确定每个信号的信噪比，然后进行相关以提供关于偏移计算的置信度因子。
[0050]作为又一替换，音频相关器42可以解释数字化的音频信号和解码后的第一音频信号的峰值电平、包络和/或波形，以确定偏移。
[0051]一旦已经确定偏移，音频相关器42就通知第二音频解码器45根据该偏移将到扬声器46的解码后的第二音频信号进行回退或前进，使得移动终端4处的第二音频的回放与TV3处的视频的回放同步。因此，第一电子设备处的第一音频的回放与第二电子设备处的第二音频的回放之间的偏移得以消除。例如，如果音频相关器42确定偏移是两秒(S卩，来自扬声器33的数字化的音频信号在解码后的第一音频信号之前)，则第二音频解码器45使得到扬声器46的音频输出超前两秒。如果音频相关器42确定偏移是负两秒(S卩，来自扬声器33的数字化的音频信号在解码后的第一音频信号之后)，则第二音频解码器45重新输出来自两秒之前的输出音频信号。虽然在该实施例中，解码后的第一音频信号被用作用于计算偏移的基准，但数字化的音频信号也可以同样用作基准，这导致偏移的符号相反。
[0052]音频相关器42可以根据所确定的偏移来确定与最新近接收到的数字化的音频信号同步的解码后的第一音频信号的展现时间戳(PTS)，向第二音频解码器45通知PTS，以替代向第二音频解码器45通知偏移，使得第二音频解码器45可以根据所确定的PTS来输出解码后的第二音频信号。
[0053]为了减少音频相关器42用于确定偏移的时间和/或减小用于存储来自扬声器33的数字化的音频信号以及解码后的第一音频信号的缓冲器(未示出)的大小，数字化的音频信号与解码后的第一音频信号之间的实际偏移应当小于预定时间(例如10秒)。该方法也可以减小第一音频解码器43和第二音频解码器45中所使用的缓冲器(未示出)的大小。
[0054]根据本发明的实施例的原理，移动终端4的用户应当确定TV3处的视频的回放的流逝时间。如本领域中所公知的，可以将该信息指示在TV 3的显示器31上，或者如果信息未显示在显示器31上，则用户可以从例如节目指南找出节目的开始时间并且使用当前时间计算流逝时间。如果从本地驱动器回放节目，则用户可以通过从当前时间减去回放开始时间来容易地计算流逝时间。一旦用户已经确定视频信号的流逝时间，用户就应当将移动终端4处的第二音频的回放调整到具有处于所确定的TV 3处的视频的回放的流逝时间的(优选地10秒的)时间间隔或预定偏移内的流逝时间的位置。然后用户通过激活输入机制(例如，按压键盘49中的特定键、显示器48上所显示的特定虚拟键，或在显示器48的前面生成特定姿势(假设主处理器通过显示器48或相机(未示出)能够检测特定姿势))来指令移动终端4同步TV 3处的节目的回放与移动终端4处的第二音频的回放。
[0055]用户可以通过例如从移动终端4上的web浏览器选择第二音频来开始第二音频的回放。在已经选择第二音频之后，移动终端4调用音频/视频播放器300(例如，图3示出其用户界面)，并且自动地或响应于另一用户信号而开始回放第二音频或者第二音频和视频的组合。如图3所示，状态条340示出回放的状态。由指示符330指示当前播放位置，由指示符310指示节目的总时间，并且由指示符320指示剩余时间。由于总时间被指示为01:15:00( —小时15分)，并且剩余时间被指示为39:33(39分33秒)，因此用户能够将流逝时间确定为35分27秒。如本领域中所公知的，用户可以通过将指示符330拖动到期望位置或在状态条340中的期望位置上进行点击来调整回放位置。基于指示符310和320，用户能够将第二音频或者第二音频和视频的组合的回放调整为处于TV 3处的视频的回放的10秒的示例性预定义偏移内。
[0056]如本领域中所公知的，用户输入可以来自键盘49或显示器48或这二者。然后主处理器40指令第一音频解码器43和第二音频解码器45运行期望的同步功能。
[0057]一旦用户已经在移动终端4处选择回放位置，用户就可以经由键盘49或显示器48输入请求主处理器40同步TV 3处的视频的回放与移动终端4处的第二视频的回放的另一信号。一旦主处理器40接收到用以同步两个回放的用户信号，主处理器40就激活或指令音频捕获41捕获TV 3处的第一音频的回放，并且激活或指令音频相关器42确定偏移或期望的PTS。可以通过激活键盘49中的特殊键、经由触敏显示器48或相机(未示出)激活显示器48上的特殊虚拟按钮或可由处理40检测的特定手部姿势，来生成请求主处理器40进行同步的信号。
[0058]参照图4，示出在移动终端4处所执行的用于同步TV 3处的视频的回放与移动终端4处的第二音频的回放的示例性处理400。使用图1-图3所示的实施例来说明处理400。第一电子设备(说明性地，TV 3)正在回放包括视频和相关联第一音频的节目。构成节目的视频和第一音频是第一流8的分量。第一流8可以是模拟形式。假设在第一电子设备处的节目的回放时，第一音频和视频是同步的。如本领域中所公知的，这是使用嵌入在第一流8中的同步信号的情况。第一电子设备同样可以是影院视频再现设备或计算机。
[0059]第二电子设备(说明性地，移动终端4)正在回放与节目相关联的第二音频。第二电子设备也接收第一音频并且对其进行解码。由第二电子设备接收到的第一音频和第二音频是第二流7的分量。虽然被示出为移动终端，但第二电子设备可以是能够接收第一电子设备处的第一音频的回放的任何电子设备，并且优选地具有入耳式耳机输出，使得第二音频的回放不影响从第一电子设备捕获第一音频的回放。
[0060]如果主处理器40执行音频捕获41、音频相关器42、第一音频解码器43和第二音频解码器45的功能，则由主处理器40执行处理400 ο然而，即使在主处理器40内部，这些组件也仍存在。
[0061 ] 在步骤405，主处理器40可操作或配置为:调用或指令第一音频解码器43对第一音频进行解码并且输出解码后的第一音频。第一音频解码器43应当具有输出缓冲器，以便第一音频解码器43可以选择将输出缓冲器中的哪个样本输出到音频相关器42。
[0062]在步骤410，主处理器40可操作或配置为:调用或指令第二音频解码器45对第二音频进行解码，并且输出解码后的第二音频以便由第二电子设备进行回放。第二音频解码器45应当具有输出缓冲器，以便第二音频解码器45可以选择将输出缓冲器中的哪个样本输出到头戴式耳机46以便回放。
[0063]在步骤415，主处理器40可操作或配置为:接收用以同步第一电子设备处的视频的回放与第二电子设备处的第二音频的回放的用户命令。可以从激活输入机制来生成用户输入，输入机制可以是显示器46上所显示的特定图标、显示器46前面的特定用户姿势或键盘49上的特定键。
[0064]响应于用以同步的用户命令，在步骤420与其它元件协作的主处理器40可操作或配置为:同步两个回放。图5示出步骤420的说明性处理流程。
[0065]在步骤505，主处理器40可操作或配置为:调用或指令音频捕获41通过第二电子设备的捕获设备(诸如麦克风47)捕获第一电子设备处的第一音频的回放。主处理器40在步骤510还可操作或配置为:调用或指令音频相关器42确定来自移动终端4中的第一音频解码器43的解码后的第一音频与由音频捕获41进行数字化的捕获的第一音频之间的偏移。然后主处理器40可操作或配置为:调用或指令第二音频解码器45通过根据偏移调整输出解码后的第二音频来调整第二音频的回放，使得第一电子设备处的第一音频的回放与第二电子设备处的第二音频的回放同步。由于TV 3处的第一音频和视频的回放得以同步，并且TV 3处的第一音频的回放和移动终端4处的第二音频的回放得以同步，因此TV 3处的视频的回放和移动终端4处的第二音频的回放也得以同步。
[0066]注意，与其它组件(诸如，第二音频解码器45、以及其用户界面可以如图3所示的视频播放器(未示出))协作的主处理器40可操作或配置为:从第一位置回放第二音频，该第一位置是距离(away from)节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，第一电子设备处的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差处于预定义的间隔内。
[0067]预定义的间隔可以是用户可调整的，并且优选地是10秒或更少，使得可以快速地实现同步。如先前关于图3所讨论的，用户可以通过用户信号将第二音频的回放调整或定位为从第一位置开始。响应于用户信号，主处理器40可操作或配置为:指令第二音频解码器45通过例如输出与第一位置对应的解码后的第二音频中的样本来调整解码后的第二音频的输出。
[0068]在将第二音频提供给移动终端4的服务器获知发送到STB2的视频的位置的情况下，提供第二音频的服务器可以确定与所发送的视频的当前位置对应的第二音频中的位置，并且响应于对服务器的用户输入(例如，激活服务器网站上的图标)来从对应位置发送第二音频。如此一来，可以在移动终端4处或者在发送第二音频的服务器处完成定位第一位置。
[0069]在一个实施例中，如果第一时间间隔与第二时间间隔之间的差大于预定义的间隔，则主处理器40可操作或配置为:响应于用以同步两个回放的用户命令而要求用户调整第一位置。
[0070]在另一实施例中，如果确定偏移的步骤失败，则主处理器40可操作或配置为:要求用户再次输入用以同步两个回放的用户命令，并且重复捕获和确定偏移的步骤。
[0071]根据本发明的实施例的原理，当从第二音频解码器45输出到头戴式耳机46的解码后的第二音频被调整到第一位置时，第一音频解码器43的输出自动地被调整为与第二音频解码器45的输出同步，使得解码后的第一音频中的输出样本也与第一位置对应。如此一来，两个音频解码器的输出得以同步。也就是说，来自第二音频解码器45的输出样本与来自第一音频解码器43的输出样本对应。例如，与来自第一音频解码器43的当前输出样本相关联的PTS和与来自第二音频解码器45的当前输出样本是相同的。
[0072]如此一来，主处理器40可以指令第一音频解码器43通过根据偏移输出解码后的第一音频来调整其输出，使得第一音频解码器和第二音频解码器的输出得以同步。
[0073]在另一实施例中，主处理器40可以指令第一音频解码器43响应于接收到用以同步第一电子设备处的视频的回放和第二电子设备处的第二音频的回放的用户命令的发生而与第二音频解码器45同步。
[0074]根据本发明的该实施例，同步第一音频解码器43和第二音频解码器45的输出的优点在于，用户可以在任何时间发送用以同步第一电子设备处的视频的回放和第二电子设备处的第二音频的回放的用户命令，并且两个音频解码器将准备好执行同步。
[0075]在另一实施例中，在移动终端4回放第二音频之前，第一音频和第二音频被预先下载到移动终端4。在一个实施例中，回放第二音频可以包括:回放由移动终端4接收到的视频。
[0076]在一个实施例中，可以从同一源(例如，将节目发送到第一电子设备的服务提供商的同一网站)将第一音频和第二音频下载到第二电子设备。在另一实施例中，可以从与将节目发送到第一电子设备的源不同的源下载第二音频。例如，从用于服务提供商的广播源接收由STB 2接收的节目，并且从服务提供商所赞助的网站下载由第二电子设备接收的第二音频。
[0077]实际上，当由第二电子设备接收第二音频的带宽太小时，用户可以切换到用于接收第二音频的另一源。这可以在用户选择具有非常低的带宽的流式传输源并且用户不能将第二音频的回放调整到第一位置的情况下发生。
[0078]在另一实施例中，主处理器40可操作或配置为:指令音频相关器42根据偏移确定PTS，并且将PTS提供给第二音频解码器45，并且第二音频解码器45应当从与PTS相关联的解码后的样本进行输出。在另一实施例中，主处理器40可操作或配置为:指令音频相关器42将相同的PTS提供给第一音频解码器43，使得第一音频解码器43应当从与PTS相关联的解码后的样本进行输出。音频相关器42—旦确定偏移，就可以如下确定PTS:确定应当与下一个接收到的捕获的音频样本对应的来自第一音频解码器43的解码后的音频样本，并且确定对应的解码后的第一音频样本的PTS作为期望的PTS。
[0079]虽然麦克风47被用作用于从TV3的扬声器33捕获回放音频的捕获设备的示例，但捕获设备可以是无线接收器(诸如，移动终端4处的蓝牙接收器)，并且所捕获的第一音频信号仅是从STB 2以无线方式发送到无线终端4的来自音频解码器25的解码后的第一音频信号。
[0080]虽然已经将本发明描述为具有优选设计，但可以在本公开的精神和范围内进一步修改本发明。因此本申请意图使用其一般原理来覆盖本发明的任何变型、用途或改动。此夕卜，本申请意图覆盖来自本发明所属领域中并且落入所附权利要求的限制内的已知的或惯用的实践内的本公开的这些变更。
【主权项】
1.一种用于将第一电子设备处的包含视频和相关联的第一音频的节目的回放与也接收所述第一音频的第二电子设备处的与所述节目相关联的第二音频的回放进行同步的方法(400)，所述方法包括: 由第二电子设备中的第一音频解码器对第一音频进行解码(405)，并且输出解码后的第一音频； 由第二电子设备中的第二音频解码器对第二音频进行解码(410)，并且输出解码后的第二音频以便由第二电子设备进行回放； 接收(415)用以将第一电子设备处的视频的回放与第二电子设备处的第二音频的回放同步的用户命令； 响应于所述用户命令，所述方法还包括: 由第二电子设备中的捕获设备捕获(505)第一电子设备处的第一音频的回放； 由第二电子设备确定(510)所输出的解码后的第一音频与所捕获的第一音频之间的偏移；以及 根据所述偏移来调整(520)解码后的第二音频的输出，使得第一电子设备处的第一音频的回放与第二电子设备处的第二音频的回放同步。2.如权利要求1所述的方法(400)，还包括步骤:由第二电子设备从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，由第一电子设备所进行的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。3.如权利要求2所述的方法(400)，还包括步骤:响应于用户信号，将第二音频的回放定位到第一位置。4.如权利要求1所述的方法(400)，还包括:如果确定所述偏移的步骤失败，则要求用户再次输入用户命令，并且重复捕获和确定所述偏移的步骤。5.如权利要求1所述的方法(400)，还包括:由第一音频解码器通过根据所述偏移输出解码后的第一音频来调整输出，使得第一音频解码器的输出和第二音频解码器的输出同步。6.如权利要求1所述的方法(400)，还包括:在由第二电子设备回放第二音频之前，将第一音频和第二音频下载到第二电子设备。7.如权利要求6所述的方法(400)，其中，从第一源下载由第一电子设备接收的节目以及由第二电子设备接收的第一音频和第二音频。8.如权利要求6所述的方法(400)，其中，从与用于将第一音频和第二音频下载到第二电子设备的第一源不同的第二源下载由第一电子设备接收的节目。9.如权利要求1所述的方法(400)，其中，通过用户激活输入机制来生成用户命令。10.如权利要求1所述的方法(400)，还包括根据所述偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳的步骤，并且调整第二音频的回放包括输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。11.如权利要求1所述的方法(400)，其中，第一电子设备是电视接收器、影院视频再现设备和计算机之一。12.—种第二电子设备(4)，包括: 第一音频解码器和第二音频解码器(43，45)，用于分别解码由第二电子设备(4)接收的第一音频和第二音频，并且输出解码后的第一音频和第二音频，所述第一音频和第二音频与节目相关联，该节目包括视频和第一音频并且由第一电子设备(3)正在回放； 音频捕获设备(41)，用于捕获由第一电子设备(3)正在回放的第一音频； 音频相关器(42)，接收所捕获的回放的第一音频和来自第一音频解码器(43)的解码后的第一音频;以及 处理器(40)，其中当所述处理器(40)接收到用以将第二电子设备(4)处的第二音频的回放与第一电子设备(3)的视频的回放同步的用户命令时，所述处理器(40)被配置为:指令音频相关器(42)确定接收到的所捕获的回放的第一音频与接收到的从第一音频解码器(43)输出的解码后的第一音频之间的偏移，并且指令第二音频解码器(45)根据所述偏移来输出解码后的第二音频。13.如权利要求12所述的第二电子设备(4)，还包括视频播放器，其通过第二电子设备(4)从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，第一电子设备(3)处的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。14.如权利要求13所述的第二电子设备(4)，其中，视频播放器响应于用户信号来将第二音频的回放定位到第一位置。15.如权利要求12所述的第二电子设备(4)，其中，如果确定偏移失败，则所述处理器(40)被配置为:要求用户再次输入用户命令，并且指令音频相关器(42)再次确定所述偏移。16.如权利要求12所述的第二电子设备(4)，其中，所述处理器(40)被配置为:指令第一音频解码器(43)通过根据所述偏移输出解码后的第一音频来调整输出，使得第一音频解码器和第二音频解码器(43，45)的输出同步。17.如权利要求12所述的第二电子设备(4)，其中，在第二电子设备(4)回放第二音频之前，将第一音频和第二音频下载到第二电子设备(4)。18.如权利要求17所述的第二电子设备(4)，其中，从第一源下载由第一电子设备(3)接收的节目以及由第二电子设备(4)接收的第一音频和第二音频。19.如权利要求17所述的第二电子设备(4)，其中，从与用于将第一音频和第二音频下载到第二电子设备(4)的第一源不同的第二源下载由第一电子设备(3)接收的节目。20.如权利要求12所述的第二电子设备(4)，还包括输入机制(48，49)，用于用户输入所述用户命令。21.如权利要求12所述的第二电子设备(4)，其中，所述处理器(40)被配置为:指令音频相关器(42)根据所述偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳，并且指令第二音频解码器(45)输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。22.如权利要求12所述的第二电子设备(4)，其中，第一电子设备(3)是电视接收器、影院视频再现设备和计算机之一。23.—种第二电子设备(4)，包括: 第一部件和第二部件(43，45)，用于分别解码由第二电子设备(4)接收的第一音频和第二音频，并且输出解码后的第一音频和第二音频，所述第一音频和第二音频与节目相关联，该节目包括视频和第一音频并且由第一电子设备(3)正在回放； 用于捕获由第一电子设备(3)正在回放的第一音频的部件； 相关器部件(42)，用于接收所捕获的回放的第一音频和来自第一部件(43)的解码后的第一音频;以及 处理部件(40)，其中当所述处理部件(40)接收到用以将第二电子设备(4)处的第二音频的回放与第一电子设备(3)的视频的回放同步的用户命令时，所述处理部件(40)被配置为:指令相关器部件(42)确定接收到的所捕获的回放的第一音频与接收到的从第一部件(43)输出的解码后的第一音频之间的偏移，并且指令第二部件(45)根据所述偏移来输出解码后的第二音频。24.如权利要求23所述的第二电子设备(4)，还包括视频播放器，其通过第二电子设备(4)从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，第一电子设备(3)处的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。25.如权利要求24所述的第二电子设备(4)，其中，视频播放器响应于用户信号来将第二音频的回放定位到第一位置。26.如权利要求23所述的第二电子设备(4)，其中，如果确定偏移失败，则所述处理部件(40)被配置为:要求用户再次输入用户命令，并且指令相关器部件(42)再次确定所述偏移。27.如权利要求23所述的第二电子设备(4)，其中，所述处理部件(40)被配置为:指令第一部件(43)通过根据所述偏移输出解码后的第一音频来调整输出，使得第一部件和第二部件(43，45)的输出同步。28.如权利要求23所述的第二电子设备(4)，其中，在第二电子设备(4)回放第二音频之前，将第一音频和第二音频下载到第二电子设备(4)。29.如权利要求28所述的第二电子设备(4)，其中，从第一源下载由第一电子设备(3)接收的节目以及由第二电子设备(4)接收的第一音频和第二音频。30.如权利要求28所述的第二电子设备(4)，其中，从与用于将第一音频和第二音频下载到第二电子设备(4)的第一源不同的第二源下载由第一电子设备(3)接收的节目。31.如权利要求23所述的第二电子设备(4)，还包括输入部件(48，49)，用于用户输入所述用户命令。32.如权利要求23所述的第二电子设备(4)，其中，所述处理部件(40)被配置为:指令相关器部件(42)根据所述偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳，并且指令第二部件(45)输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。33.如权利要求23所述的第二电子设备(4)，其中，第一电子设备(3)是电视接收器、影院视频再现设备和计算机之一。
【文档编号】H04N21/43GK105940679SQ201480074223
【公开日】2016年9月14日
【申请日】2014年1月31日
【发明人】J.S.斯图尔特
【申请人】汤姆逊许可公司