用于辅助内容的分布式播放的同步的系统和方法
【技术领域】
[0001]视频设备和网络的演进已经引起了经济的视频会议系统的发展，这样的视频会议系统能够实现在不需要过高的带宽的情况下，位于不同位置的个人或个人的小组同时观看内容，同时在传统网络上相互共享视频图像和音频信息。术语“远程呈现(telepresence)”和“社交TV”指这种类型的视频会议。当远程呈现参与者观看来自相同或不同内容来源的相同电视节目时，对于各个参与者的内容播放定时可以有很大的不同。定时差异的原因包括内容馈送的差异(例如一组经由陆地广播来接收内容而另一组经由卫星信号或Over-The-Top流来接收内容)、设备的差异(例如每个参与者经由数字录像机或‘DVR’但具有不同的施加的延迟来接收内容)、或不同的内容开始时间(例如通过DVD、视频点播或Over-The-Top流)。除了通过非DVR接收机接收的来自相同发射机的直播电视广播以外，在以基本同步的方式向多个站提供电视节目的播放中出现了困难。
[0002]若干系统提供本地播放的电视节目(不考虑内容的来源，例如DVD等等)与追踪该电视节目的各个内容之间的同步。加利福尼亚州圣地亚哥的RiffTrax有限责任公司的“RiffPlayer”应用通过在DVD播放时收听音频来将幽默评论音轨同步到DVD。美国TechnicolorCreative Services有限责任公司的“MediaEcho”应用提供DVD和广播TV的类似能力，并在2012年12月12日递交的国际专利申请PCT/US 12/071822中具体化该发明。
[0003]这样的技术解决了单个内容来源的上下文的同步。然而，存在对于在不同内容来源的上下文中实现同步的需求。
【发明内容】
[0004]简单地说，根据本公开原理示出的实施例，用于对在第一站和第二站播放的内容进行同步的方法开始于对在第一站上播放的内容中的音频与在第二站上播放的内容中的音频进行比较，以确定在第一站与第二站之间是否存在延时。如果存在这样的延时，则第一站和第二站中的至少一个针对播放的内容执行暂停操作或跳转操作中的至少一个达一时间间隔，以使两个站基本同步，该时间间隔对应于一个站领先另一站的时间间隔。
【附图说明】
[0005]图1示出了远程呈现系统的框图，其中，该远程呈现系统示出了两个站，每个站向对应的远程呈现参与者显示内容，并且每个站用于根据本公开原理的对这样的内容进行同步；
[0006]图2示出了音频信号的时间线表示，该音频信号包括在图1的远程呈现系统的两个站播放的内容的一部分，其中，这两个站通过领先站在内容中往回跳转其领先的量来实现同步；
[0007]图3示出了音频信号的时间线表示，该音频信号包括在图1的远程呈现系统的两个站播放的内容的一部分，其中这两个站通过领先站在内容播放时暂停其在内容中领先的量来实现同步；
[0008]图4示出了用于执行图2和图3的同步的图1的远程呈现系统的两个站之间的事务的集合；
[0009]图5以流程图的形式示出了在与远程站通信的本地站处进行音频特征描述的示例过程的步骤；
[0010]图6以流程图的形式示出了确定来自图1的本地和远程远程呈现站的音频信号之间的同步状态、并且指示并/或校准二者之间的实质差异的过程的步骤；
[0011]图7以流程图的形式示出了用于播放同步的示例过程的步骤，中发生了关于远程音频源来确定本地音频源的同步；以及
[0012]图8示出了表示与根据本公开原理的同步有关的、在图1的远程呈现系统的每个站处的情形的插图。
【具体实施方式】
[0013]图1示出了包括播放相同内容(例如电视节目、电影)的两个站110和120的远程呈现系统的框图，在本文中，内容还被称作“媒体节目”。这样的内容可以包括视听节目、仅视频节目或仅音频节目。在图1示出的实施例中，广播电台101向站110和120提供内容，以被分别在这样的站处的播放器111和121接收。每个播放器可以包括组合在一起的被调谐为从广播电台101接收广播的接收机(例如电视机)和数字录像机(DVR)。在其它实施例中，播放器111和121可以包括DVR和机顶盒，该机顶盒从卫星提供商、有线电视提供商中的任一个接收内容。备选地，播放器可以包括针对因特网流提供商(例如Netflix of Los Gatos，CA)的接收机。每个播放器可以从数字视频盘播放器(DVD)(未示出)接收内容。两个播放器111和121既不需要具有相同的形式，也不需要相同的内容来源(例如广播站101)，虽然内容必须相同，即使内容中的一些元素(例如广告)是不同的。这些站中的至少一个具有暂停和/或将内容往回跳转或倒回的能力，具体地，暂停和/或将最近播放的内容的一部分往回跳转或倒回的能力。
[0014]站110和120分别具有监视器112和122，分别用于在播放器111和121上播放内容时显示内容。站110和120还分别包括扬声器113和123，用于重现分别与在站处播放的内容相关联的附带的音频114和124。一般地，每个站具有用户，通过在站110处的用户115来举例说明。在远程呈现会话期间，在站处的用户执行步骤以通过音频/视频会议呼叫、仅视频会议呼叫或仅音频会议呼叫来将他们的站相互连接，如参照图8详细讨论的。在站110处的用户115可以使用用于播放器111和/或监视器112的控制的遥控器116。虽然在图中未示出，在其它站处的用户典型地也具有遥控器。
[0015]站110和120分别具有同步单元130和140，每个同步单元分别包括麦克风(mic) 131和141中的一个，分别用于捕获音频114和124。同步单元130和140还分别包括特征检测模块(fea) 132和142，分别用于从通过对应的麦克风131和141捕获的音频中提取特征。在同步单元130和140中的每一个中，中央处理单元(CPU)或控制器133和143中的对应的一个分别处理提取的特征，并且将提取的特征分别存储到存储器(mem) 134和144之一中。分别与CPU133和CPU 143通信的通信模块(com) 135和145可以经由通信信道151向其它同步单元发送提取的特征，该通信信道可以包括因特网150。
[0016]因此，分别在同步单元130和140中的CPU 133和143还经由通信信道151及其相应的通信模块135和145来接收远程特征，并且可以根据检测到的本地特征和接收的远程特征来确定关于内容的同步的信息。分别在同步单元130和140中的显示器(disp) 137和147可以显示同步信息。在一些实施例中，分别在同步单元130和140中的CPU 133和143分别可以驱动远程控制发射器(rem)138和148，远程控制发射器138和148用于分别命令播放器111和121(机顶盒或DVD播放器等等)的传输根据需要暂停、倒回、往回跳转、恢复，以纠正站之间的播放中的定时差异，从而实现根据本公开原理的同步。
[0017]在图1的示出的实施例中，同步单元130和140作为单独的设备存在。然而，播放器111和121中的每一个或监视器112和122中的每一个可以包括内嵌的同步单元130和140。将同步单元130和140分别嵌入到监视器112和122中将会使监视器能够分别代替显示器137和147来显示同步信息。
[0018]图1的同步单元130和140可以使用呈现服务160来相互寻找，但是其它技术也可以用于该目的。呈现服务160包括呈现服务器161和数据库162，用于分别跟踪在站110和120处的同步单元130和140的存在、可用性和位置。同步单元130和140分别通过相应的通信模块135和145并且分别通过通信信道152和153与呈现服务器161通信，通信信道152和153中的每一个可以包括因特网150。这样，同步单元130和140可以通过呈现服务器161代替通过通信信道151直接通信来相互交换消息。结合示出的实施例，通信模块135和145中的每一个通过经由通信信道151与服务器161通信来确定其它通信模块的地址。然而，可以直接发生(例如通过通信信道151)或间接发生(例如通过呈现服务器的调解)同步单元130和140之间的事务。
[0019]通过特征检测器132和142提取的特征分别被存储在本地存储器134和144中，以在每个站处形成最近的本地音频特征的第一时间线。通信模块135和145还分别在本地存储器134和144中存储它们接收的远程特征，以形成最近的远程音频特征的第二时间线。两个时间线保持大体同步，也就是说，每个时间线中的相同位置表示在对应的站处大约同时出现的特征。
[0020]在一些实施例中，同步单元130和140可以分别保持本地时钟(clk)136和146，本地时钟(clk)136和146相互同步或与另一公共可访问时钟(未示出，但是由服务器161或由另一服务提供，例如使用已知的网络时间协议)同步。在其它实施例中，(经由