专利名称：Itv环境中的同步和自动化的制作方法
技术领域：
001本发明一般涉及交互式电视系统，更具体地涉及用于同步交互式电视应用和视听电视内容的系统和方法，视听电视内容诸如为广播电视节目、商业或点播电视(VOD)内容。
背景技术：
002交互式电视(ITV)组合了传统的电视和被称为交互式电视内容的附加内容，以给观众呈现增强的视听电视内容形式，诸如广播电视节目、商业或点播电视内容。如本说明书中所使用的，术语交互式电视内容指的是被请求以产生前述的增强的电视体验之一的任何附加信息或应用。
003交互式电视应用可以是基于时间的应用，其包含与基础(underlying)的视听内容元素紧密相连的交互式电视事件。这种基于时间的交互式电视事件可请求紧密同步的互动式内容，诸如，例如参与合作式游戏内容、卡拉OK、语境测验、互动式广告内容等等。但是在当前的系统中，以一致和自动的方式产生和保持ITV事件与基础内容元素的紧密同步仍然是个挑战。例如，在发送电视节目片段中的任何延迟或中断导致在相关的节目片段之前或之后请求ITV事件。此外，在其传输过程期间，节目数据的丢失或改变，或者在显示节目期间在接收客户中的等待时间都负面影响ITV事件和其基础内容元素的同步。
004因此，需要一种系统和方法，用其帮助保持基于时间的ITV应用和它们的基础视听内容元素的同步。
发明内容
005本发明涉及一种使交互式电视(ITV)事件与接收装置接收的内容元素同步的方法。该方法包括接收第一触发器，该触发器包括所述内容元素的第一视频帧的第一时间值。该方法还包括获得在收到第一触发器时内部时间源记录的第二时间值。第一时间值和第二时间值之间的偏移被计算，并且第一偏移被运用到第二时间值。然后基于具有运用的第一偏移的第二时间值获取ITV事件。
006本发明还涉及一种接收器，其使交互式电视(ITV)事件与接收的内容元素同步。所述接收器包括解码器，内部时间源和处理器。解码器解码多个触发器，而每个触发器包括节目的相应视频帧的时间值。内部时间源记录时间。处理器执行程序指令，程序指令从解码器获得解码的第一时间值并从内部时间源获得第二时间值，第一时间值包括在第一触发器中，第二时间值是在收到第一触发器时记录的。程序指令进一步计算第一时间值和第二时间值之间的第一偏移，并且将第一偏移运用到第二时间值。程序指令然后基于具有运用的第一偏移的第二时间值获取ITV事件。
007触发器可嵌入在与内容元素关联的视频信号中，或者嵌入在数字传送流中(例如MPEG-2多节目传送流)。内部时间源可以是内部时钟或者显示的视频帧的时间标记(例如显示或播出时间标记或PTS)值。
008根据本发明的一个实施例，接收器接收的附加触发器允许计算多个更准确的偏移。在这点上，所述接收器接收第二触发器，其包括内容元素的第二视频帧的第三时间值。所述接收器还获得第四时间值，该第四时间值在收到第二触发器时由内部时间源记录，并且计算第三时间值和第四时间值之间的第二偏移。第三偏移是基于第一偏移和第二偏移导出的，并且被运用到第四时间值。第三偏移可以是第一偏移和第二偏移的平均。
009当结合以下详细描述、所附的权利要求和附图考虑时，本发明的这些和其他特征、方面和优点将被更全面地理解。当然，本发明的实际范围是由所附的权利要求限定的。
010图1是根据本发明的一个实施例的ITV系统的方框图；011图2是根据本发明的一个实施例的示例同步触发器的方框图；012图3是根据本发明的一个实施例的嵌入在视频节目片段中的示例同步触发器；和013图4是根据本发明的一个实施例的同步应用过程的流程图。
具体实施例方式
014一般来说，本发明涉及在ITV系统内被请求的同步机制，其帮助保持基于时间的ITV事件和基础视听内容元素之间的紧密同步，基础视听内容元素诸如为电视节目片段、商业内容、电影、点播电视内容或者其他类型的视听内容。同步机制在规则的间隔在广播视听信号或视听流中插入同步触发器。触发器可在频带外(out-of-band)的数据路径上发送。触发器在内容元素的整个传输过程中被保持，并且为内容元素提供可靠的时间和/或帧轮廓(delineation)。触发器由接收装置使用，以有规律地同步它的时间源。一旦时间源被同步，运行在接收装置上的ITV应用可使用同步的时间来在内容元素的观看过程中获取和运行基于时间的ITV事件。
015图1是根据本发明一个实施例的ITV系统的方框图。ITV系统包括广播系统100、事件管理器102、数据转发器系统(headendsystem)104和一个或多个客户106。可位于广播操作中心的广播系统100包括调度系统108、广播自动服务器110、数据插入器112和一个或多个视频播放器116(例如VTR)。在广播操作中心的其他的典型设备也可包括在广播系统100中，诸如，例如用于覆盖视听内容元素顶部上的文字和图像的字符生成器(没有示出)。
016调度系统108生成电视节目播放表，其包括要在指定的日子传输的节目时间安排表。播放表包括，例如时间码及其节目片段标识符、节目片段源和/或节目片段持续时间的清单。播放表然后被调度系统108用来驱动视频播放器116，播放器116包含要传送的内容元素的实际视频和音频。
017广播自动服务器110监视生成的播放表，并且检测对播放表进行的任何改变。根据本发明的一个实施例，广播自动服务器110例如在几小时之前在生成的播放表中读取，并且通过有线或无线数据通信链接120向事件管理器102传输播放表的最新条目。数据通信链接120可以是例如安全的因特网链接、局域网链接、广域网链接等等。
018事件管理器102从不同的广播系统接收播放表信息，并且获取合适的ITV事件进行响应。根据本发明的一个实施例，不同广播系统的ITV事件信息是在ITV事件数据库122中中央保存的。在这个方面，ITV事件数据库122为每个广播站存储特定片段(或者表演)标识符的ITV事件的映射。ITV事件数据库122进一步为每个映射的ITV事件存储ITV内容显示信息和客户运行ITV事件所需的逻辑。这些信息可包括，例如图形、文字、事件次数、持续时间信息等等。
019根据本发明的一个实施例，ITV事件管理器102在接收的播放表信息中检测与ITV事件关联的节目片段，并且准备与ITV事件相关的播放数据。播放数据包括，例如与ITV事件关联的实际逻辑和显示信息。此外，ITV事件管理器102向广播自动服务器110发送命令，以在适当的时间开始传输同步触发器，用于插入到节目中。
020广播自动服务器110在规则的间隔生成同步触发器，诸如，例如每隔5秒，并且将它们发送给数据插入器112，用于插入到内容元素中。每个同步触发器包括至少触发器被插入到基础内容元素背景中的时间的准确显示，如内部时钟150所测量的。
021根据一个实施例，同步触发器经由数据插入器112被嵌入到内容元素中。数据插入器112是编码器，其被配置以在模拟视频信号的垂直或水平消隐信号间隔中、在MPEG-2传送流专用数据域中、在数字视频流的备用数据空间中等等嵌入同步触发器。在广播之前，触发器被动态地嵌入或者嵌在源磁带上。
022具有嵌入的同步触发器的内容元素被发送给各种接收者，包括本地电缆操作员或某个其他上行链路系统的数据转发器系统104。根据本发明的一个实施例，数据转发器系统104包括耦合到编码器128和多路复用器128的数据分配服务器126，它们都用于发送接收的内容元素和任何关联的ITV数据到客户106。
023根据本发明的一个实施例，数据转发器(或者上行链路)系统104包括由调度系统108产生的播放表的所有或部分副本。部分播放表可由事件管理器102通过有线或无线数据通信链路124传递，数据通信链路124诸如为安全的因特网链接、局域网链接、广域网链接。
024基于其播放表和事件管理器102提供的信息，诸如，例如关于对视听内容元素哪些ITV事件信息是可用的信息，诸如节目片段，数据分配服务器126在识别的视听内容元素的安排播放时间之前向事件管理器102发送一个或多个请求，请求关联的ITV事件信息。这个请求通过安全的数据通信链路124被传输。
025响应来自数据分配服务器126的请求，事件管理器102向数据转发器系统104发送客户运行ITV事件所需的所有事件显示数据和逻辑。数据分配服务器126以适当的次数向客户发送接收的ITV事件数据，该适当的次数是基于安排的ITV事件次数计算的。
026根据本发明的一个实施例，ITV事件信息和逻辑被编码到MPEG-2传送流中，并且与内容元素被带内传送到客户106。ITV事件信息和逻辑可被编码到模拟视频信号的垂直或水平消隐信号间隔中，或者数字视频流的备用数据空间中。此外，ITV事件信息和逻辑可通过因特网连接在频带外发送，或者经由分离的信道，例如返回信道发送。
027根据本发明的一个实施例，事件管理器102不将ITV事件数据发送到数据转发器系统向客户发送，而是将数据发送到广播自动服务器110嵌入到内容元素中。在这个方案中，广播自动服务器110请求数据插入器112，将ITV事件数据插入到内容元素中。因此，数据转发器系统104接收的内容元素已经包括客户所需的合适的ITV事件信息。
028根据本发明的另一个实施例，事件管理器102发送命令以产生同步触发器并且将其插入到数据转发器系统104，而不是插入到广播自动服务器110中。在这个方案中，是处于数据转发器的数据分配服务器126在规则的间隔产生触发器，并且经由编码器128将它们嵌入内容元素中。或者，触发器可通过因特网链接在频带外传输，或经由频带外转发/返回数据信道传输。
029因此，根据上面的实施例，为发送同步触发器和ITV事件信息(总称为ITV数据)预设了三种方案1)广播系统100将同步触发器和ITV事件数据都嵌入到内容元素中，并且内容元素被发送给数据转发器系统104，仅仅用于转发到客户106；2)广播系统100只嵌入同步触发器，而且是数据转发器系统104将ITV数据发送到客户106；3)同步触发器和ITV事件数据都被数据转发器系统发送给客户。
030根据本发明的一个实施例，客户106是本领域公知的任何ITV接收装置，诸如，例如模拟或数字有线机顶盒、地面机顶盒或者卫星机顶盒。客户106包括耦合到解码器134的处理器132，用于获取或恢复(retrieving)和解码被嵌入内容元素中的任何数据，内容元素通过传输信道140被接收。处理器可进一步获取通过频带外数据路径142传输的ITV数据。运行特定的ITV事件所需的ITV事件信息被存储在事件队列138中，并且基于确定是时间运行存储的ITV事件时才被再次调用。
031运行ITV事件的时间是经由时间源136确定的，根据本发明的一个实施例，时间源136被保持与ITV系统中使用的各种时钟144、146、148和150同步。时间源136可以是内部计时器或时钟、与最近接收的、解码的并显示的视频帧关联的时间标记值(例如MPEG-2视频帧的显示时间标记)等等。
032图2是根据本发明的一个实施例的示例同步触发器200的方框图。触发器200包括唯一标识符(UID)202、时间基准204和命令206。UID是基础内容元素内容的标识符，并且可被解码以获取特定的网络、内容元素名称和情节(例如游戏显示网络——“Greed”——情节221)。替代地，标识符可以是特定ITV事件的参考。
033时间基准204在基础视频源的背景中提供准确的时间表示。根据本发明的一个实施例，触发器包含传送触发器的实际视频帧的时间基准。时间基准可以是绝对时间，诸如，例如以小时分钟秒的形式的SMPTE时间码，或者以毫秒表示的标准播放时间(NPT)值，或者离内容元素中的参考点，诸如节目片段的开始、最近的商业广告中断等等的时间偏移。
034命令206可以是用于客户处理器132进行解码的任何命令。示例的命令包括“开始”、“中止”、“恢复”、“结束”等等。
035图3是根据本发明的一个实施例的嵌入在内容元素中的示例同步触发器。第一触发器300为视频帧嵌入，该视频帧根据系统中使用的各种时钟144、146、148和150被标识为帧“0”，时间为“0”。第一触发器准确表示这个时间和帧号码，并且进一步包括“开始”命令。“开始”命令可以由接收客户解释为，例如启动客户的时间源136和同步过程的命令。在内容元素中的5秒，第二触发器被嵌入。第二触发器准确表示时间“5”秒和帧号码“120”。第二触发器包括“继续”命令，以指示客户，例如同步过程继续。第三、第四和第五触发器304、306、308类似地在10、15和20秒嵌入到节目片段中；因此，第三、第四和第五触发器分别指示时间“10”秒、“15”秒和“20”秒。
036当具有嵌入的触发器的内容元素被处理和传输到客户106时，触发器的接收时间可实际不同于它们预计到达的时间。例如，假设接收到具有嵌入的第一触发器300的第一帧时，客户的时间源被初始化为时间0。客户的时间源因此开始与在ITV系统中利用的各种时钟144、146、148和150度量的实际内容元素时间同步。但是，假设由于内容元素的传输或处理中的延迟或中断，内容元素的帧120直到7秒之后才收到，而不是第二触发器正确指示的预计的5秒。客户因此可在假设它正在显示或播出内容元素中的7秒而不是实际的5秒的视频帧的情况下操作。这可能导致客户将在7秒运行的ITV事件错误获取到内容元素中。
037为了解决这个问题，客户106在规则的间隔运行同步应用，以允许客户将其自己锁定到接收的触发器正确指示的基础内容元素的时间。以这种方式，客户在与以下时钟相同的时钟之下操作广播自动中心的时钟150，嵌入有触发器的数据分配服务器的时钟146，提供基于时间的ITV事件信息的事件管理器102的时钟148，和产生播放表的调度系统144的时钟。
038同步应用程序是由处理器132根据存储在其内部存储器140中的计算机程序指令运行的。根据本发明的一个实施例，锁相环型方法的准确性在收到每个新的同步触发器时提高，该方法被用于同步时间源136。
039图4是根据本发明的一个实施例的同步应用过程的流程图。在步骤400，应用程序接收同步触发器，且在步骤402获得需要同步的参考时间。参考时间可以是触发器被接收时运行的时间源或初始化的时间源的记录时间值，或者记录的视频显示值。
040在步骤404，应用程序计算接收的触发器中的时间基准204的值(“触发器时间”)和参考时间之间的偏移。在步骤406也可基于已知的固定等待时间值计算附加的偏移值。例如，如果触发器通过频带外数据信道传输，传输这种触发器的已知等待时间可以包括在计算的偏移值中。在步骤408计算的(多个)偏移然后被运用到参考时间。
041在步骤410，确定另一同步触发器是否被接收。如果答案是是(YES)，应用程序就在步骤412比较最新接收的触发器中的触发器时间与最新获得的参考时间，该参考时间被运用了最近计算的偏移值。如果在这两个值之间有任何差异，应用程序就产生新的平滑偏移，如步骤414和416所表示的。
042根据本发明的一个实施例，平滑的偏移通过运用新的偏移值与前面的偏移值的加权平均来产生。根据本发明的另一个实施例，可使用网络时间协议(NTP)算法执行平滑和时钟调节。
043根据本发明的一个实施例，如果在步骤414检测的差异大于预定的阈值，该差异就存储在临时的存储器位置，并且不用于计算新的平滑偏移。如果收到预定连续数量的超过阈值的差异，存储差异的平均就被用作新的偏移，并且丢弃前面计算的任何偏移。
044有了上面的机制，就可在收到每个新的触发器时更准确计算偏移，允许基于时间的ITV事件和基础视频更紧密的同步。可在交互式事件整个持续时间中利用这个同步机制，以防止应用程序的时间背景和相关视频内容的时间背景之间的偏离。根据本发明的一个实施例，如果同步应用程序正在期待触发器但是没有接收到它们，应用程序就可被中止。
045有了同步的参考时间，客户106可可靠地从事件队列138获取合适的基于时间的ITV事件。在这个方面，处理器132基于同步的参考时间计算时间码，并且获取事件队列138中对应于计算的时间码的ITV事件。示例的基于时间的ITV事件包括但不限于显示覆盖视频顶部的图形，改变屏幕上的文字，增加或减少屏幕上的图形元素，产生声音效果，触发动画，通过返回数据信道传输数据元素，将值记录在存储器中等等。
046本领域的技术人员应该认识到在上面实施例中的同步方法可应用于模拟和数字视频。在模拟环境中，通过同步触发器和同步应用程序中的时钟能够实现准确的定时。在数字环境中，通过同步触发器以及目标应用内的时钟或视频时间标记参考能够实现准确的定时。
047同步方法的目的是在各种广播和目标硬件环境中保持一致，包括在具有相对低的处理能力的低端机顶盒中。此外，该方法的目的是平滑延迟中的波动，延迟可例如由于更高优先级线程的执行、存储器管理和客户执行的其他操作而在客户106接收数据期间发生。该方法适应对于“真实世界”广播环境常见的事件，例如商业广告中断或节目片段的可能延长和缩短，在输入信号或视频内容中的中断等等。
048虽然已经在某些特定的实施例中描述了本发明，但是本领域的技术人员推导出所述实施例的变体是没有困难的，这不偏离本发明的范围和精神。此外，对于各种领域的技术人员，这里本发明本身暗示了其他应用的其他任务和改编的解决方案。申请人的意图是由权利要求覆盖本发明的所有这种应用和可对这里为了公开的目的选择的本发明实施例的那些修改和改变，而不偏离本发明的范围和精神。因此，本发明的实施例在所有方面都应该认为是示例说明性的，而不是限制性的，本发明的范围由所附的权利要求及其等同物表示而不是由前面的描述表示。
权利要求
1.一种用于同步交互式电视ITV事件与接收装置接收的内容元素的方法，所述方法包括接收第一触发器，该第一触发器包括所述内容元素的第一视频帧的第一时间值；获得在接收所述第一触发器时内部时间源记录的第二时间值；计算所述第一时间值和第二时间值之间的第一偏移；将所述第一偏移运用到所述第二时间值；和基于运用了第一偏移的所述第二时间值获取ITV事件。
2.根据权利要求1所述的方法，其中所述第一触发器被嵌入到与所述内容元素关联的视频信号中。
3.根据权利要求1所述的方法，其中所述第一触发器被嵌入到数字传送流中。
4.根据权利要求1所述的方法，其中所述内部时间源是内部时钟。
5.根据权利要求1所述的方法，其中所述内部时间源是显示的视频帧的显示值。
6.根据权利要求1所述的方法，其中所述触发器是通过频带外数据路径接收的。
7.根据权利要求1所述的方法，进一步包括接收第二触发器，该第二触发器包括所述内容元素的第二视频帧的第三时间值；获得在接收所述第二触发器时所述内部时间源记录的第四时间值；计算所述第三时间值和第四时间值之间的第二偏移；基于所述第一偏移和第二偏移导出第三偏移；和将所述第三偏移运用到所述第四时间值。
8.根据权利要求7所述的方法，其中所述第三偏移是所述第一偏移和第二偏移的平均值。
9.一种用于同步交互式电视ITV事件与接收的内容元素的接收器，所述接收器包括解码器，其解码多个触发器，每个触发器包括所述内容元素的相对应的视频帧的时间值；记录时间的内部时间源；和处理器，其耦合到所述解码器和所述内部时间源，所述处理器执行程序指令，所述程序指令从所述解码器获得包括在第一触发器中的解码的第一时间值；从所述内部时间源获得在收到所述第一触发器时记录的第二时间值；计算所述第一时间值和第二时间值之间的第一偏移；将所述第一偏移运用到所述第二时间值；和基于运用了第一偏移的所述第二时间值获取ITV事件。
10.根据权利要求9所述的接收器，其中所述多个触发器被嵌入在与所述内容元素关联的视频信号中。
11.根据权利要求9所述的接收器，其中所述多个触发器被嵌入在数字传送流中。
12.根据权利要求9所述的接收器，其中所述内部时间源是内部时钟。
13.根据权利要求9所述的接收器，其中所述内部时间源是显示的视频帧的显示值。
14.根据权利要求9所述的接收器，其中所述触发器是通过频带外数据路径接收的。
15.根据权利要求9所述的接收器，其中所述处理器进一步执行以下程序指令，其从所述解码器获得包括在第二触发器中的解码的第三时间值；从所述内部时间源获得在收到所述第二触发器时记录的第四时间值；计算所述第三时间值和第四时间值之间的第二偏移；基于所述第一偏移和第二偏移导出第三偏移；和将所述第三偏移运用到所述第四时间值。
16.根据权利要求15所述的接收器，其中所述第三偏移是所述第一偏移和第二偏移的平均值。
全文摘要
同步机制在规则的间隔在电视信号或电视流中嵌入同步触发器。该触发器包括其被嵌入的时间的准确表示。接收装置解码该触发器并且基于该触发器同步它的内部计时器。在这点上，所述接收装置从所述内部计时器获得参考时间，并且计算参考时间和触发器时间之间的偏移。计算的偏移然后被运用到参考时间。接收到每个新的触发器时，应用程序就比较触发器时间与运用了最近计算的偏移值的新参考时间。如果在这两个值之间有任何的差异，所述应用程序就产生新的平滑偏移。
文档编号H04N7/24GK101061712SQ200580003855
公开日2007年10月24日 申请日期2005年2月4日 优先权日2004年2月4日
发明者J·达克斯, P·米拉佐, K·萨拉基科, A·科特梅尔, 小V·M·博韦 申请人:Gpi有限公司