专利名称：用于同步交互标记与流传输内容的设备和方法
用于同步交互标记与流传输内容的设备和方法技术领域
本发明总体上涉及流传输内容，具体涉及与流传输内容同步地传送交互标记。
技术背景
本部分旨在向读者介绍所描述的和/或权利要求中要求保护的本发明的各方面。 相信这些讨论有助于为读者提供背景信息以便于更好地理解本发明的各方面。因此，应理 解，这些陈述应在此范围内阅读，而不是作为对现有技术的认可。
交互服务机制提供视频节目和可以与用户交互的应用之间的同步，以便向用户提 供附加或交互服务。交互服务的示例是投票应用、交互游戏、获得与产品有关的信息、产品 订购。视频节目可以是现场直播，从摄像机流传输出至广播装置，并且最终到达终端，或者 是预先记录的并且从服务器流传输至终端。在终端中视频节目也可以从文件进行本地播 放。交互服务需要与视频节目同步。对同步信息进行管理、从网络侧发送，以及由终端获 取该同步信息。这允许获知何时激活关联的交互应用或被称作交互对象的交互应用的一部 分。
交互对象是与被称作小应用程序或脚本的实例有关的软件(可由处理器执行或 可由虚拟机解译)，该软件使用人机界面向终端的用户提供与该用户当前观看的视频节目 交互的能力。
在视频分发系统中，通常使用端到端解决方案，通过广播装置将交互内容从内容 供应商直至传输到终端。内容供应商和广播装置有时仅形成一个实体。
来自Thomson Licensing的欧洲专利申请07300769. 2描述了使用RTP时间戳同 步标记形式下的交互内容的传输。
不必在视频编码器处执行交互内容的插入。那么交互内容与视频编码器的输出处 的视频内容不精确同步。发明内容
本发明尝试修改与现有技术中的同步有关的至少一些方面。
为此，本发明涉及一种用于将交互标记插入流传输内容的方法，所述方法包括以 下步骤接收第一形式的流传输内容；接收第二形式的相同流传输内容；接收与第一形式 的内容的第一帧相对应的交互标记；以及与以第二形式接收到的内容的第二帧同步地发送 交互标记。第二帧中的内容与第一帧中的内容相对应。
根据实施例，所述方法包括以下步骤计算接收第一形式的流传输内容的第一帧 与接收第二形式的流传输内容的第二帧之间的延迟，第二帧中的内容与第一帧中的内容相 对应。
根据实施例，计算步骤在第一和第二内容的接收的开始处执行一次，或者重复执 行。
根据实施例，交互标记附加至第二帧。3
根据实施例，在与第二帧不同的分组中发送交互标记。
根据实施例，第一形式是未压缩形式，第二形式是压缩形式。
根据实施例，所述内容是视频内容。
根据实施例，压缩内容包括RTP时间戳，并且交互标记与RTP时间戳同步。
本发明的另一目的是一种设备，包括通信装置，用于接收第一形式的流传输内 容，接收第二形式的流传输内容，以及发送第三形式的流传输内容；以及标记装置，用于在 接收与第一形式的内容的第一帧相对应的交互标记时，与接收到的第二形式的内容的第二 帧同步地发送交互标记，第二帧中的内容与第一帧中的内容相对应。
根据实施例，所述设备包括校准装置，用于计算接收第一形式的流传输内容的第 一帧与接收第二形式的流传输内容的第二帧之间的延迟，第二帧中的内容与第一帧中的内 容相对应。
根据实施例，第一形式是未压缩形式，第二形式是压缩形式。
本发明的另一方面是一种计算机程序产品，包括程序代码指令，在该程序在计算 机上执行时执行根据本发明的方法的步骤。通过“计算机程序产品”，这意味着计算机程序 载体，不仅可以是包含程序的存储空间(例如，磁盘或盒式磁带)，也可以是信号(例如电或 光信号)。
以下阐述了在范围上与所公开的实施例相当的特定方面。应当理解，提出这些方 面仅向读者提供本发明可能采用的特定形式的简要概述，并且这些方面并不意在限制本发 明的范围。实际上，本发明可以涵盖以下没有阐述的各个方面。
参照附图，可以通过以下实施例和执行示例但并非限制性的，更好地理解和示意 本发明，在附图中
图1是符合实施例的系统的框图2是符合实施例的对象的框图3是符合实施例的模块的框图；以及
图4是示出了根据实施例的标记插入方法的流程图。
在图1至3中，所呈现的模块是纯功能实体，不必与物理上分离的实体相对应。即， 这些模块可以以硬件或软件的形式开发，或者在一个或若干集成电路中实现。
具体实施方式
示例实施例在具有RTP的压缩视频的传送的框架的范围内，但是本发明不限于该 特定实施例，并且可以在其他框架中应用，在其他框架中，以未压缩和压缩方式连续地传送 流传输内容。
在图1中示出了根据实施例的系统。仅示出了一个终端，但显而易见的是，系统 中可以有多于一个终端。视频源1是服务器或任何其他视频节目源。视频源1将视频节 目广播成未压缩格式。视频节目由视频编码器2和标记插入设备3 (在下文中用MID表 示)接收。视频节目包括音频-视频内容，并且可以包括诸如电视文本广播或限定标题 (closedcaption)之类的交互内容。
视频编码器2将未压缩视频压缩成压缩流，然后使用RTP/RTCP发送。例如，根据 UIT-T H. 264标准对视频进行编码。然后通过IP网络5将RTP流传递至终端6。IP网络可 以是支持组播传输的任何IP网络，例如互联网。
MID还从编码器接收压缩流传输内容。MID适于将标记插入到节目中。交互控制 器4适于向MID提供交互标记，以在适当的时候插入到内容中。交互控制器包括允许操作 人员观看所广播的视频节目的监视器。在交互控制处的创作工具提供预先产生交互序列并 且将这些交互序列传递至MID的装置，MID然后将这些交互序列通过专用信道或按照被嵌 入到关联的媒体流中的方式转发至终端。当然，交互控制器和MID可以配置在相同的设备 中。
例如，当在足球比赛期间标记进球时，通过按压按钮，操作人员发起标记的产生， 以指示终端执行预加载的应用。该应用例如可以是对足球比赛的最佳球员进行投票的邀 请。MID将所涉及的对象视为条目来激活，例如URI或终端容易解译的标识符。然后终端将 该标记用作使能符，以便在特定时间根据视频呈现发起动作。
可以使用首部扩展将标记嵌入到视频RTP分组中，或者标记可以是自身在专用标 记流上发送且与视频流同步的RTP分组。视频的呈现时间基于RTP时间戳。该RTP时间戳 指示在RTP首部扩展使用的情况下将标记插入在视频流RTP分组中的何处，以进行标记。如 果在分离的标记流中发送标记，则将该视频RTP时间戳转译成绝对时间，以利用与该绝对 时间相对应的正确时间戳在正确时间产生对应的标记流RTP分组。进行将视频RTP时间戳 转译成绝对时间是依据从视频编码器接收到的RTCP发送方报告。
在图2中示出了 MID 3。MID 3包括处理模块32、通信模块31、存储模块33以及 标记模块34。内部总线36适于连接这些模块，以实现它们之间控制和数据分组以及信号的 传输。通信模块31包括用于从视频源和视频编码器接收视频数据的装置。通信模块31包 括用于利用视频编码器和交互控制器发送和接收数据的装置。通信模块31还包括用于将 数据发送至移动终端的装置。
标记模块34意在提供用于插入与视频相对应的交互信息的装置。定时模块341 意在当可以将交互标记插入到视频帧中时提供定时。插入模块342意在将标记插入到视频 帧中。插入模块342可以利用从交互控制器接收到的信息产生标记。校准模块343适于执 行输出时间到输入时间的校准。
MID然后适于使视频帧的可视化的时间和分组的RTP时间戳一致，其中，该帧在编 码器的输出处传送。更精确地，使操作人员产生与在显示器上观看到的视频节目相对应的 交互标记的时间和MID输出与该视频节目相对应的编码帧的时间一致。
在图3中还示出了校准模块343。第一通信模块3. 1和第二通信模块3. 2是图2 的通信模块31的部件。第一通信模块从视频源1接收未压缩视频。第二通信模块从视频 编码器2接收压缩视频。校准模块包括视频获取模块3. 3，从第一通信模块31接收未压缩 视频(第一视频)。在MID时钟的值、同时捕获视频帧。、是在MID处捕获视频帧的时间 的值，其中，该时间与MID处的时钟的值相对应。视频获取模块303将第一视频帧发送至视 频匹配模块3. 6。
编码视频获取模块3. 4从第二通信模块3. 2接收压缩视频。编码视频获取模块 3. 4将压缩视频发送至视频解码模块3. 5。视频解码模块3. 5对视频帧frame_i进行解码，并且还获得RTP时间戳的值RTPi以及相应编码器的时钟值tVi，根据编码器2所产生的RTCP 发送方报告，对这两个值进行计算。
解码之后第一视频和第二视频的格式和大小是相同的。例如，第一视频的格式是 YUV 420格式。然后，通过视频解码模块3. 5将在第二接口(从编码器接收RTP分组的以太 网接口)上捕获的RTP流解码成未处理的YUV 420视频帧。然后，视频解码模块3. 5将已 解码视频帧(也被称作第二视频帧)发送至视频匹配模块。视频解码模块3. 5发送具有对 应的RTPVi*tVi的每个framej。在伴随RTP视频流的RTCP发送方报告的帮助下，使用以 下方程来计算所有的值tVi:
权利要求
1.一种在标记插入设备C3)处用于将交互标记插入流传输内容的方法，所述方法包括 在所述设备处执行的以下步骤-从第一源设备(1)接收(Si)第一格式的流传输内容；-从第二设备( 接收(S》第二格式的所述流传输内容；-从第三设备(4)接收(S3)与第一格式的所述内容的第一帧相对应的交互标记；以及-与以第二格式接收到的内容的第二帧同步地发送(SO所述交互标记，所述第二帧中 的内容与所述第一帧中的内容相对应。
2.根据前述权利要求所述的方法，其特征在于，所述方法包括步骤计算接收第一格 式的流传输内容的第一帧与接收第二格式的流传输内容的第二帧之间的延迟，所述第二帧 中的内容与所述第一帧中的内容相对应。
3.根据前述权利要求所述的方法，其特征在于，计算步骤在所述第一和第二内容的接 收的开始处执行一次，或者重复执行。
4.根据前述权利要求中任一项所述的方法，其特征在于，所述交互标记被附加至所述 第二帧。
5.根据前述权利要求中任一项所述的方法，其特征在于，在与所述第二帧不同的分组 中发送所述交互标记。
6.根据前述权利要求中任一项所述的方法，其特征在于，所述第一格式是未压缩格式， 所述第二格式是压缩格式。
7.根据前述权利要求中任一项所述的方法，其特征在于，所述内容是视频内容。
8.根据权利要求6或7所述的方法，其特征在于，所述压缩内容包括RTP时间戳，并且 所述交互标记与所述RTP时间戳同步。
9.一种设备(3)，包括通信装置(31)，用于从第一设备(1)接收第一格式的流传输内 容，从第二设备( 接收第二格式的所述流传输内容，以及发送第三格式的所述流传输内 容；以及标记装置(34)，用于在从第三设备(4)接收与第一格式的所述内容的第一帧相对 应的交互标记时，与以第二格式接收到的内容的第二帧同步地发送所述交互标记，所述第 二帧中的内容与所述第一帧中的内容相对应。
10.根据前述权利要求所述的设备，其特征在于，所述设备包括校准装置(343)，用于 计算接收第一格式的流传输内容的第一帧与接收第二格式的流传输内容的第二帧之间的 延迟，所述第二帧中的内容与所述第一帧中的内容相对应。
11.根据权利要求9或10所述的设备，其特征在于，所述第一格式是未压缩格式，所述 第二格式是压缩格式。
12.—种计算机程序产品，包括程序代码指令，当所述程序在计算机上执行时执行根 据权利要求1至8所述的方法的步骤。
全文摘要
本发明涉及一种用于将交互标记插入流传输内容的设备和方法，所述方法包括以下步骤接收(S1)第一格式的流传输内容；接收(S2)第二格式的相同流传输内容；接收(S3)与第一格式的所述内容的第一帧相对应的交互标记；以及与以第二格式接收到的内容的第二帧同步地发送(S5)所述交互标记。所述第二帧中的内容与所述第一帧中的内容相对应。
文档编号H04N7/24GK102037728SQ200980117934
公开日2011年4月27日 申请日期2009年5月14日 优先权日2008年5月19日
发明者伊冯·勒加卢瓦, 安东尼·洛朗, 斯蒂芬妮·古阿什, 纪尧姆·比绍 申请人:汤姆森许可贸易公司