专利名称：使用元数据来处理多个视频流的方法和设备的制作方法
技术领域：
本发明描述了一种用于处理多个视频流的方法和设备。具体地， 所述方法和设备用于通过使用特定的元数据来动态地覆盖两个或更多 个视频流。
背景技术：
通常基于硬盘驱动器(HDD)或光盘的音频/视频(AV)数据重放 设备具有访问附加数据的多种不同的可能，例如因特网访问、通用串 行总线(USB)接口等，以下载附加的内容。一些高端电视机通过使用画中画(PIP)技术提供了同时观看两个或更多个节目的能力，然而其使用了不同的专有技术方案。电视机 在同一屏幕上表现不同视频序列的方式是不灵活的，但在电视机制造后就立刻固定下来。可用的PIP技术在工作时没有使用从AV内容中提取出的任何帮助信息。发明内容所描述的可用于视频覆盖的技术是不灵活的。因此，本发明解决了如下问题提供了一种以灵活的方式把视频序列覆盖到另一视频序 列(或静态视频图像)的方法和设备，具体地，本发明向对特定的节 目视觉外观感兴趣的某些人提供了对该视频覆盖的控制能力，例如节 目提供者、预先录制的AV内容的作者、用户。本发明提供了在表现时改变对不同视频序列的覆盖的决策方式。 因此，本发明把静态视频覆盖改变为灵活的动态视频覆盖处理系统。 利用这个改变，例如内容提供者变得能够控制该覆盖。这是视频序列动态组合的主要步骤。本发明的要点是，向视频序列添加元数据，该元数据包含覆盖参 数，并且能够用于控制把该视频序列覆盖到另一视频序列或静态图像。 原理上，被覆盖的视频序列包含该元数据是足够的。在这种情况下， 该覆盖可能与向其覆盖的其他视频序列或图像无关。然而，可以在视 频序列内标识与覆盖参数有关的特定的其他视频序列或视频序列组。 此外，可以把覆盖元数据插入视频序列，其定义了如何对另一视频序 列进行覆盖，例如针对特定场景禁止覆盖显示器中的特定区域。对于发生冲突的情况，可以为单个的、若干个或所有的参数定义 优先级。例如，第一视频序列可以包含定义了特定场景的元数据，例 如时间戳，而且其针对这个场景进一步定义了不能覆盖的矩形区域，例如为显示器高度的20-80%，以及显示器宽度的0-100%。第二视频序 列可以包含元数据，如果该序列用于覆盖，则该元数据定义了其应当 在可视帧中呈现，例如显示器宽度的0-10%以及优选地是显示器高度的 50%，即左边线的中心高度。在这种情况下，可以把帧上移或下移，使 其显示在禁止区域之外，因为参数"50%高度"的优先级比其他的要低。 如果第一序列中的禁止区域也具有较低的优先级，即其"不应"被覆 盖，则可以对第二序列进行定位，使得这两个条件均实现。如果第二 视频序列单独地显示，即没有发生覆盖，则忽略这些元数据。本发明的优点是，其可以提供各种有用的特征，例如可以在背景 视频序列上对一个或更多个视频序列进行移动、縮放、alpha混合和/ 或重叠。Alpha混合是用于场景之间的平滑转变的常见技术。这些特征 不需要是静态可用的，即它们可以动态地从因特网或闪存或附加的盘 (例如对已记录的电影进行更新)等而下载。根据本发明，向视频序列提供了特定的元数据，该元数据描述了 如何把不同的(但是确定的)视频序列"粘"到一起。元数据的格式 应当是标准化的，从而不同的重放设备能够处理/解释这种元数据。当 前，这种元数据是不可用的。根据本发明的重放设备可以对适合的元数据进行解释，而且其具 有HW/SW(例如3D图形加速器)以执行相应的重叠处理等。对于来自因特网的元数据，该设备可以方便地下载该数据。对于来自闪存卡读卡器或USB的元数据，该设备具有适合的连接器。此外，该设备能够把该 元数据存储在可访问的存储区域中，例如本地DRAM。针对视频序列与元数据的混合，存在多种可能元数据可以和AV 流进行交错，元数据可以存储在单独的文件中，或者元数据可以与针 对特定电影的视频流(例如电影导演的访谈首部)并行地传递。在后 者的情况下，该传递包含针对重叠的重放的所有必须的附加数据。此 外，存在不同的方式把两个或更多个特定的视频流进行重叠。所以， 对于相同的视频序列，可以使用多于一个的元数据组。本发明所使用的元数据描述了怎样在相同的视频屏幕上把两个 或更多个视频序列进行重叠。这个重叠在广阔范围内是可行的，即非 常灵活。这意味着元数据包含例如与针对覆盖的视频序列的显示的几何外观有关的信息，重叠定时(优选地是视频流针对彼此的重叠定 时，这对于音频流的同步尤其有用)，特效元数据(例如淡入淡出，颜 色改变，针对PIP的可视流，等等)，以及流元数据。
与具体实施方式
图l示出了根据本发明的用于帧重叠的设备，以说明怎样以及针对 哪个解码步骤使用哪种元数据来执行动态视频重叠。虚线箭头指示使 用哪种元数据来执行特定的解码步骤。实线箭头指示视频序列数据流。 视频流数据的格式可以逐步骤地改变。例如最初视频序列数据具有压缩格式(例如MPEG-2、 MPEG-4或VC-1，等)，而在下一步骤中其被解码 到帧缓冲器中(例如位图状格式)。最后，重叠的视频可以具有YUV4: 2: 0格式。此外，图l示出在元数据自身内提供了分层。重叠定时元数据控制 几何和特效元数据。这是重要的，因为例如子视频序列在屏幕上的位 置在重放期间可能发生改变，而定时不会改变。例如，子视频序列可 能水平地平滑移动，或整个视频帧被放大/縮小。示范性地，屏幕上显 示不同流的若干缩略视频，每个流一个縮略视频，而且用户使用菜单 来选择这些縮略视频之一。作为特效，该縮略视频的分辨率会提升，直到其覆盖整个屏幕为止。这在直觉上提供了这样一种印象，即该选择与以全屏幕大小随后立即进行的视频重放有关。这在图4-6中描述。此外，分层中的上层可以控制定时元数据。这可以是用户交互。 用户可以在不同的重放节目之间进行切换，例如DVD所使用的不同的节目链(PGC)。其类似于播放列表，即用户可以切换至另一个重叠节目。 由于元数据的分层，上层可以推翻(override)下层的设置。例 如，可以对子视频进行裁剪，并且可以改变像素纵横比。所以，应当 把下层元数据作为缺省数据来处理。有利地，如果以单独的文件来存储该元数据，那么应当使用像XML 这样的开放文档格式来进行存储。如果元数据被嵌入视频流自身中， 则针对嵌入的元数据而使用的格式必须遵循视频流格式的特定约束， 例如，避免user—data ()字段中的起始代码位于MPEG-2或MPEG-4视频流中。图2和3示出了用户如何才能分别订购影碟、额外的奖赏资料(例 如通过因特网)和有关的元数据。作为示例，用户购买了光盘形式的 电影，打开包装并查看导演的评论视频序列的凭单。用户必须连接至 内容提供者的网页(例如迪斯尼)，并进行注册。当在内容提供者的网 页上进行注册之后，用户能够访问附加的导演的评论视频序列。用户 通过其DSL连接以下载该视频序列。在完成下载后，用户希望看一下其 最新下载的奖励。用户把下载的奖励放到重放设备的HDD上。然后，用 户启动对新下载的视频序列的重放。重放设备识别所插入的元数据。 所以，重放设备知晓这个视频序列将会连同特定的电影而重放。如果 还没有插入电影，则重放设备会告知用户(例如通过UI)用户应当插 入适合的盘。当插入该盘时，重放设备开始对这两个视频序列进行重 放，正如连同奖励内容一同传递的元数据(例如被合并在同一个流中) 所定义的那样。屏幕上显示的电影与导演的脸部重叠。导演讲解当前 所显示的场景。奖励视频序列包含元数据的播放列表，即一组评论的 部分。所以，用户可以选择若干评论的场景之一，例如类似下文的播 放列表1.导演评论整个电2. 导演评论特技3. 导演评论FX场景4. 演员1评论色情场景5. 演员2评论拍摄期间发生的一些有趣的情况 在这个示例中，两个电影是可用的(原始电影和奖励视频序列)，而且有5组元数据。每一组均组合了主视频的不同部分以及奖励视频， 并设置了当视频产生重叠时(同步)对视频重叠的位置的控制(几何 信息)，使用重叠效果(例如alpha混合)，以及如何对这两个流中的音 频进行混合。甚至可以添加针对用户交互的信息，例如可以提供可以 继续的不同方式(例如"结束重放"和"再次播放"以及"到下一个 元数据组")。在这个示例中，在生产出光盘的主盘(master)后完成主电影。 但是，内容提供者之后可以通过使用根据本发明的元数据、把该元数 据与适合的视频进行组合、并使其在用户的因特网入口上可用，从而 为这个电影添加附加信息。有利地，内容提供者可以通过这个特征在 任意时候来添加与电影有关的有趣信息。例如可以通过信件或直接的 电子邮件告知顾客。所以，可以更好地保持顾客。电影制片人使用越来越依赖于计算机的拍摄，即人工产生的场景 的数量在当前的电影中急剧增长。因此，更加容易地产生不同的视频 序列。作为另一个示例，用户购买带有色情电影的光盘。然而，电影 中所显示的多数人是穿着衣服的。在支付费用后，用户可以从内容提 供者的因特网入口下载特定的视频序列信息，该信息提供了期望的观 看。这个特定的视频序列信息(SVSI)包含不同的视频序列，其逐像 素地改变了色情电影的外观。为了重放，重放设备根据所传递的本发 明的元数据对两个视频序列进行重叠。所添加的差别视频序列改变了 某些像素的外观。在这个示例中，其在某些场景中去除了一些演员的 适当的衣服。所以，顾客通过向内容提供者支付附加费用并从因特网 下载差别视频序列，可以获得不受约束的更多裸漏皮肤的观看。可看 到的皮肤的量可能取决于付费数。在类似的示例中，可以通过应用该 特征、根据当前时尚来改变电影中演员所穿的衣服，或者可以改变电影场景的背景(即虚拟位置)。在另一示例中，用户购买带有电影的光盘。若干演员在该电影中 扮演角色。内容提供者把该电影分为背景场景和演员的头部(作为视 频序列)。把背景场景和演员的头部相重叠将会执行电影的实际重放。 本发明的元数据描述了何时将哪个头部与背景视频在帧内的正确位置 处相重叠。这用于控制重叠处理。此外，本发明的元数据包含与所显示的头部有关的信息，即其三维(3D)位置和与摄像机的相对位置，针对头部的照明等级和方向，自然环境(例如有风、水下、离心力)， 等等。顾客可能希望调换演员。所以，用户向重放引擎给出与期望的演员(例如顾客自身)的3维头部有关的适合的信息。这可以通过对头 部进行扫描而完成，例如一些头部的电子照片和重放设备中的一些软 件，该软件产生了期望的头部的适合的3D模型。利用一些典型的3D引擎(如当前的图形加速器中所使用的)，重放设备能够实时地产生适合 的头部，该头部将会与背景视频发生重叠。当前的3D引擎甚至可以处 理复杂的结构，例如风中的长发。对于第一个简单版本来说，可能出 现的是用户扫描期望的头部，并将该信息发送至内容提供者。内容提 供者产生重叠视频，并将其发回给用户。用户可以如上文所述的那样 来使用这个接收到的序列。然而，最后的示例描述了一种方法，其中内容提供者首先产生背 景视频和头部分离的视频。另外，内容提供者提供元数据，所述元数 据告知哪个头部将会显示在哪个位置。内容提供者还可以提供演员的 3D模型以及元数据，所述元数据告知重放设备怎样来产生这个头部的 适合的投影。具有该内容的盘被放到主盘上，即它是像电影自身那样的静态内 容。可以把其他演员的脸部添加到这个盘(静态信息)。这样，用户可 以通过使用所购买的盘上的内容来调换演员。此外，内容提供者可以 通过从他的因特网入口进行下载而提供针对该电影的其他演员以作为 奖赏资料。此外，内容提供者可以通过从顾客处接收足以产生所需的 3D模型的适合的照片而把3D模型置于电影中。这将会是另一个商业模 型。甚至可能的是，顾客可以和其他用户交换3D模型。所以，这个示例中的重放设备支持两种重叠方式1) 把己投影的视频序列与背景视频进行重叠(例如原始演员的头部)2) 把重放期间基于头部的3维模型实时计算的投影进行重叠。附 加的元数据(例如头部的位置和照明信息，以及与自然环境有关的信 息等)由内容提供者来传递(可能已经存在于盘上，或可以通过因特 网作为奖赏资料而传递)。在另一示例中，用户产生自有菜单，以获取对可用视频的概览。 用户产生根据本发明的元数据，该元数据描述了在何处把多少个縮略 视频与背景电影进行重叠。用户还可以决定所选縮略视频的行为(用于导航)，以及激活之后该缩略视频的外观。图4示出了针对这个示例 而开发的菜单。用户产生的3*3缩略视频菜单与背景视频。缩略视频的 选择(例如通过导航按钮上、下、左、右)将会把所选的视频序列放 大一些，如图5中所示。如果用户激活了这个縮略视频(即最终选择)， 那么该缩略视频变大直到其覆盖整个屏幕。然后，可以开始常规的重 放。在这个示例中，用户自身产生了用于定义视频应当位于何处的元 数据。在这种情况下，与特定呈现的视频有关的知识以及菜单结构不 需要是固定的，即在菜单的产生期间，哪些特定视频将在该菜单中的 特定位置处呈现是不清楚的，即通过实时地解释来自视频流自身的流 信息(以获得格式和分辨率等)和几何信息以及来自用户菜单结构的 信息，来完成重叠。所以，这些元数据是必需的，但通常是分离的。 内容提供者可以提供一些软件和/或模板来产生该菜单。重放设备可以 支持该菜单的产生。可以不同地放置根据本发明的元数据。该元数据可以和重叠的视频序列位于同一个介质上(例如HDD或光 盘，例如DVD、 HD-DVD或蓝光盘)。通常，其可以和至少一个重叠的视 频序列位于同一个介质上。元数据还可以和重叠的视频序列位于不同的介质上。此外，元数据可以从其他源分别接收(例如USB、闪存、因特网，等等)。存在视频序列与元数据的各种可能的混合 *元数据可以与AV流交错。〇这意味着内容提供者在创作期间决定与视频重叠有关的一 些或一切。〇在技术上，这可以通过把元数据存储在例如MPEG-2视频或 MPEG-4视频或VC-l流中的user—data ()中而完成。〇另一种备选是，把元数据存储在传输流中单独的传输分组中(例如BD内容的.m2ts文件中)。 O然而，这种元数据需要特殊标准以对于不同的重放设备均为 可读的。*元数据可以存储在单独文件中。O这意味着在视频序列的创作之后，可以把元数据链接至文 件。这种元数据可以是从内容提供者的网页上下载的附加 奖赏资料，作为访问内容提供者的网页或进行自愿注册的 用户的奖励(以实现顾客忠诚度和顾客追踪)。O在技术上，这可以通过把元数据存储在特定文件中而完成。O备选的是，把这个元数据存储在其他信息文件中，例如存 储在蓝光盘的".clpi" (ClipInfo)或".即ls" (PlayList) 文件中，或存储在DVD的".IF0"文件中。O然而，这种元数据需要特殊标准以对于不同的重放设备均 为可读的。*针对特定电影，例如特殊盘上的电影，可以把元数据和视频流 一同传递(例如电影导演的"访谈首部")。所以，该传递包含 针对重叠式重放的所有必需的附加数据。*存在不同的方式把等同的视频流进行重叠。所以，对于相同的 视频序列，可以使用多于一个的元数据组。其优先地可以是隐 式或显式的，或用户可以选择优选的元数据组。应当进行重叠的视频序列的位置*该视频序列可以位于同一个介质上(例如HDD或光盘)。 *该视频序列可以位于不同的介质上。可以通过网络来实现同时 的重放。*视频序列可以分别从其他源接收(例如USB、闪存、因特网， 等等)，例如流视频。例如，"电影导演"序列直接从内容提供 者的因特网服务器(流)获得而实际的电影从光盘上读取。重 放设备通过对根据本发明的元数据进行解释，把这两个视频序 列同时进行重叠。元数据的内容元数据描述了怎样把两个或更多个视频序列与在相同的视频屏幕 上进行重叠。有利地，该重叠在很大范围内都是可能的，即非常灵活。这意味着元数据包含例如与如下内容有关的信息*几何显示元数据o显示器内的位置〇对所呈现的帧的縮放 ■可以把可能的缩放等级限制为固定的数值组，以简化该 縮放的实现，即为了简化硬件要求。o显示之前的旋转■可以把可能的旋转等级限制为固定的数值组，以简化 该旋转的实现，即为了减小硬件要求。o失真(例如纵横比)，如果■推翻纵横比，例如元数据约束与视频流所指示的不同 的纵横比■水平和/或垂直地对整个视频进行翻转o帧裁剪信息，如果O推翻像素纵横比，例如元数据约束与视频流所指示的不同的 纵横比 *重叠定时元数据O使用定时信息和流访问点来对整个重叠处理进行同步。这可以是精确地或大致地同步的视频场、视频帧或音频帧 O如果没有可用的特定定时信息，则可以使用缺省值来代替 O通常，定时信息可以描述起始时间、结束时间、持续时间或任意这些的混合O在视频序列中进行导航的信息，像DVD中的节目链(PGC)，公布于因特网上http:〃www. dvd-replica. com/DVD/pgcaL php ■(无止境的〉循环，或完成一次呈现后的停止 ■为了进行重放，对视频序列的部分进行重新排列 ■指示可能的用户交互(像PGC) 〇在不同的几何元数据和/或特效元数据之间进行切换的信息。可以是视频场或视频帧或大致同步。 O能够以不同的精确等级而提供的信息■大致同步(即，通常是几个帧周期的阶次) ■严格同步(即，帧精确或场精确) O针对音频的信息■切换至适合的音频流，或 ■指示重叠音频流(指示音频流是否应当重叠) ■重叠等级(例如指示哪个音频流应当放在前景或背景 中)■ 2D或3D位置(指示几何位置，即特定音频的音频应当来到/可听到的位置) ■指示混合前每一个音频流的音量 ■音效(例如向音频添加回响效果) 翻如果这些音频行为是可用的，则它们推翻针对其他元 数据类型的音频的特效 特效元数据 O淡入淡出 O颜色变化 O帧边界的帧〇指示所使用的重叠方法■针对透明度的色度键控信息(通常需要颜色范围， 因为视频压缩可能递送相同透明度区域中的多 样值)■针对如下的全局透明度值 单一视频序列 若干视频序列 ■向背景视频添加子视频 ■把子视频与背景视频进行异或组合 O针对不同显示区域的不同效果，例如透明度值取决于所使用的显示类型 〇多个其他效果是可能的 O音效■音效(例如向音频添加回响效果)*流元数据o与视频序列有关的详细技术信息 ■压縮格式(例如位图序列、MPEG-2、 MPEG-4、 VC-1，等) ■分辨率■纵横比(针对帧和针对像素)■所使用的颜色空间(例如针对HDTV的ITU 709或针对SDTV的ITU 624，等) ■帧速率 ■隔行/逐行 ■色度键控值，如果 ■针对亮度的平均或中间值 O与视频序列有关的详细内容信息■流派■ 演员■等等O音频属性■指示音频流的音量■ 2D或3D位置(指示几何位置，即特定音频的音频应当来到/可听到的位置) ■指示混合前每一个音频流的音量如果元数据位于第二子流中(即将与其他进行重叠的子流)，则考虑如下内容。其可以位于a) 在视频基本流(ES)中(user—data ()， MPEG-2， MPEG-4视频，VC-1)b) 在包含视频ES的传输流(m2ts)中；同一传输流(TS)中还可能包含次要音频c) 在相应的TS的ClipInfo文件(clpi)中d) 在播放列表文件(mpls)中e) 作为单独的元数据文件针对元数据内容/目的的示例a) 位置(包括帧精确的修改)b) 縮放(包括动态或帧精确的修改)c) 从预定义的固定縮放因数中进行选择d) 针对透明度的色度键控信息(NB:考虑由于压縮的颜色范围)e) 全局透明度值f) 取决于显示器(显示类型)的透明度g) 颜色范围信息针对HDTV的ITU-(T或R)709，针对SDTV的ITU 6 h) 重叠像素纵横比信息i) 翻转信息 j)旋转信息 k)效果1)针对PIP (画中画)的帧m)针对异步PIP的开始&停止信息n)基础亮度，以实现具有吸引人的外观的统一/稳定的多PIP o)对两个图像进行计算(例如光栅操作)(例如减去图像对象)根据本发明的所有元数据可选地还能够修改子视频帧。此外，所有这些元数据可能仅用于缺省值，即它们可以被例如 BD-Java API调用所重写。这样，上述元数据退化为这些缺省值。典型地，次要视频是可以从因特网下载并存储在本地存储器中的 内容，所以不需把混合元数据存储在光盘上(可以是R0M盘)。还可能 的是，主要和次要视频数据均位于同一数据载体上，例如光R0M盘。一个典型应用是，针对第一视频中的特定场景，例如表示为开始 和结束时间戳，根据本发明的元数据定义了显示器中哪些区域相对较 暗，和/或哪些区域相对较亮。该信息还可以和针对覆盖的禁止区或优 选区相结合，其中该场景用作背景。如果应当在单独的窗口中把第二 视频覆盖到该场景上，则该第二视频包含有元数据，所述元数据例如 指示其内容更加明亮，或指示其内容应当在暗区上呈现，所述窗口可以自动地定位，以满都所有这些要求，即它自动地定位在被指示为"暗" 的区域上。此外，如果背景改变，则第一视频的元数据指示这个改变， 并且第二覆盖视频可以自动地移至另一区域，其中所有条件都得以实 现。这个移动优选地是平滑移动，而不是跳跃。在另一示例中，第一视频流是游戏，例如合成地呈现的游戏。可 以把提供游戏中其他角色的不同视野的其他视频流进行覆盖。例如， 游戏者A出现在其屏幕区域上，该屏幕区域上显示处其他游戏者B和C的并发动作。这些其他的游戏者可以是人，例如在线游戏，也可以是 虚拟的。因此，其他两个流覆盖到背景场景，显示出游戏者自己的视 野。覆盖帧的位置由附加到各个流的元数据来定义。这些元数据还可 以取决于例如各个游戏者所执行的动作。在另一示例中，第一视频流是静态图像或连续重复的短场景，例 如用作菜单的背景。覆盖了若干视频流，例如与用户在其视频库中所 拥有的视频的摘要相对应。附加到第一视频流的元数据提供的视频流 的显示区域，所以l.每一个视频可以以图标而显示，2.可以显示所定义数目的视频图标，以及3.图标之间留有一些空间，所以可以看到 背景，但每一个图标尽可能的大。例如，元数据定义了在四列和三行中显示12个视频流，其中每一列具有25%的宽度，每一行具有33.3%的 高度，而每一个图标使用其宽度和高度的80%，即其面积的81%，所以 可以看到背景上的每一条边上所剩余的10%。在类似的示例中，不应当 显示背景，但与可用视频流的个数无关地，每一个图标将具有屏幕上 的最大面积。例如，当库中存在两个视频时，每一个视频对显示器享 有相同的面积(直到特定的最小尺寸)，这由附加到背景的元数据动态 地进行控制。作为特殊优点，所述面积定义的相对类型允许进行调整，以分别 适合于所有的显示器尺寸或分辨率。
权利要求
1、一种用于动态地覆盖两个或更多个视频流的方法，其中，元数据与至少一个视频流相关联，所述方法包括步骤-显示作为所述视频流之一的第一视频流；-提取所述元数据；-检测步骤，检测的内容是所提取的元数据定义了怎样覆盖两个或更多个视频流；以及-根据所述元数据所定义的那样，把至少第二视频流覆盖到第一视频流。
2、 根据权利要求l所述的方法，其中，所述元数据包含位置数据， 所述位置数据定义了用于把两个或更多个视频流进行覆盖的显示区 域，所述显示区域与显示器尺寸有关。
3、 根据权利要求1或2所述的方法，其中，所述元数据包含定时 信息，所述定时信息规定了用于把第二视频流覆盖到第一视频流的时 间。
4、 根据权利要求2或3所述的方法，其中，所述元数据包含位置 数据的优先级，而且在发生冲突的情况下，应用具有较高优先级的位 置数据。
5、 根据权利要求2-4中任意一项所述的方法，其中，所述元数据 还包含与元数据相关联的视频流的格式信息、内容信息和/或音频属 性。
6、 根据权利要求1-5中任意一项所述的方法，其中，借助于播放 列表把元数据与视频流进行关联。
7、 根据权利要求1-6中任意一项所述的方法，其中，所述元数据 与第一视频流相关联，而且定义了如何把至少第二视频流覆盖到另一 视频流。
8、 根据权利要求l-6中任意一项所述的方法，其中，所述元数据 与第二视频流相关联，而且定义了如何把第二视频流覆盖到其他流。
9、 根据上述任意一项权利要求所述的方法，其中，所述元数据包含针对第二视频流的缩放信息或透明度信息。
10、 根据上述任意一项权利要求所述的方法，其中，所述元数据 包含针对第二视频流的颜色范围信息、翻转信息和/或旋转信息。
11、 根据上述任意一项权利要求所述的方法，其中，所述元数据 包含特效数据，例如淡入淡出数据，颜色变化数据，帧边界的帧数据， 或对将要使用的重叠方法的指示。
12、 根据权利要求9-ll中任意一项所述的方法，其中，所述元数据仅针对特定的显示类型而定义了所述透明度信息和/或所述特效数 据。
13、 根据上述任意一项权利要求所述的方法，其中，第二视频流 包含差别视频数据，所述差别视频数据在像素级别上改变了第一视频 流的外观。
14、 根据权利要求13所述的方法，其中，所述元数据包含投影信 息，所述方法还包括步骤-产生或接收定义三维模型的数据； -根据所述投影信息，计算三维模型的投影；以及 -把所述投影数据作为差别视频数据包括到第二视频流中。
15、 根据上述任意一项权利要求所述的方法，其中，可以在呈现 时对所述元数据进行修改。
16、 根据上述任意一项权利要求所述的方法，还包括步骤 -检测步骤，所述检测的内容是第二视频流被选择，以及 -基于该检测，自动地增大第二视频流的显示区域。
17、 根据权利要求l所述的方法，其中，所述元数据包含位置数 据、定时数据以及特效数据，而且存在分层，所述分层定义了由所述 定时数据来控制所述位置数据和所述特效元数据。
18、 根据上述任意一项权利要求所述的方法，其中，与第一视频 流相关联的第一元数据指示显示区域的亮度值，而与第二视频流相关 联的第二元数据包含对第二视频流的亮度值指示，所述方法还包括步 骤-基于第一视频流的所述显示区域的所述亮度值以及第二视频流 的亮度值指示，自动地产生位置信息，其中，根据所产生的位置信息 把第二视频流覆盖到第一视频流。
19、 一种用于动态地覆盖两个或更多个视频流的设备，其中，元 数据与至少一个视频流相关联，所述设备包括-用于读取和提取所述元数据的装置；以及-用于覆盖两个或更多个视频流的装置，其中，所提取的元数据 定义了如何覆盖视频流。
20、 根据权利要求19所述的设备，还包括用于根据所提取的元数 据来产生位置数据的装置，所述位置数据定义了用于把至少第二视频 流覆盖到第一视频流的显示区域，其中，所述显示区域与显示器尺寸 有关。
21、 根据权利要求19或20所述的设备，还包括 -用于从所述元数据中提取时间同步信息的装置；以及 -用于执行被覆盖的视频流之间的时间同步的装置，其中，时间同步取决于所述定时同步信息，可以是帧/场精确的或是粗略的。
22、 根据权利要求19-21中任意一项所述的设备，其中，所述元 数据包含投影信息，所述设备还包括-用于接收定义三维模型的数据的装置；-用于根据所述投影信息来计算三维模型的投影的装置；以及 -用于把所述投影数据作为差别视频数据而包括到第二视频流中 的装置。
23、 根据权利要求19-22中任意一项所述的设备，还包括用于在 表现时修改所述元数据的装置。
24、 根据权利要求19-23中任意一项所述的设备，还包括-用于检测的装置，所述的检测的内容是第二视频流被选择；以及-基于所述检测而自动地增大第二视频流的显示区域的装置。
全文摘要
一种用于动态地覆盖两个或更多个视频流的方法和设备，该方法和设备使用专用的元数据，所述元数据附加到至少一个视频流中。
文档编号H04N5/445GK101223778SQ200680026366
公开日2008年7月16日 申请日期2006年7月5日 优先权日2005年7月18日
发明者哈穆特·彼特斯, 安德杰·休佐夫, 德克·加道夫, 拉尔夫·奥斯特曼, 约斯特·仁鲁普, 维·亚森, 马克·温特 申请人:汤姆森许可贸易公司