专利名称：基于附加内容帧的视频内容的自适应再现的制作方法
基于附加内容帧的视频内容的自适应再现
本系统涉及视频显示单元，这些一见频显示单元具有环境照明效果，其
中基于多个图像帧来调整环境光特性。
通过将内容的纵横比从所提供内容的纵横比改变成呈现
(presentation)设备的纵橫比来调整内容呈现的系统是已知的。纵横比 通常是指诸如所再现的(rendered)图像的宽高比的图像轮廓。
例如，16: 9的纵横比已经被广泛采用来作为用于高端电视机的标准 显示器外形，不过大多数电视广播是按照4: 3的纵横比传输的。同时，大 量具有其它的纵横比(例如16: 9、 14: 9等)的图像素材被提供，而该素 材最终以4: 3的纵横比显示在显示设备上。由于这种不匹配，通常会提供 某种形式的纵横比转换。
在一种用于提供4: 3到16: 9转换的系统中，在所显示的内容的侧边 添加黑条，从而提供了所谓的"邮筒(letterbox)"呈现。这种方法没有 提供实际的16: 9结果，而是通常被提供来消除由其它方法引入的图像失 真。在一个替代的系统中，可以通过水平和垂直地伸展内容来放大图像(例 如运动图像帧)，而这种系统导致内容顶部和底部信息的丢失。在另一个实 施例中，内容可能只在水平方向被伸展，而这种系统导致所显示的内容中 的物体失真，从而致使物体形状改变(例如圆形物体变成椭圆形的)。类似 地，可以用不一致的缩放因子来水平伸展所显示的内容，从而使得在所显 示图像的侧边上的物体比所显示图像中心的物体伸展得更多。这种系统为 以很小的失真或者没有失真地显示的中央定位的物体而准备，而当这些物 体从显示器的一部分(例如显示器的中央)移动到显示器的另一部分(例 如显示器的边缘)时，物体将遭遇不同的缩放因子，这是因为它穿过可能 非常分散的(distracting)显示器。作为16: 9内容-比如运动画面内容 出现、为电视呈现而被编辑的内容会使得上述问题恶化。通常，这种内容 是被使用"摇摄-扫描，，技术来提供的，其中，运动画面内容被从运动画 面内容的一侧扫描到运动画面内容的另一侧，从而创建随后将^皮播送的4: 3纵横比内容。在这种"摇撮-扫描，，呈现中，物体不断地从显示器的一 侧移动到另一侧。
通过引用方式被包括在此如同整体地陈述的、授予Klompenhouwer的美国专利/>开物No. 2003/0035482 ( "Klompenhouwer专利")，描述了通过 使用来自先前和/或随后图像的像素来扩展一个给定图像的系统。例如，对 于所提供的具有移动到右侧的全局运动的运动图像，先前图像被使用来将 像素填充到给定图像的左侧，而不会使得给定图像中描绘的物体失真。类 似地，对于存储的内容或者在显示之前的某个时间可用的内容以及运动到 右侧的全局运动，随后的图像可以被使用来将像素填充到给定图像的右侧。 虽然这种系统比现有的解决方案提供了更自然的内容呈现，但是它没有做 什么来增强超出显示设备的内容的呈现。
皇家飞利浦电子N. V.(飞利浦)以及其它公司已经公开了用于改变环 境或者周围照明以便增强用于典型的家庭或者商业应用的视频内容。添加 到视频显示器或者电视机的环境照明已经被证明减少观众的疲劳并且提高 体验的真实性和深度。目前，飞利浦有一系列电视，包括具有环境照明的 平板电视，其中电视机周围的框架包括将环境光投射到支撑电视或者在电 视附近的后墙上的环境光源。此外，与电视分开的光源还可以被使用来产 生扩展超出电视机显示器的环境光。
通过引用方式被包括在此如同整体地陈述的PCT专利申请W0 2004/006570公开了 一种用于基于所显示内容的颜色特性来控制环境 照明效果的系统和设备，所述颜色特征例如是色调、饱和度、亮度、 色彩、场景变化速度、被识别的人物、被检测的情绪等。在运行时， 系统分析所接收的内容，并且可以使用在整个显示器上的内容的分布 -比如平均色彩、或者使用位于靠近显示器边界附近的部分显示内容 来控制环境照明单元。环境照明特性通常使用显示器自身的视频内容 来在每帧的基础上产生环境照明效果，连同时间平均 一起去平滑环境 照明单元的瞬时转变(temporal transition)。在其它系统中，可以 使用照明脚本来与当前描绘的图像配合以产生环境照明效果。虽然这 种系统有效地扩大了所感知图像的尺寸，但是事实上，现有的环境照 明系统通常只是扩大给定内容帧中提供的物体和场景。
本系统的一个目的是克服现有技术的缺点，改善环境照明效果以便 有助于身临其境的观看体验。
本系统提供了用于再现内容的设备和方法。该设备和方法包括分析 内容信号的先前和/或随后的时间部分，以便确定在位置上与内容信号 的当前部分的元素(element)相关的元素。内容信号的当前部分被再现在诸如电视的主(primary)再现设备上，而在位置上与内容信号的 当前部分的元素相关的元素净皮同时再现在副(secondary )再现i史备上。 在一个实施例中，再现在副再现设备上的元素可被以低于内容信号被 再现的当前部分的分辨率来再现。在一个实施例中，内容信号的先前 和随后的时间部分中的至少 一个可被以低于内容信号的分辨率来分 析。
可以以变化的分辨率来再现在副再现设备上再现的元素，其中基于
述变化。在另一个实施例中，可以以基于所再现的元素相对于在主再 现设备上再现的内容信号的位置而确定的分辨率来在副再现设备上再
信号的时间位置而确定的分辨率来再现在副再现设备上再现的元素。
可以使用诸如环境体验数据(AMBX)和补充增强信息(SEI)等与 所确定的元素相关的辅助数据来再现在副再现设备上再现的元素。辅 助数据可以与内容信号相关联，比如与内容信号一起播送或者与内容 信号一起存储。这样，在主再现设备地点处的处理需求可以被减少，
并且/或者与所再现的元素相关的更准确的信息可以被提供。辅助数据 还可以提供信息以帮助确定特征和/或物体在副显示器上的定位。
在一个实施例中，副再现设备可以是环境照明再现设备，元素可以 被再现为环境照明元素。在同一个或者替代实施例中，副再现设备可 以是一个或多个外围再现设备(例如显示器)并且元素可以被再现为 外围图像元素。如这里所使用的，外围再现设备/显示器旨在描述一种 在主再现设备附近的再现设备/显示器。所确定的元素可以^皮基于副再 现设备相对于主再现设备的位置来确定。副再现设备可以包括多个副 显示器。所确定的元素可以被基于每个副再现设备相对于主再现设备 的位置而被确定。所确定的元素可以被基于诸如环境体验数据(AMBX) 和补充增强信息(SEI)等与内容相关联的辅助数据而被确定。
副再现设备可以包括两个或更多个副再现设备，这些副再现设备中 的一个位于主再现设备的一侧(例如之上、之下、左侧、右侧)，这些 副再现设备中的另 一个位于主再现设备的另 一侧。在一个实施例中， 可以分析内容信号的先前和随后的时间部分中的每一个来例如为位于 主再现设备左侧和右侧的副再现设备确定元素。在一个实施例中，在副再现设备上再现的元素可以以比在主再现设备上再现的内容信号慢 的帧速率而一皮再现。
下面描述说明性的实施例，这些实施例将连同附图 一起来说明上面 提及的以及更多的特征和优点。在下面的描述中，为了解释而不是限 制，提出了诸如特定架构、接口、技术等的具体细节，用于进行说明。 不过，对于本领域技术人员来说明显的是，偏离这些具体细节的其它 实施例仍应当被理解为在所附权利要求的范围之内。此外，为了清楚 起见，省略了对于众所周知的设备、电路和方法的详细描述，以免使 得本系统的描述不清楚。
应当清楚地理解附图被包括是用于说明而不是表达本系统的范围。 在附图中，不同的图中相似的参考数字表示相似的元件。
图1表示根据本系统的一个实施例，被配置来增强显示器的观看体
马全的实施例；
图2表示根据本系统的一个实施例的系统的正视图3表示说明根据本发明的一个实施例使用环境照明源的环境照明 系统的细节的俯一见图4表示根据本系统的 一 个实施例的示例性的身临其境的外围照明 系统；以及
图5表示根据本系统的一个实施例的系统。
图1表示本系统的实施例100,该系统被配置来通过在诸如4: 3 纵橫比的显示区域的正常观看区域外创建光图案(light pattern) 120A、 120B来增强显示器110的观看体^r。在这个实施例中，这种增 加的内容不是简单地从屏幕或其一些部分上显示的当前视频内容得出 的，例如象可以通过计算当前视频帧到当前视频图像外部区域的扩展 而应用到现有的环境照明特性中的。在所示出的实施例中，在4: 3纵 横比图像中提供的视频内容(例如视频内容的显示帧)的当前再现被 通过从视频内容的现有和/或随后帧(先于或者相继于当前帧)得出的 扩展图像(例如光图案120A、 120B中的一个或多个)来扩展。视频内 容的现有和/或随后帧可以包括一个或多个现有和/或随后的视频帧。 在一个实施例中，只有现有和/或随后一见频帧的一部分(例如，通常是 诸如特征、物体和/或元素)可以被分析。例如，先前帧的背景特征可以被分析而无需检查整个先前帧。在一个实施例中，可以分析两个或 多个帧部分。根据本系统，可以使用例如两个连续的先前帧部分或者 一个先前部分和一个当前帧部分。在另一个实施例中，当两个帧部分 (例如包括先前帧或随后帧部分中的至少 一个)被分析以便确定光图
案(例如光图案120A)时，这些帧部分不需要是时间连续的，不过在 一个实施例中，这些帧部分可以是时间连续的。才艮据本系统，可以通 过环境照明特性来提供扩展区域130A、 130B中的一个或多个，诸如可 以通过将一个或多个环境照明图像再现(例如投射)到墙上来提供扩 展区域130A、 130B中的一个或多个，该墙从显示器110观看者的观点 看是位于显示器110后面的。当然，可以通过固定于显示器110的一 个或多个再现设备和/或由一个或多个再现设备(例如投影仪)、或者 与显示器110分开的并且有能力来再现(显示和/或投射)光图案120A、 120B中的一个或多个的其它设备来提供光图案120A、120B中的一个或 多个。在一个实施例中，可以由一个或多个显示设备来提供光图案 120A、 120B中的一个或多个。例如，可以由作为环境照明元件才喿作的 两个或多个显示设备来提供光图案120A。类似地，可以由作为环境照 明元件操作的两个或者多个显示设备来提供光图案1"B。
在根据本系统的一个实施例中，光图案120A、 120B中的一个或多 个被以低于所呈现的帧的分辨率提供在显示器110上。例如，扩展区 域130A、 130B中的一个或多个可以由每个扩展区域的20 x 40像素分 辨率来提供。当然，在其它实施例中，可以提供或多或少的分辨率， 应该懂得更高的分辨率通常需要比提供较低分辨率光图案所要求的更 多的处理来辨别光图案。
例如，根据本系统，帧的全局和/或局部运动矢量和/或帧(例如在 前的和/或后续的帧)中描绘的物体可以被确定来根据本系统使用，和 /或可以被确定为系统的其它部分的副产品-诸如可以在运动图像专 家组(MPEG)图像处理期间被使用。对于一个视频图像-其具有在显 示器110 (例如目标140)中提供的图像的(例如像素的背景/优先级 的)全局运动矢量或者当显示器110上提供的视频帧在时间上推进时 向右移动的物体的局部运动矢量，可以从当前在显示器110上示出的 帧前面的、视频内容的一个或多个帧中辨别光图案120A。帧(全局) 和/或物体(局部)的运动矢量的尺寸和扩展区域130A中提供的光图案120A的宽度可以被用来确定检查多少先前帧以便确定光图案120A, 这是很容易理解的。在根据本系统的一个实施例中，对于较大的运动 矢量，可以使用较少的先前帧(例如一个或多个先前帧)来辨别光图 案120A,不过在另一个实施例中，可以检查相同数量的先前帧，而不 管运动矢量的尺寸。例如，在一个实施例中，当运动矢量更大时，可 以在扩展区域130A中提供更大的分辨率。
类似地，在一个视频图像中-其具有在显示器110中提供的图像的 全局运动矢量或者当显示器110上提供的视频帧在时间上推进时向右 侧移动的物体(诸如所描绘的演员150)的局部运动矢量，可以从继续 当前在显示器110上示出的帧的、视频内容的一个或多个帧中辨别光 图案120B。当视频内容的帧在被呈现在显示器110上之前的某个时间 可用时，诸如当内容被本地存储和/或在呈现在显示器110上之前被緩 冲达某个时间时，有助于这一处理。可以使用帧(全局)和/或物体(局 部)的运动矢量的尺寸以及在扩展区域130B中提供的分辨率的宽度来 确定检查多少相继的帧以便确定光图案120B,这是很容易理解的。在 根据本系统的一个实施例中，对于较大的运动矢量，可以使用较少的 相继的帧(例如一个或多个相继的帧)来辨别光图案120B,而在另一 个实施例中，可以检查相同数量的相继的帧，而不管运动矢量的尺寸。 例如，在一个实施例中，当运动矢量较大时，可以在扩展区域130B中 提供更大的分辨率。
当然，如果全局和/局部运动矢量正向左移动，则可以使用一个或 多个前面的帧来辨别扩展区域130B中描述的光图案120B。类似地，对
于向左移动的全局和/或局部运动矢量，可以使用一个或多个相继的帧 来辨别扩展区域130A中描绘的光图案120A。
在这种类型的实施例中，可以基于所确定的运动矢量的大小来动态 确定扩展区域130、 130B中的一个或多个中提供的分辨率。容易理解 的是，扩展区域130A、 130B中示出的图像的精确性会降低，这是因为 用于得出光图案120A、 120B的帧在时间上变得更远离显示器110上显 示的数据帧。此外，扩展区域130A、 130B中示出的图像部分的精确性 会降低，这是因为用于得出光图案120A、 120B的帧的图像部分在物理 上变得远离显示器110上显示的数据帧中示出的当前图像部分。换句 话说，光图案120A、 120B扩展得越远，由此扩展由显示器110上当前显示的帧与扩展区域130A、 130B上正显示的光图案120A、 120B —起 组成的"完整图像"，那么扩展区域130A、 130B的远程区域的精确性 就会降低。因此，术语"物理上和位置上远程，，旨在包括就完整图像 而言位置上更远离当前显示在显示器110上的帧的物体、和/或更远离 显示设备110产生的光图案120A、 120B,这是因为可以使用完整图像 内的接近度和对于显示器110的接近度中的一个或者这二者来确定扩 展区域130A、 130B内再现的内容。为了在某些情况下补偿这种事件， 扩展区域130A、 130B的物理上和/或时间上的远程区域的分辨率会降 低，这是因为扩展区域130A、 130B在物理上和/或时间上变得更远离 显示器110上再现的图像。
在才艮据本系统的一个实施例中，诸如那些在Klompenhouwer专利中 应用的自然运动技术可以被使用来在时间上预测在显示器110上再 现的视频帧之外什么是可见的。自然运动会跟踪场景中的物体，并且 因此当物体移动离开屏幕(例如超出显示器110)时，推断帧外的物体 运动。这样，就可以使用已经被提供的计算来确定提供给扩展区域 130A、 130B的内容，以使得能够平滑自然运动图像。
由于在一个实施例中，扩展区域中提供的图像可能分辨率低，因此 有些模糊，较低的分辨率可以被提供在远程区域(如上所述)中以平 衡为了想隐藏可能的推断的伪像(artifact)而提供的大量细节。在 一个实施例中，以低分辨率执行图像/物体的跟踪、从而跟踪大物体的 模糊版本或者所谓的物体斑点(b 1 ob)可能就足够了 。可以以低的计算 复杂度来执行物体斑点的跟踪，因为这可以在视频内容的缩减版本上 被执行。例如，显示器110上显示的视频内容中的红色小汽车(当它 移动离开屏幕时)可以作为扩展区域中的红色斑点继续。所以辅助显 示器上的数据没必要是来自用于主显示器的图像当前环境的投影的准 确低分辨率版本，而是对于物体和用于背景的全局构造的颜色轮廓， 可以像比拟物体的一般形状(例如椭圆形状)的斑点形状那样简单(在 足球场的例子中，对于较低的一半可以是倾斜的绿草地，以及对于上 半部，见众是暗淡的、可能统计上构造成的浅灰色区域，上面可以叠加 低分辨率的颜色梯度，如果那是实际上近似存在于成像的观众背景中 的话)。注意，对于下面将更详细描述的外围显示器来说，(透视)变 形是可允许的，这是因为视觉是不敏锐的，可能只需要身临其境的感觉而已。因此，容易理解的是，在外围显示器中提供的扩展区域和/或 图像中，透视变形的确定可以被应用到光图案(例如，特征、物体、 背景等)，通常被称作元素。在一个实施例中，背景元素可以没有透视 变形地被呈现，而前景元素(例如汽车、演员等)则在确定元素以提 供透视之后被变形(例如沿着由显示器110开始的一个角度伸展元素
并JU人那里向外发出(emanate ))。
在一个实施例中，其中自然运动方案与光图案120A、 120B的低分 辨率组合，人们可以观察到已移动离开屏幕的物体已经出现在过去的 视频帧中/将出现在未来的视频帧中，因此示出这种离开屏幕的物体类 似于示出过去的/未来的图像内容，或者在一个实施例中，示出至少这 样的孤立的内容/元素的简化近似/模型。因此一种非常低成本的实现 是可能的，其中全局运动模型估算全局运动(从而实现跟踪)，它确定 应该取出在过去(或者将来)中多远的图像以便让扩展图像130A、 130B 中提供的图像基于它们。在这种情况下，确定扩展图像等同于延迟(或 者前移)扩展图像(在很低分辨率的情况下是色彩)，因为它们可以通 过现有的环境照明系统被计算，其中可以通过由全局运动估计器进行 的跟踪来确定延迟/提前量。通过緩存扩展图像而不是原始视频，需要 很少的緩冲，并且可以在基本上不增加现有系统成本的情况下实现这 种特征。
根据本系统的实施例，有利的可能是区分前景(例如前景物体2 5 2 ) 和背景(例如背景物体254 )物体、场景、或者通常是特征(例如利用 诸如基于运动和闭塞(occlusion)的前景/背景检测算法，尽管可能 容易地应用其它的合适的系统)，以便分开地对那些进行跟踪，并且例 如只基于前景或背景特征之一来计算扩展。在另一个实施例中，三维 (3D)信息(例如，根据MPEG-C第三部分标准，以作为额外层传输 的深度图形式)的存在可能有助于识别特征，这些特征是前景和背景， 因此这些特征可以更容易地#1跟踪并且#皮正确地定位在扩展区域中。
根据一个实施例，可以由主显示器硬件来执行扩展区域的处理，其 中所得到的扩展光图案被传送给用于显示扩展光图案的任意的副显示 器区域(例如，显示表面、显示器等)。在另一个实施例中，与主显示 器相同的视频流可以被馈送给用于扩展区域的 一 个或多个处理器，其 中一个或多个处理器中的每一个执行分析(或者它需要的部分)，从而确定其自己用于再现的部分。在一个实施例中，系统的一种特定划分 可以使跟踪和预测部分完全与显示器分开(例如在内容创建侧)，从而 扩展光图案(例如被参数化以允许扩展视觉化的不同大小和形状)与
视频内容一起、例如以环境体验(AMBX)信息(例如脚本、软件引擎、 架构等)的形式和/或以高级视频编码(AVC)标准中的补充增强信息 (SEI )的形式传输。
若干种系统和/或方法可以被用于将扩展图像区域投射/提供到主 显示器的环境中。虽然这里描述了特定的实施例，但是本领域普通技 术人员很容易理解，也可以设想出其它同样落在本系统范围内的实施 例。
在根据本系统的 一 个或多个实施例中，环境再现系统的 一 些部分可
以构建到使用现有环境照明硬件的主显示器(例如主显示器的框 (bezel))中，或者使用例如微型投影仪将现有硬件向更高分辨率扩展。
在一个实施例中，通过显示在主显示区域中当前提供的图像的恰当 扩展(例如代替类似图像侧的当前色彩的色彩)，只有先前描述的处理 需要被添加到现有环境照明电视中来实现本系统。应当指出，本系统 和现有环境照明方案略微不同地跟踪物体，因而在环境照明区域中提 供不同的内容。在红色物体显示在绿色背景的情况下，当红色物体在 现有环境照明电视上移动到屏幕外时， 一 旦红色物体移动到屏幕外， 环境照明就将变绿。在根据本系统的一个实施例中，对应的环境照明 效果(例如在扩展区域130A、 130B之一中产生的)可以往后保持红色 一会儿，从而表示红色物体移动超出主屏幕边界，这依赖于例如物体 上次已知的运动、它移动到屏幕外之后为帧估算的全局运动和/或从基 于物体的运动估计器获得的速度，这在例如通过引用方式被包括在此 如同整体地陈述的下列文章中提供2001年8月的IEEE Transactions on Consumer Electronics ( IEEE消费型电子设备期刊)，第559 - 567 页中7>开的、R. B. Wittebrood和G. de Haan的"Real—Time Recursive Motion Segmentation of Video Data on a Programmable Device (可 编程设备上视频数据的实时递归运动分段)"。根据本系统，示出该屏 幕(例如显示器110)外图像/色彩的时间可以依赖于物体移动的速度 (例如，相关运动矢量的大小，高速=短持续时间)，而根据本系统的一个实施例，即使对于低的速度(例如物体的运动可能还没有将物体 移动到扩展区域之外的速度)，这些色彩(例如可归于红色汽车的)也 可能过一会儿会褪色成一种默认的颜色(例如背景颜色)。容易理解， 在某些实施例中，本系统的褪色可能对于很快离开扩展区域的快速移 动物体来说太慢了 。
现有环境照明系统可能已经由多个光源组成(例如以便提高光输 出，并且在不同侧产生不同的色彩)。通过个别地控制每个光源，并且 例如添加透镜和/或散射体(系统)，低分辨率图像可以被投射到主显 示器周围的环境中(例如显示器110的左、右、上和/或下面)。在进 一步的实施例中，主显示器周围的天花板和/或地板也可以被显示器上 存在的环境照明元件照亮和/或由远离主显示器的环境照明元件提供， 诸如可以由专用的环境照明塔或组合的环境照明设备/扬声器提供。在 一个实施例中，环境照明微型投影仪还可以采用分开的外设的形状(例 如，可按照用户需求放置的独立微型投影仪箱)。可能容易理解的是， 根据本系统，可以使用提供环境照明的其它系统。
图2示出了根据本系统的实施例的系统200的正视图。在一个实施 例中，可以使用显示器210来提供低分辨率环境照明系统，所述显示 器210可以是诸如基于液晶显示器(LCD)的显示器设备。在图2示出 的实施例中，环境照明面板260A、 260B中的一个或多个可以添加给显 示器210。环境照明面板260A、 260B可以作为外接附件被提供(例如 在制造厂中被提供，或者由家庭用户例如经由总线和协议在买后 (aftermarket )进行连接)。在一个实施例中，环境照明面板260A、 260B可以包括诸如微型投影仪的环境光源250、个别的或者成组的发 光二极管(LED)等。在一个实施例中，可以通过控制透镜/散射体系 统240后面的LED的Mx N阵列(例如RGB三元组)的单独的输出来提 供构图的环境照明效果，该透镜/散射体系统240被提供来创建缩放的 低分辨率图片。
在这个实施例中，环境光源250的输出是可配置的。例如，环境光 源250可以一皮定位/重新定位以便选冲奪环境光源照射的区域，例如可以 由定位在显示器210后面/周围的墙或者被定位的反射屏来提供。在一 个实施例中，还可以根据在显示器210与壁角之间形成的角度来手动 和/或自动地调整透镜240来用于墙的投射。例如，在一个实施例中，微型投影仪可以被操作来附加到显示器上以便绕着垂直线可旋转。在
一个自动调整的实施例中，环境光面板260A、 260B可以包含照相4几和 /或其它系统用来确定显示器210与上面提供有环境照明效果的表面之 间构成的角度，从而自动调整环境光源250的角度，以便提供扩展区 域230A、 230B。
根据本系统的 一 个实施例，视频内容的背景部分可以被分割成同类 的区域斑点，诸如物体斑点270 (例如在相对均匀的蓝色背景上的树)。 可以使用许多合适的分割算法，例如基于色彩和/或紋理。在一个实施 例中，可以用诸如元数据和/或其它辅助数据的更高场景描述信息来指 导分割模型。在另一个实施例中，这个近似背景图案可以在显示器210 的任一侧被重复(例如作为低分辨率周期的或者统计组织的图案)，和 /或通过在扩展区域230A、 230B中的一个或二者中提供的给定环境照 明效果的不同部分来重复。这样，可以例如只为扩展区域的一部分辨 别特征和/或物体信息，并且例如可以以扩展区域230A、 230B的规则 的和/或不规则的间隔来重复所辨别的背景信息。根据 一个实施例，SEI 消息可以包括数据来通过识别背景和前景物体来指导分割，其可被用 于提供分割指导以便获取合适的斑点。在另一个实施例中，分割可以 被自动执行，这是因为周围的图像可以是相对低分辨率的图像。在另 一个使用微型投影仪的实施例中，可以提供更高容量的环境照明成像。 微型投影仪可以沿着环境照明面板260A、 260B的实体部分延伸以便于 所再现的图像/内容的扩展。
图3示出了说明根据本系统的一个实施例、使用环境光源350的环 境照明系统300的细节的俯一见图。举例来说，环境光源350可以包括 一个或多个两维(2D, MxN) LED阵列或者可以包括一个或多个微型投 影仪。正如从定位在显示器310前面的^L点302所示出的，框3U祐L 提供，其实质上对观看者的有利位置(即视点302 )隐藏了系统300 的一些部分。诸如散射(微型)透镜的透镜(系统)340可以被提供来 引导由环境光源350产生的散射的环境照明效果，被示出为辐射的环 境光推体342。在根据本系统的一个实施例中，可以例如是按照环境光 源的每个像素列来产生辐射的光推体。由环境光源350和透镜"0的 组合所产生的环境照明效果在所说明的实施例中从墙380反射开。当 然，在另一个实施例中，环境光源350可以与显示器310分开^L提供，例如由可操作地耦合到显示器310或者至少是耦合到显示在显示器
310上的内容的源的单独投影设备或者微型投影设备来提供。
图4示出了根据本系统的 一 个实施例的说明性的身临其境的外围照 明系统400。在示出的实施例中，说明性地示为外围显示器412A、 412B、 412C、 412D的单独的副再现设备可以被使用来提供超出说明性地示为 显示器410的主再现设备的多个扩展图像。在一个实施例中，单独的 外围显示器412A、 412B、 412C、 412D中的每一个可以由诸如单独的微 型投影仪的单独的照明系统来照明，以便为用户提供身临其境的观看 体验。在一个替代实施例中，外围显示器412A、 412B、 412C、 412D中 的 一个或多个可以提供与投影系统无关的图像。单独的外围显示器 412A、 412B、 412C、 412D可以定位在一个观看者观看点(perspective ) 480周围，诸如在家庭健康方案中由健身自行车所提供的。在另一个实 施例中，用户可被提供以身临其境的玩视频游戏的环境。
容易理解，虽然副再现设备被说明性地示为在主再现设备的左侧和 右侧之间相等地间隔和分开，但是这纯粹是为了说明本系统而示出的。 容易理解，副再现设备不需要对称地分布在主再现设备的左右。实际 上，副再现设备可以以用户所希望的任何方式来定位和分散开。在另 一个实施例中，副再现设备中的一个或多个可以定位在主再现设备的 上面和/或下面。在同一个或者另一个实施例中，在主再现设备的一侧 可以定位有比主再现设备的另 一侧更多的副再现设备。如果希望的话， 副再现设备可以被放置在主再现设备的一侧(上、下、左、右)，而主 再现设备的另一侧被排除。根据本系统，还可以使用更多或者更少的 副再现设备。
在所示出的实施例中，在主显示器(例如等离子体显示面板(PDP)) 上为用户提供内容(例如视频)，并且可以为外围显示器41H、 4UB、 412C、 412D提供、导出辅助内容等。在这个实施例中，由于外围显示 器412A、 412B、 412C、 412D将主要以用户的周边一见觉观看，因此外围 显示器412A、 412B、 412C、 412D可以是相对〗氐分辨率的，不过也可以 提供更高分辨率的显示器，而所再现的内容应当(例如在位置上、时 间上等)与主显示器上提供的内容相关。
在一个较小的房间中，外围显示器412A、 4UB、 4UC、 4UD可以 固定到环绕观看者观看点的墙上。无论如何，外围显示器412A、 412B、412C、 412D都应当可操作地被定位(例如足够靠近观看者观看点480 来定位)，以便为用户再现外围视图。在一个替代实施例中，外围显示 器4UA、 412B、 412C、 412D可以固定到其中提供了身临其境的外围照 明系统400的房间的天花板上。在一个实施例中，可以提供吊线板490 以便于外围显示器412A、 412B、 412C、 412D的定位。面板可以被永久 地定位，或者也可以-故配置来4吏得能够在外围显示器412A、412B、412C、 412 D不被使用时定位成不阻挡通过房间的交通。
根据一个实施例，可以例如通过使用钩子和紧固件附着系统(例如 Velcro )来将外围显示器412A、 412B、 412C、 412D附着在围绕观看 者观看点480 (例如围绕椅子或家庭教练器)的期望位置中，从而使得 能简单附着/分离以及布置。在一个实施例中，可以为外围显示器412A、 412B、 412C、 412D提供旋转机构，诸如外围显示器412C、 412D上说明 性地示出的旋转机构412C、 412D。当然，可以按照需要将旋转机构隐 藏在天花板中。在这个实施例中，旋转机构使得能够在不被需要时， 将外围显示器4UC、 "M容易地巻起、不挡道，或者在希望使用外围 显示器412C、 412D时，使它们落下。在一个替代实施例中，可以利用 诸如说明性地附于外围显示器412A、 412B上的4交接机构416A、 416B 这样的铰接机构将外围显示器附于天花板上。在这个实施例中，铰接 机构416A、 416B使得外围显示器412A、 412B在不被使用时朝向天花 板旋转收起，或者当希望使用外围显示器412A、 412B时，将它们旋转 放下。当然，其它用于安置外围显示器412A、 412B、 412C、 412D的系 统也可以适当地被应用并且甚至当希望使用身临其境的外围照明系统 400时可以;故自动4b。
根据这个实施例，身临其境的外围照明系统400可以分析显示器 410上提供的内容(例如基于内容的先前和后续帧)并且产生基本上与 内容的先前和/或后续帧中提供的特征和物体相 一 致的区域或者斑点。 在根据本系统的一个实施例中，身临其境的环境照明系统400可能还 分析当前内容、或者代替内容的其它帧来分析当前内容，以便确定恰 当的特;f正和斑点。
例如，前景汽车物体450可以被分割(例如使用3D深度图，其它 额外数据，和/或自动地从内容本身)并且可以作为沿一个或多个外围 显示器的模糊斑点而继续其路径。此外，背景特征(例如车行道)和物体(例如树木)可以类似地-故描绘在一个或多个外围显示器412A、 412B、 412C、 412D上。例如，在一个用于产生外围图像信息的算法的 简单变体中，经过/越过的树木可以由简单的低频时空光调制来仿效， 从而与主要显示器图像中的树木信息(例如周期性)相关。(类似的系 统可以-故应用于环境元素。)在一个实施例中，作为进一步继续进入到 用户的周边视觉中的特征和/或物体来提供的特征和/或物体的细节
(例如分辨率)可能减少，以便降低对于确定特征和/或物体的分析需 求，和/或减少不希望的图像伪像。例如，当汽车物体450从外围显示 器412C继续进行到外围显示器412D时，汽车物体450可从汽车物体
(例如按步骤或者逐渐)改变成汽车斑点，或者汽车物体图像的分辨 率可简单地被降低。外围显示器412A、 412B、 412C、 412D中的每一个 提供的细节中的类似降低可以当特征和/或物体进一步移动到观看者 的外围视野中时被降低(例如对于外围显示器412A、 412B从右到左， 对于外围显示器412C、 412D从左到右)。在一个实施例中，可以使外 围显示器412B、 412C能够提供比外围显示器412A、 412D高的分辨率。 这样，比起外围显示器412B、 412C所用的，可能可以将更便宜的显示 器用于外围显示器412A、 412D,从而使得能够降低身临其境的外围照 明系统400的成本。
根据本发明的一个实施例，身临其境的外围照明系统400 (和/或具 有环境照明元件的环境照明系统)可以被提供以外围显示器412A、 412B、 412C、 412D的细节，以使得能够正确地确定呈现在外围显示器 412A、 412B、 412C、 412D上的特征和/或物体。例如，在一个实施例中， 与显示器410相比，外围显示器412A、 412B、 412C、 412D的尺寸可以 被提供用于确定在外围显示器412A、 412B、 412C、 412D上描绘/再现 的特征和/或物体(例如用于继续汽车450的路径)。还可以提供其它 参数来使得能够确定恰当的特征和/或物体、定位和/或它(们)的分 辨率。根据一个实施例，诸如显示器分辨率、最大刷新速率、通信耦 合的形式(例如有线、无线、光等)的外围显示器的显示能力也可以 被手动和/或自动传送到本系统以便使得能够操作。例如，对于所具有 的最大刷新速率小于主显示器的刷新速率的外围显示器来说，外围显 示器上提供的特征和/或物体的刷新速率可以适当地被调整以便为较 低的刷新速率做准备。例如，可以对于在主显示器上更新的每两个或更多的帧只更新 一 次在外围显示器上提供的帧。类似的调整可以被提 供用于环境照明效果。这可以有一个额外的好处，就是减少对于提供 环境和/或外围效果的计算需求。
在一个实施例中，在其中辅助数据被提供的情况下(例如，AMBX、 AVC的SEI等)，辅助数据可以被用于确定提供给副再现设备处的特征 和/或物体。在这个实施例中，辅助数据可以减少在主显示器的位置的 处理需求和/或可以被用于提供对于提供给副再现设备的特征和/或物 体的精确确定。此外，辅助数据可以便于在外围显示器412A、 412B、 412C、 412D上的特征、物体(例如详细的和/或斑点)的最佳定位，其 可能是依赖于配置的。例如，在其中三个外围显示器被提供在任意一 侧、在角度X上扩展的配置中， 一个物体-诸如一条龙，如果它在中 间的外围显示器、例如以特定的所确定角度(例如角度Y)被示出，或 者大大"高于"用户被投射到天花板上，则可能看起来更可怕。对于 同样的内容，在具有两个外围显示器的配置中，本系统的实施例可以 例如使用辅助数据来得出对于龙的最佳描绘是例如以角度Z在第二 面(pane )上。
下面是辅助信号可如何通过参数来规定物体的位置的例子 规则可以是例如
在左侧可显示的扩展的中途(halfway ),或
更复杂的规则，规定在主显示器外面的百分比(例如，根据主显 示器的尺寸和分辨率/平面形状，但是也根据什么能够被显示在侧面 板上(和/或由环境照明系统)；和/或
一个或多个用于不同的副显示器配置的校正规则，例如，如果有 三个侧面板存在和/或环绕用户的角度大于例如70或110度，则被 确定为大约在中途的元素可以例如;故重写到三分之二 (例如以便放 置在中间的侧面板上)。 在一个实施例中，局部的显示系统知道它的几何形状(例如面板布 置、位置)，因为用户已经通过使用在本系统的一个实施例中提供的恰 当用户接口 、在经家中配置之后粗略地测量和输入了 2米高和50厘米 宽的显示区域、距离主显示器最左侧50厘米(或者系统自动配置，诸 如面板经由所包含的定位装置将尺寸和位置信息传送到系统)。在另一 个实施例中，系统可以包括用于识别面板的尺寸和/或位置信息的视觉系统。
然后，系统可以应用一个映射来将物体显示为接近轮廓(profile) (例如在创作侧由内容艺术家为了获得最大化影响而提供的)中所指 示的。例如，系统可以计算在给定时间t对于汽车物体，在中途定 位是对应于在第一个左外围显示器上的像素位置(1250， 999 )。
当然，才艮据一个实施例，系统可以忽略或校正所建议的/所提供的 轮廓并且应用局部轮廓和/或由用户提供的轮廓。
此外，尽管在一个简化的版本中，根据一个实施例的系统可能仅在 最明显可提取的物体(例如经过前景物体/元素的一个大物体/元素) 上使用这种定位，但是，当然可能将有任何复杂度和/或多种复杂度的 指导数据与(例如被包括在广播信号中的)内容相关联，从连同某背 景数据 一起投射到外围的粗略框开始，到给定以特定方式从所有接收 的图像中可提取什么的情况下有关物体应当如何显现的非常准确的描 述，和/或包括辅助校正数据(例如，对于龙移动通过外围显示器时它 喷出的火焰，甚至是在这种额外数据绝对不会在图像组中的情况下)。 因此，辅助数据甚至可以补充可从内容(例如图像帧)中确定的数据， 并且提供附加数据以便添加元素和/或补充到元素以便将另外的值添 加到被使能来再现附加数据的系统。
在才艮据本系统的一个实施例中，辅助数据还可以包括一见频数据或用
于校正/改善预测的视频数据的数据。例如，根据本系统的一个实施例， 背景树可以被非常简单地总结为亮-暗(例如绿色)过渡，从而简化 模拟在树下开车的阴影波动图案所需要的处理。这种模拟可以通过跟 踪图像的区域而被执行(例如基于分割统计)。
外围显示器的 一个或多个可以乂人光子学纺织品(phot oni c t ext i 1 e ) 来制造，诸如用可从皇家飞利浦电子N. V.获得的L蘭aliveTM光子学纺 织品来制造。光子学纺织品被配置来发出图像，诸如低分辨率图像， 因此可以用作外围显示器中的一个或多个。在一个实施例中，光子学 纺织品可以用作外围显示器的一个或多个，并且还可以用于其它用途。 例如，当根据实施例的系统可操作时，位于房间中的用光子学纺织品 制造的窗帘可以经由诸如网络连接(例如有线、无线、光等)的耦合 来链接并且同步到主显示器(例如显示器41 0 )。当系统没有在操作时， 光子学纺织品可以是不活动的，或者可以自主或者受控来显示其它图像。当然，容易理解，本系统的显示器的任何一个或多个可以类似地 操作，而不管显示器是否是由光子学纺织品制造的。
在一个实施例中，显示器(例如环境照明显示器、外围显示器等)
中的一个或多个可以被制造为电子墨水(e-ink)显示器或其它反射型 显示器。这种例如作为外围显示器使用的显示器可以采取e-ink壁纸 的形式。根据本系统，当系统可操作时，e-ink壁纸可以显示图像，并 且当系统不可操作时，可以显示其它图像，诸如壁纸图案。在一个实 施例中，e-ink照片帧和/或更大的帧可以作为一个或多个环境和/或外 围显示器来操作。当不被主显示器控制来作为外围显示器操作时，帧 可以示出油画和/或图片。才艮据本系统的一个实施例，可以以比主显示 设备低的分辨率和低的刷新速率等来提供扩展图像，正如由显示器的 显示性能确定的。
可以使用其它联网的图像源-诸如照片帧等，来作为外围显示器和 /或环境照明源。联网的图像源可以通过自识别和/或自动查询系统而 被自动添加到系统以便识别联网图像源的可用性和性能以及联网图像 源的相对定位。这样，额外的图像和/或环境照明源可以被添加到系统 或者从系统中清除，而无需麻烦的设置过程。在一个替代实施例中， 可以执行一个一次设置过程，其中规定了显示特性、位置等。然后， 主显示器可以自动链接到副显示器(例如外围显示器、环境照明显示 器等)以便在需要时提供外围和/或环境照明效果。在一个实施例中， 引入显示设备和/或具有显示器的设备和/或在系统的 一个区域内的照 明性能会启动在主显示器和/或设备上产生一个用户接口 ，以便使得能 够将设备注册为现有的环境照明和/或外围成像系统的 一部分。在一个 实施例中，环境和外围照明效果的组合可以4皮提供，其中效果的一部 分被提供作为环境照明效果，以及效果的 一部分可以被提供为外围效 果。在另一个变体中，根据本系统，副显示器还可以具有产生环境照 明效果的能力。当然，根据本系统，其它组合也可以是很容易应用的。
在根据本系统的 一个实施例中，在内容扩展到外围和/或环境设备 期间，可能会出现伪像，这例如归因于在应用时的全局/局部运动^t型 的精确性的限制，这会使由外围和/或环境设备描绘的物体的分辨率、 质量和/或位置降级。因此，可能希望被确定用于外围和/或环境设备 的所有的"扩展数据"(例如用于驱动外围和/或环境照明设备的数据)都具有有限的时间持续性(persistence), 乂人而有助于数据的某种程 度的精确性。在一个实施例中，可以通过使用扩展数据的至少一部分 以及诸如从当前描绘的内容帧中取得的数据这样的"典型的环境照明 数据，，来实现后退情节，用于驱动副设备。例如，在一个实施例中， 从时间上靠近当前帧的帧中确定的扩展数据主要被用于确定由外围和 /或环境设备在典型的环境照明数据上再现什么。不过，由于扩展数据 的一个特定部分在时间上更加远离(老于)主显示器中当前描绘的数 据(特征、物体、背景、前景等)，所以典型的环境照明数据可以被逐 渐用于例如通过递归过滤系统来替换变老的扩展数据。如果典型的环 境照明数据不可用，则还可以使用缺省的色彩和/或照明。可以逐个特 征和逐个物体地执行由副设备再现什么的这种替换。例如，甚至由单 个扩展设备提供的扩展数据的一些部分也可能比扩展数据的其它部分 "更新鲜"。因此，在根据本系统的一个实施例中，可以逐个特征和逐 个物体地执行这种替代过程。此外，如果检测的场景发生变化，其中 内容的在前部分的描绘部分由于场景变化而不再合适，则外围照明系 统和/或环境照明系统可以使用主显示器上当前描绘的内容和/或缺省 色彩(例如强度、色调、饱和度等)和/或照明来为副再现设备确定内 谷。
图5示出了根据本系统的一个实施例的系统500。该系统具有处理 器51Q,其可操作地耦合到存储器520、主再现设备530、 一个或多个 副再现设备540和输入/输出(1/0)设备570。这里所使用的术语"再 现设备"旨在涉及任何可以根据本系统再现内容的设备。因此，主再 现设备可以是诸如电视设备这样的视频显示设备，而副再现设备可以 是诸如环境照明设备和/或外围再现设备这样的设备。存储器520可以 是任何类型的用于存储应用数据以及诸如内容帧数据这样的其它数据 的设备。应用数据和诸如特征和物体数据这样的其它数据由处理器51 0 接收用于配置处理器510来执行根据本系统的操作动作。根据本系统， 操作动作包括控制显示器530中的至少一个来显示内容并且控制副再 现设备。输入/输出570可以包括键盘、鼠标或其它设备，包括触敏显 示器，它可以是独立的或者是系统的一部分，例如个人计算机、个人 数字助理的一部分，也可以是诸如电一见才几这样的显示设备，经由诸如 有线或者无线链路这样的任何类型的链路与处理器510通信。无疑，处理器510、存储器520、主再现设备53Q、副再现设备540和/或I/O 设备570可以全部或者部分作为诸如基于电视的内容再现设备这样的 电一见平台的一部分。
本系统的方法特别适合由计算机软件程序来执行，这种计算机软件 程序优选地含有对应于所述方法的个别的步骤或动作的模块。这种软 件当然可以被嵌入在计算机可读介质中，该介质例如是集成芯片、外 围设备或者存储器，诸如存储器520或其它耦合到处理器510的存储 器。
计算机可读介质和/或存储器520可以是任何可记录介质(例如 RAM、 ROM、可移动存储器、CD-ROM、硬盘驱动器、DVD、软盘或者存 储卡)或者可以是传输介质(例如包括光纤、万维网、电缆和/或无线 信道的网络，所述无线信道例如使用时分多址接入、码分多址接入或 其它射频信道)。任何能够存储和/或提供适合供计算机系统使用的信 息的已知或者被开发的介质都可以被用作计算机可读介质和/或存储 器520。
还可以使用附加的存储器。计算机可读介质、存储器520和/或任 何其它的存储器可以是长期、短期或者长期和短期存储器的组合。这 些存储器可以配置处理器510来实现这里公开的方法、操作动作和功 能。存储器可以是分布式的或者本地的，处理器510-这里附加的处理 器也可以被提供-也可以是分布式的，例如基于在主再现设备、和/或 一个或多个副再现设备中，或者也可以是单数的。存储器可以被实现 为电、磁或光存储器或者这些或其它类型存储设备的任何组合。此外， 术语"存储器"应当被解释得足够广义，以便包含能够从处理器访问 的可寻址空间中的地址读出的任何信息或者向该地址写入的任何信 息。利用这个定义，例如网络上的信息也在存储器520中，这是因为 处理器510可以从网络中检索信息以便根据本系统操作。
处理器510和存储器520可以是任何类型的处理器/控制器、微控 制器和/或存储器。处理器510能够响应于来自1/0设备570的输入信 号而提供控制信号和/或执行操作并且执行存储器52G中存储的指令。 处理器510可以是应用特定的或者通用的集成电路。此外，处理器510 可以是用于根据本系统执行的专用的处理器，或者可以是通用处理器， 其中许多功能中的仅一个功能操作来根据本系统执行。处理器510可以使用程序部分、多个程序段来操作，或者可以是使用专用或多用途 集成电路的硬件设备。
当然，应当理解，根据本系统，上述实施例或者过程中的任何一个 都可以与一个或多个其它实施例或过程组合。例如，尽管在这里是相 对于环境照明系统或外围图像系统描述了某些系统、算法、技术，但 是容易理解的是，这些中的许多都可以应用在任何一个系统和/或一个 组合的系统中。
最后，上面的讨论旨在只是说明本系统，不应当被理解为使所附的 权利要求限于任何特定的实施例或者实施例组。因此，虽然已经参考 其具体的示范实施例特别地描述了本系统，但是还应当理解，在不偏 离后面的权利要求中提出的本系统的更宽和预期的精神和范围的情况 下，本领域普通技术人员可以设计大量的修改和替代实施例。例如， 虽然在说明性的讨论中，环境照明元件和外围再现设备被说明为物理 上与主显示设备分开的设备，但是这并不是旨在限制，除非特别指出。 例如，在一个实施例中，主再现设备(例如主显示器)和副再现设备 表示单个再现设备的一些部分。在这个实施例中，再现设备可以是大 型再现设备，例如形成为基于墙的显示器的一部分。在这个实施例中， 再现设备的不同部分可以作为主和副再现设备操作。进一 步的修改也 被预期在本系统的范围内。因此，应当以说明性的方式来看待说明书 和附图，它们并非是打算来限制所附权利要求的范围。
在解释所附的权利要求书时，应当理解
的其它元素或动作的存在；
b) 在元素之前的词语"一个"并不排除多个这种元素的存在；
c) 权利要求书中的任何附图标记都不会限制它们的范围；
d) 若干"装置"可以由相同的项目或硬件或软件实现的结构或功 能来表示；
e) 任何所公开的元件都可以由硬件部分(例如包括分立和集成电 子电路)、软件部分(例如计算机程序设计)以及它们的组合 来构成；
f) 硬件部分可以由模拟和数字部分中的一个或者二者来构成；
g) 任何所公开的设备或其各部分可以被组合在一起或者被分成更多的部分，除非另外特别指出；以及 h) 不打算要求动作或者步骤的具体顺序，除非特别指出。
权利要求
1. 一种再现图像内容的方法，该方法包括步骤分析内容信号的先前和随后的时间部分中的至少一个，以便确定与内容信号的当前部分的主元素相关的副元素；在主再现设备上再现内容信号的当前部分；以及与内容信号当前部分的再现同时地在副再现设备上再现与内容信号的当前部分的主元素相关的副元素。
2. 权利要求1的方法，其中再现副元素的动作包括以比所再现的内容信 号的当前部分低的分辨率来再现副元素的动作。
3. 权利要求1的方法，其中以比内容信号低的分辨率来执行分析内容信 号的先前和随后的时间部分中的至少一个的动作。
4. 权利要求1的方法，其中再现副元素的动作包括以变化的分辨率再现信号的空间和时间位置中的至少 一 个来确定所述变化。
5. 权利要求1的方法，其中再现副元素的动作包括以基于所再现的副元 素相对于在主再现设备上再现的内容信号的位置而确定的分辨率来再现副元 素的动作。
6. 权利要求5的方法，其中再现副元素的动作包括以基于所再现的副元 素相对于在主再现设备上再现的内容信号的时间位置而确定的分辨率来再现 副元素的动"f卡。
7. 权利要求1的方法，其中分析动作包括产生与所确定的副元素相关的 辅助数据并且将辅助数据与内容信号相关联的动作，其中使用辅助数据来执 行再现副元素的动作。
8. 权利要求7的方法，其中在辅助内容信号中的图像数据的数据标准框 架中描述辅助数据。
9. 权利要求8的方法，其中辅助数据由环境体验数据(AMBX)和补充 增强信息(SEI)之一构成。
10. 权利要求1的方法，其中再现副元素的动作包括将副元素作为 环境照明元素再现的动作。
11. 权利要求1的方法，其中再现副元素的动作包括将副元素作为 外围图像元素再现的动作。
12. 权利要求1的方法，其中分析动作包括基于副再现设备相对于 主再现设备的位置来确定副元素的动作。
13. 权利要求1的方法，其中分析动作包括基于多个副再现设备中 的每一个相对于主再现设备的位置来确定副元素的动作。
14. 权利要求1的方法，其中分析动作包括基于与图像内容相关联 的辅助数据来确定副元素的动作。
15. 权利要求14的方法，其中辅助数据由环境体验数据(AMBX)和 补充增强信息(SEI)之一构成。
16. 权利要求14的方法，其中分析动作包括基于多个副再现设备中 的每一个相对于主再现设备的位置来确定副元素的动作。
17. 权利要求1的方法，其中再现副元素的动作包括为定位于主再 现设备一侧的多个副再现设备中的一个以及定位于主再现设备的另一 侧的多个副再现设备中的另 一个再现副元素的动作。
18. 权利要求17的方法，其中分析动作包括分析内容信号的先前和 随后的时间部分中的每 一 个以便确定副元素的动作。
19. 权利要求1的方法，其中再现副元素的动作包括以比所再现的内容信号低的帧速率来再现副元素的动作。
20. 权利要求1的方法，其中通过运动和几何关系中的至少一个将 副元素与内容信号的当前部分相关。
21. 权利要求20的方法，其中利用运动分析来跟踪在某个时刻出现 在主再现设备上的至少一个子区域以便确定在副再现设备上再现的至 少一个元素。
22. 权利要求21的方法，其中基于在为主再现设备再现的图像内容 中运动的继续来执行运动分析。
23.权利要求21的方法，其中运动分析是从内容信号的当前部分中 识别的运动到副再现设备的几何定位的投影。
24. 权利要求1的方法，其中几何定位包括副再现设备相对于主再 现设备的位置以及在主和副再现设备上再现的内容大小的比率中的至少""""个。
25. —种包含在被配置来再现图像内容的计算机可读介质上的应 用，该应用包^^:被配置来分析内容信号的先前和随后的时间部分中的至少一个的程序部分，以便确定与内容信号的当前部分在空间和时间的至少 一个上相关的元素； 被配置来在主再现设备上再现内容信号的当前部分的程序部分；以及 被配置来与内容信号当前部分的再现同时地在副再现设备上再现与内容信号的当前部分相关的元素的程序部分。
26. 权利要求25的应用，其中被配置来再现元素的程序部分被配置成以 比所再现的内容信号的当前部分低的分辨率来再现元素。
27. 权利要求25的应用，其中被配置来分析内容信号的先前和随后的时 间部分中的至少一个的程序部分被配置成以比内容信号低的分辨率来分析先 前和随后的时间部分中的至少 一个。
28. 权利要求25的应用，其中被配置来再现元素的程序部分被配置成以 变化的分辨率再现元素，其中基于所再现的元素相对于在主再现设备上再现 的内容信号的位置来确定所述变化。
29. 权利要求25的应用，其中被配置来再现元素的程序部分被配置成以 基于所再现的元素相对于在主再现设备上再现的内容信号的位置而确定的分 辨率来再现元素。
30. 权利要求29的应用，其中被配置来再现元素的程序部分被配置成以 基于所再现的元素相对于主再现设备上再现的内容信号的时间位置而确定的 分辨率来再现元素。
31. 权利要求25的应用，其中被配置来分析的程序部分被配置成产生与置来再现元素的程序部分被配置成使用辅助数据。
32. 权利要求31的应用，其中辅助数据由环境体验数据(AMBX)和补 充增强信息(SEI)之一构成。
33. 权利要求25的应用，其中被配置来再现元素的程序部分被配置 成将元素作为环境照明元素再现。
34. 权利要求25的应用，其中被配置来再现元素的程序部分被配置 成将元素作为外围图像元素再现。
35. 权利要求25的应用，其中被配置来再现元素的程序部分被配置 成基于副再现设备相对于主再现设备的位置来再现元素。
36. 权利要求25的应用，其中被配置来再现元素的程序部分被配置成基于多个副再现设备中的每一个相对于主再现设备的位置来再现元素。
37. 权利要求25的应用，其中被配置来再现元素的程序部分被配置成基于与内容相关联的辅助数据来再现元素。
38. 权利要求37的应用，其中被配置来再现元素的程序部分被配置 成基于作为环境体验数据(AMBX)和补充增强信息(SEI)之一的辅助 数据来再现元素。
39. 权利要求37的应用，其中被配置来再现元素的程序部分被配置 成基于多个副再现设备中的每一个相对于主再现设备的位置来再现元 素。
40. 权利要求25的应用，其中被配置来再现元素的程序部分#:配置 成为定位于主再现设备一侧的多个副再现设备中的一个以及定位于主 再现设备的另 一侧的多个副再现设备中的另 一个而再现元素.
41. 权利要求40的应用，其中被配置来分析的程序部分被配置成分 析内容信号的先前和随后的时间部分中的每一个以便确定元素。
42. 权利要求25的应用，其中#:配置来再现元素的程序部分#:配置成以比所再现的内容信号低的帧速率来再现元素。
43. —种用于在主和副再现设备中的每一个上再现图像内容的处理 器(510),该处理器(510)包括被配置来可操作地耦合到主和副再现 设备(5 30, 540 )中的每一个的耦连，其中处理器(510)被配置成分析内容信号的先前和随后的时间部分中的至少 一 个，以便确定在位置 上与内容信号的当前部分相关的元素；提供内容信号的当前部分用于在主再现设备(530 )上再现；以及 提供在位置上与内容信号的当前部分相关的元素用于与内容信号当前部 分的再现同时地在副再现设备(540 )上再现。
44. 权利要求43的处理器(510),其中处理器(510)被配置成以比所提 供的内容信号的当前部分更低的分辨率和更低的帧速率中的至少一个来提供 元素。
45. 权利要求43的处理器(510)，其中处理器(510):帔配置成以比内容 信号低的分辨率来分析先前和随后的时间部分中的至少一个。
46. 权利要求43的处理器(510)，其中处理器(510)被配置成以变化的分辨率提供元素，其中基于所提供的元素相对于被提供来在主再现设备(530 ) 上再现的内容信号的位置来确定所述变化。
47. 权利要求43的处理器(510)，其中处理器(510)被配置成以基于所而确定的分辨率提供元素。
48. 权利要求47的处理器(510)，其中处理器(510)被配置成以基于所 提供的元素相对于被提供用于在主再现设备(530 )上再现的内容信号的时间 位置而确定的分辨率提供元素。
49. 权利要求43的处理器(510)，其中处理器(510)被配置成使用与内 容信号相关联并且与所确定的元素相关的辅助数据来提供元素。
50. 权利要求49的处理器(510 )，其中辅助数据由环境体验数据(AMBX ) 和补充增强信息(SEI)之一构成。
51. 权利要求43的处理器(510),其中处理器(510)被配置成将元素作为环境照明元素和外围图像元素中的至少一个来提供。
52. 权利要求51的处理器(510)，包括副再现设备(540 )，其中处理器 (510)被配置成将元素作为环境照明元素来提供，其中副再现设备(540 )包括发光二极管阵列和微微投影仪中的至少一个。
53. 权利要求43的处理器(510)，其中处理器(510)被配置成基于副再 现设备(540 )相对于主再现设备(530 )的位置来提供元素。
54. 权利要求43的处理器(510),包括副再现设备(540 )，其中副再现 设备(540 )包括多个副再现设备(540 )，并且其中处理器(510)被配置成 基于多个副再现设备(540 )中的每一个相对于主再现设备(530 )的位置来 提供元素。
55. 权利要求43的处理器(510)，其中处理器(510)被配置成基于与内 容相关联的、作为环境体验数据(AMBX)和补充增强信息(SEI)之一的 辅助数据来提供元素。
56. 权利要求55的处理器(510)，包括副再现设备(540 )，其中副再现 设备(540 )包括多个副再现设备(540 ),并且其中处理器(510)被配置成 基于副再现设备(540 )中的每一个相对于主再现设备(530 )的位置来提供 元素。
57. 权利要求43的处理器(510)，包括多个副再现设备(540 ),其中处理器(510)被配置成为定位于主再现设备(530) —侧的多个副再现设 备中的一个以及定位于主再现设备(530 )的另一侧的多个副再现设备 (540 )中的另一个而再现元素。
58. 权利要求43的处理器(510)，其中处理器(510)被配置成基于所和时间位置中的至少一个来确定元素。
59. —种嵌入在传输流中的辅助图像信号，用于使得能够再现与主图像相 关的副图像，其中辅助图像信号被安排来描述适合于从主显示器继续到副再 现设备的元素，其中辅助图像信号包括定位轮廓，使得能够在多个时刻、在 副再现设备上定位元素。
60. 权利要求60的辅助图像信号，其中辅助图像信号将元素识别为前景 和背景物体之一。
61. 权利要求60的辅助图像信号，其中定位轮廓包括用于元素的边界像 素的参数位置函数。
62. 权利要求62的辅助图像信号，其中参数位置函数包括用于元素的边界框描述。
63. 权利要求60的辅助图像信号，其中辅助图像信号包括修改轮廓，当 元素离开主显示器进行到副再现设备上时，所述修改轮廓为元素识别色彩和 亮度变化中的至少一个。
64. 权利要求60的辅助图像信号，其中修改轮廓包括被安排来使得能够 对元素精确分段的元素色彩和构造特征中的至少一个。
65. 权利要求64的辅助图像信号，其中修改轮廓包括转换数据，被安排 来当元素离开主显示器进行到副再现设备上时，启用时空透视转换、锐度转 换和元素的细节修改中的至少 一个。
66. —种产生辅助数据以便将元素显示在主显示器附近的副显示器上的 方法，包4舌分析一组图像；提取这些图像的 一些区域；对于接连的时刻、确定用于这些区域的接连的位置信息以便在主再现图 像空间外的 一个图像空间中再现；将接连的位置信息编码在与该组图像相关联的辅助数据中。
全文摘要
用于再现内容的设备(500)和方法，包括分析内容信号的先前和/或后续时间位置，以便确定位置上与内容信号的当前部分的元素相关的元素。内容信号的当前部分被再现在诸如电视这样的主再现设备(530)上，而位置上与内容信号的当前部分的元素相关的元素同时被再现在副再现设备(540)上。在一个实施例中，以比内容信号的被再现的当前部分的更低的分辨率和/或更低的帧速率来再现在副再现设备(540)上再现的元素。在一个实施例中，以比内容信号的更低的分辨率来分析内容信号的先前和随后的时间部分中的至少一个。
文档编号H04N5/44GK101438579SQ200780011989
公开日2009年5月20日 申请日期2007年3月29日 优先权日2006年3月31日
发明者B·G·B·巴伦布鲁格, F·J·德布鲁恩, L·J·维尔索文, M·A·克洛姆彭豪沃, M·J·W·默滕斯 申请人:皇家飞利浦电子股份有限公司