专利名称：估计公用支持空间中光源及产生互光度效应的方法和设备的制作方法
技术领域：
本发明涉及一种估计公用支持空间中的光源的方法和设备以及一种使用光源产生互光度效应(mutual photometric effects)的方法和设备。
背景技术：
应用特殊效应的方法长期以来一直是工业中的一个工作领域。越来越多的应用，如交互式电视，或者任何多媒体应用都需要有效的数据处理。
本发明尤其涉及用于显示的不同数据集的合并以及这些不同数据集的交互作用。换言之，为了增强可视数据集或视听数据集之间的交互作用，重要的是，不同数据集的一些参数修改其它数据集以及这些参数当中的照度(illumination)。
为了产生真实或好看的最终图像，不同可视数据集之间的互光度效应必须要考虑。例如，这在把三维目标输入到一个视频序列之前时尤为真实。
现在有各种各样的方法来把互光度效应应用于可视数据中，如明暗处理、镜面反射、投射阴影、互照度。
因此，美国专利US-5,488,428“视频特殊效应产生设备”以及US-5,295,199“图像变换方法和设备”提出把视频图像变换为三维面并在随后把照度应用于它。但是，这些光度特殊效应是应用于来自单个视频的图像，因而没有互光度特殊效应。
日本专利11,355,654“特殊效应视频信号处理方法和特殊效应视频信号处理器”进一步提出了一种用于几个视频图像的互特殊效应法。但是，该特殊效应并不产生照度或反射，但产生移动物体的合成运动轨迹。
由Pentland在1982年在“美国光学学会杂志”448-455页中提出的方法把可视数据限制为已知位置和形状的单色球状物体的单个图像。由Sato、Sato和Ikeuchi在ICCV’99会刊875-882页的题为“通过亮度的照度分布是阴影在阴影区中具有未知反射特性的照度分布的自适应估计”的文章中提出的其他方法把可视数据扩展为任何内容的单个图像，但它们要求表示景物上半个球形的鱼眼图。
Mukawa在“日本系统与计算机”23卷92-99页的题为“通过图像序列的光源信息的估计”以及Stauder在“关于多媒体的IEEE会刊，第一卷”136-143页的题为“利用结合椭圆体模型的自动照度控制的提高的真实性”的文章中提出了额外需要知道景物形状和物体运动的光源估计方法。
Zhukov，Iones和Kronin在“提供(rendering)技术’98，欧洲图形专题组会刊”45-55页的题为“环境光照度模型”的文章提出了一种用于作为三维物体的可视数据集的方法。但是，为了估计表示特定可视数据集的光源，它们需要其它可视数据集作为另外的输入以建立总体照度方程式。
发明内容
本发明可应用于任意类型任何内容的可视数据，而上述Pentland的文献被限制为球状物体的单个图像。本发明允许确定一个可视数据集的光源，而不需要诸如上述Sato、Sato和Ikeuchi的文献所要求的鱼眼图像，上述Mukawa和Stauder的文献所要求的景物形状和物体运动，或者诸如Zhukov，Iones和Kronin提出的其它任何可视数据集这样的任何其它要求的输入数据。本发明简单并能够确定任意类型任何内容的可视数据集的光源数。
本发明的一个目的是一种用以估计公用支持空间中的光源的方法，该公用支持空间包括分别与在该公用支持空间中具有一个位置、一个维度(dimension)和尺寸的至少一个专用支持空间相关的至少一个可视数据集。
根据本发明，光源的位置根据与所述至少一个可视数据集相关的专用支持空间的位置、维度和尺寸来确定，并且所述光源具有根据所述至少一个可视数据集确定的彩色分布。
与已知的方法相比，根据专用支持空间的特性来确定光源位置以及通过可视数据估计亮度(彩色分布)是非常简单的。
可视数据集可以是视频图像、全景图像、三维图像、三维物体、视听信息或任意格式的其它可视信息。它可以是静止或动态的，它可以是单色或彩色的，或者它可具有其它性质。这里使用的术语彩色用于彩色、亮度、色度或其它强度值。可视数据集可被压缩或解压缩。
在一个优选实施例中，对于每一所述可视数据集来说
-确定光源数N，-确定N个光源的位置，以及-确定每个光源的强度。
利用一种优选的方式，光源数N可通过与所考虑的可视数据集相关的专用支持空间的尺寸自动得出。
这是一种用以估计光源数的简单方法，因为它不需要专门的输入。
有利的是，当所至少一个述可视数据集为动态时，光源的位置根据光源的先前位置而定。
这可在可视数据集为例如视频时避免了不必要的计算。在这种情况下，以前帧的光源位置至少可在下一帧中保持。
至少一个光源的空间彩色分布通过该光源位置的空间和/或时间邻域(neighborhood)中的所述光源的可视数据集的滤波函数来确定。
本发明还涉及一种在与专用支持空间分别相关的多个可视数据集之间在公用支持空间中产生互光度效应的方法，其中在公用支持空间中确定可视数据集的位置，其特征在于-估计每个所述可视数据集的光源，以及-把对于至少第一所述可视数据集的所述估计光源产生的估计光源信息应用到至少第二所述可视数据集，这样，第一可视数据集照亮第二可视数据集。
与已知方法相反，本方法并不是基于具有高计算成本的总体照度。所提出的方法可通过表示可视数据集的光的少量光源来产生光度效应。
这种方法与已经的估计法相反，它能够通过表示可视数据集的光的少量光源产生互光度效应，这与已知的总体亮度算法不同。
在一个优选实施例中，在把对于所述第一可视数据集的所述估计光源得到的所述估计光源信息应用于所述第二可视数据集之前，要从与所述第一可视数据集相关的专用支持空间中移走至少一个所述光源。
这对于获得几个可视数据集的三维真实照度来说是特别有意义的。
根据一个优选实施例，多个数据集的不同光源的估计根据权利要求1-5任意之一的方法来进行。
因此，该快速光源估计法的所有优点均被结合到该光度效应产生方法中并且简化了该方法。
本发明还涉及一种用以估计公用支持空间中的光源的设备，该公用支持空间包括分别与在该公用支持空间中具有一位置、一维度和尺寸的至少一个专用支持空间相关的至少一个可视数据集。
根据本发明，该设备用于根据与所述可视数据集相关的专用支持空间的位置、维度和尺寸来确定每个所述可视数据集的光源位置，并提供根据所述可视数据集确定的所述光源的彩色分布。
本发明还涉及一种在与专用支持空间分别相关的多个可视数据集之间在公用支持空间中产生互光度效应的设备，包括用于在公用支持空间中确定可视数据集的位置的装置。根据本发明，所述设备包括-用于估计每个所述可视数据集的光源的装置，以及-用于把对于至少第一所述可视数据集的所述估计光源产生的估计光源信息应用到至少第二所述可视数据集中，以使第一可视数据集照亮第二可视数据集的装置。
本发明还涉及一种视听终端，包括-用于接收第一可视数据集的装置，-用于请求显示与第一数据集合作的至少第二数据集的装置，-用于在显示器上指示出至少第二数据集的位置的装置，-用于产生光度效应的装置，以及-用于根据产生的光度效应显示所述可视数据集并修改它们的装置，根据本发明，所述产生光度效应的装置包括-用于估计每个所述可视数据集的光源的装置，以及-用于把对于至少第一所述可视数据集的所述估计光源产生的估计光源信息应用到至少第二所述可视数据集，以使第一可视数据集照亮第二可视数据集的装置。
本发明还涉及一种电视接收机或机顶盒、具有用以产生上述互光度效应的装置的特性的任何移动终端，电视接收机、移动终端的优点与光度效应产生法中的相同。
借助于附图，通过本发明的非限制性实施例的描述，本发明的其它特征和优点将会显而易见。
图1表示包括根据本发明的光源估计模块5和6的电视解码器1。
具体实施例方式
该电视解码器包括交互式引擎2。应用3与该交互式引擎相连，包括用户接口并允许用户在该电视解码器上选择任意节目以在显示器(未示出)上显示。该显示器可以是电视屏幕、计算机屏幕和自动立体显示器或在计算机存储器中用于存储或转发的显示器。该交互式引擎允许用户在观看另一个节目时选择他希望显示的一个新节目或新可视数据集。这样将会使请求的不同可视数据集的显示合并。可视数据集可以是视频、三维图像、三维物体、背景图像、视听数据集。交互式引擎2装载可视数据集。驱动和操作系统8可包括一个网络接口(图中未示出)，以便于从例如万维网或本地可视数据集数据库下载可视数据集。
该电视解码器还包括数据合成模块4。不同的可视数据集通过合成控制信号控制的数据合成模块4而确定在一个公用支持空间中的位置，该公用支持空间可以是一个三维空间。合成控制信号可由用户交互产生或者通过其它任何装置传送。其结果可以是由几个可视数据集构成的三维景物。可视数据集通过定位控制信号定义为部分或完全透明。例子可以是几个3D目标、在一个图像或全景图前的3D目标。其它组合也是可能的。
光源估计模块5和6估计在它们自己的支持空间中的不同可视数据集的光源，这将在本文件中进一步描述。
一旦光源估计模块估计了光源数、位置和空间彩色分布，可视数据集将被发送到提供(rendering)装置7，该装置使用光源估计模块信息把可视数据集投影到例如二维显示器上。提供装置7可以是个人计算机图形卡上的OpenGL图形栈(OpenGL是Silicon Graphics Incorporated的商标)、或者其它任何图像合成系统或方法。
OpenGL栈把二维或三维可视数据几何或光度投影到二维显示平面上。
几何投影确定可视数据的位置和几何变换。光度投影确定包括光度效应的可视数据的外观。通过使用光源，OpenGL栈可产生光度互效应为如明暗对比、镜面反射和投射阴影。也可以考虑其它光度效应。
我们现在将描述光源估计模块的行为。下面的描述将用于描述一个简单的例子，在该例子中，可视数据集只包括单色频道，并且支持空间是二维空间。为了进一步简化，在下面的描述中，可视数据集只在一个时刻考虑。
设s(u，v)是可视数据集的单频道彩色信号，其中u，v是大小为U×V的二维支持空间的坐标。
光源估计模块接收其自己的支持空间中的可视数据集作为输入。
首先，该支持空间的光源数N被确定。确定该光源数会有几个方式。一种简单的方法是从图像尺寸输出N。例如，可如下计算NN＝UV/100000U和V是该支持空间的维度。
根据上面公式，一个704列且576行的图像的N值等于4。N可通过其它自适应公式得到，它可以是固定的，它也可通过其它任意方式得到。
其次，光源估计模块确定光源的位置。光源初始定位在可视数据集的支持空间中，随后，光源也可任选地从该支持空间中去除。
根据下面的公式un=2n+12NU]]>和vn=2n+12NV]]>利用一种常规的方式，光源Ln，其中0≤n＜N，被定位在尺寸为U×V的支持空间中的位置un，vn上。
它也能够以一种任意的方式或者通过其它任意的算法来定位。在三维空间中的第n个光源的三维位置pn=xnynzn]]>通过三维空间中的数据集的位置(由合成控制模块4确定)和2D位置un，vn给出。随后，该光源可从该支持空间中移出到一个三维位置上。根据pn′=pn+αRn,]]>光源可被垂直移走，其中Rn是在Pn的该可视数据集的二维支持空间的3D表面法线，α是一个常数，O是该可视数据集的重心。根据Pn′′=O+α(Pn-O+Rn|Pn-O|),]]>光源也可移动至无穷远，其中O是该可视数据集的重心，α→∝。把光源移出该支持空间的其它操作也是可以的。
第三，确定每个光源的空间彩色分布。在此考虑单色点光源的情况，在此情况下，特定彩色分布简化为一种彩色。光源也可以是地下室窗采光光源或其它类型的光源。在单色频道信号s(u，v)的情况下，第n个光源的彩色是单标量In。强度In通过在该可视数据集的支持空间中的初始光源位置un，vn的局部邻域中的滤波操作的结果μn来计算。根据基于 的加权函数β(u，v)，该过滤操作加权并组合相邻彩色值，其中Δu、Δv是邻域的尺寸并且可以是Δu=U2N,Δv=V2N,]]>或者可以是其它任意的尺寸，如整个可视数据集。该加权函数在该邻域归一化。根据β(u,v)=14ΔuΔv,]]>它可以是常数，也可以是其它任意形式。该加权函数可根据该光源的位置而定。如果可视数据为动态，则光源的强度可及时滤波，以保持时间稳定性，该滤波邻域是时空的。其它加权函数也是可以的。
光源强度In被归一化，而且，根据 其中In′=1N+η(μnΣi=0...N-1μi-1N)]]>并且η≥0是放大因数，它可由滤波结果μn，其中0≤n＜N-1，得到。光源强度也可以是非归一化的。根据 这可通过例如加权光源来实现，其中λ是强度控制参数。其它加权也是可能的。
具有不止一个彩色频道的可视数据集是逐频道处理的，这与针对频道s描述的情况相同。非二维支持空间的可视数据集按照通过考虑或多或少的维度的情况来对待。光源也可通过不同时刻的可视数据来估计。在这种情况下，滤波操作的邻域是时间的和空间的。
权利要求
1.用以估计公用支持空间中的光源的方法，该公用支持空间包括分别与在该公用支持空间中具有一个位置、一个维度和尺寸的至少一个专用支持空间相关的至少一个可视数据集，其特征在于光源的位置根据与所述至少一个可视数据集相关的专用支持空间的位置、维度和尺寸来确定，并且所述光源具有根据所述至少一个可视数据集确定的彩色分布。
2.根据权利要求1的方法，其中对于每一所述可视数据集来说-确定光源数N，-确定N个光源的位置，以及-确定每个光源的强度。
3.根据权利要求1或2的方法，其中光源数N可通过与所考虑的可视数据集相关的专用支持空间的尺寸自动得出。
4.根据权利要求1-3任意之一的方法，其中当至少一个所述可视数据集是动态的时候，光源的位置根据光源的先前位置而定。
5.根据权利要求1-4任意之一的方法，其中至少一个光源的空间彩色分布通过该光源位置的空间和/或时间邻域中的所述光源的可视数据集的滤波函数来确定。
6.在与专用支持空间分别相关的多个可视数据集之间在公用支持空间中产生互光度效应的方法，其中可视数据集的位置在公用支持空间中，其特征在于-估计每个所述可视数据集的光源，以及-把对于至少第一所述可视数据集的所述估计光源产生的估计光源信息应用到至少第二所述可视数据集，这样，第一可视数据集照亮第二可视数据集。
7.根据权利要求6的方法，其中在把对于所述第一可视数据集的所述估计光源得到的所述估计光源信息应用于所述第二可视数据集之前，要从与所述第一可视数据集相关的专用支持空间中移走所述光源中的至少一个光源。
8.根据权利要求6或7的方法，其中多个数据集的不同光源的估计根据权利要求1-5任意之一的方法来进行。
9.用以估计公用支持空间中的光源的设备，该公用支持空间包括分别与在该公用支持空间中具有位置、一个维度和尺寸的至少一个专用支持空间相关的至少一个可视数据集，其特征在于所述设备用于根据与所述可视数据集相关的专用支持空间的位置、维度和尺寸来确定每个所述可视数据集的光源位置，并提供根据所述可视数据集确定的所述光源的彩色分布，所述设备优选用于把根据权利要求1-5任意之一的方法付诸实施。
10.根据权利要求9的设备，其特征在于它包括-用于确定每个所述可视数据集的光源数N的装置，-用于确定N个光源的位置的装置，以及-用于确定每个所述光源的空间强度和彩色分布的装置。
11.在与专用支持空间分别相关的多个可视数据集之间在公用支持空间中产生互光度效应的设备(1)，包括用于在公用支持空间中确定可视数据集的位置的装置，并且其特征在于所述设备包括-用于估计每个所述可视数据集的光源的装置(5，6)，以及-用于把对于至少第一所述可视数据集的所述估计光源产生的估计光源信息应用到至少第二组所述可视数据集，以使第一可视数据集照亮第二可视数据集的装置(7)，所述设备优选用于把根据权利要求6-8任意之一的方法付诸实施。
12.根据权利要求11的设备，其中用于估计由多个数据集发射的不同光源(5，6)的装置能够根据与所述可视数据集相关的专用支持空间的位置、维度和尺寸确定每个所述可视数据集的光源位置，并根据所述可视数据集确定所述光源的彩色分布。
13.视听终端包括-用于接收第一可视数据集的装置，-用于请求显示与第一数据集合作的至少第二数据集的装置，-用于在显示器上指示出至少第二数据集的位置的装置(2)，-用于产生光度效应的装置，以及-用于根据产生的光度效应显示所述可视数据集并修改它们的装置，其特征在于所述用于产生光度效应的装置包括根据权利要求11或12的产生装置，优选地，还包括根据权利要求9或10的估计装置。
全文摘要
一种用以估计公用支持空间中的光源的方法,该公用支持空间包括与具有一个位置、维度和尺寸的至少一个支持空间相关的至少一个可视数据集。光源的位置根据专用支持空间的位置、维度和尺寸来确定,并且彩色分布根据该可视数据集确定。一种在多个可视数据集之间在公用支持空间中产生互光度效应的方法,其中,确定公用支持空间中的可视数据集的位置。估计光源并且应用估计的光源信息,这样,至少第一可视数据集照亮至少第二可视数据集。
文档编号G06T15/50GK1379367SQ0212008
公开日2002年11月13日 申请日期2002年2月28日 优先权日2001年2月28日
发明者于尔根·斯托德, 菲利普·罗伯特, 扬尼克·尼古拉斯 申请人:汤姆森特许公司