专利名称：使用回归反射屏幕的三维图像投影的制作方法
技术领域：
本发明涉及三维图像的投影。本发明尤其涉及用于利用投影到回归反射屏幕(retro-reflective screen)上的立体视角图像(stereo aspectimage)进行三维图像投影的设备及相关的方法。
背景技术：
投影显示装置使用聚焦在漫射屏上的图像来将图像展现给用户。投影可以从漫射屏的与用户相同的一侧进行，如同在影院投影仪的情况下，或者从另一侧进行。现有技术中，用在例如电影院中的回归反射屏幕型投影系统，如附
图1所示，通常通过使用单个投影仪10一次在屏幕12上投影单个图像。屏幕12常常会具有线性光分布，以致由屏幕12所反射图像的所有观众，不管他们所处的位置在哪里，都会看到相同的二维图像。
在许多当代投影系统中，可以在一个或多个“显示装置”上产生图像，比如小型的液晶显示元件，该液晶显示元件通过由成分可变换的像素形成的图案反射或透射光线。这种液晶显示装置通常是通过微电子加工技术制造的，使得显示装置中的每个栅格区域(或“像素”)的反射特性或透射特性可由电子信号控制。在液晶显示装置中，入射到特定像素上的光线将会根据施加到所述像素上的信号由该像素反射、部分反射或者阻断。在某些情况下，液晶显示装置是透射器件，其中通过任何一个像素的透射可以在一个范围内分等级(灰度级)变化，所述范围从将光基本上阻断的状态到入射光基本上透射的状态。
当均匀的光束从液晶显示装置反射回来(或透射过去)时，该光束获得的空间强度分布取决于像素的透射状态。通过利用电子手段将像素的透射(或灰度级)调节为与期望的图像相应，就会在液晶显示装置上形成图像。可以将这个图像成像在漫射屏幕上以直接观看，或者也可以将其成像在中间图像面上，可以在该中间图像面上利用目镜将该图像放大，形成虚像。
图像的三维显示，长期以来一直是电子成像系统的目标，在现代社会中已经有了许多可能的应用。例如，专业人员的训练，从飞行员到内科医师，现在都频繁地依赖于三维图像的可视化。可以理解，三维成像在娱乐表演方面也存在着许多可能的应用。在三维成像的许多应用中，能够观看到图像的多个视角是非常重要的，从而，例如，在人体或机械零件的检查仿真过程中，观看者不必改变数据或切换图像就可以从多个角度和观察点得到这些零件连续的三维视图。
因此，在各种技术应用领域中，长期以来一直对实时三维图像显示装置非常关心。迄今为止，在现有技术领域中，已经有多种用于产生三维和/或立体视觉图像(volumetric image)的技术为人熟知。这些技术在复杂程度和品质方面不同，并且这些技术包括计算机绘图，仅通过引起心理上深度的暗示(psychological depth cues)而在二维显示装置上模拟三维图像；立体显示装置，将其设计为使观看者在内心将两个视网膜图像(左右眼各一个)融合为一个引起感觉深度的图像；全息图像，这种图像再现了从物体上反射回来的实际波前结构；和立体视觉显示装置，通过激活显示装置的体内的各种深度的实际光源来产生具有真实物理高度、深度和宽度的三维图像。
基本上，可以将三维成像技术分为两类产生真实的三维图像的技术；和产生看见三维图像的错觉的技术。第一类包括全息显示装置、变焦合成(varifocal synthesis)、旋转屏幕和发光二极管(“LED”)面板。第二类包括引起心理上深度的暗示的计算机绘图，和基于两幅(左和右)视网膜图像内心的融合的立体视觉成像。可以将立体视觉成像显示装置再分为需要使用专用眼镜的系统(例如，头戴显示装置和偏光片眼镜)和不需要使用专用眼镜的基于自动立体技术的系统。
虽然由于全息成像技术通过重现从三维物体反射的光的实际波前而给出了真正的三维图像，使其优于常规的基于立体视觉的技术，但是全息成像技术却要比其它的三维成像技术复杂得多。因此，实时三维电子显示系统领域中的最新课题已经集中到各种立体视觉显示系统的研究上，这是因为立体视觉显示系统看来是最易适于商用的系统。
最近，广泛地报道了自动立体视觉技术是用于实时彩色三维显示的最受令人满意的技术。立体视觉的原理是基于两个不同视点，相当于观看者的左右眼，同时成像，以对二维图像产生深度感觉。在立体成像中，图像是利用常规的物体摄影技术从不同的有利位置，例如，相当于观看者眼睛之间的距离，记录下来的。
通常，为了使观看者通过观看投影到屏幕上的物体的立体视觉图像得到空间感，必须要保证左眼仅看到左图像且右眼仅看到右图像。虽然这可以借助头戴装置或眼镜来实现，但是自动立体视觉技术已经在尝试摒弃这一限制方面得到进展。不过，根据常规的技术，自动立体视觉系统通常要求观看者的眼睛要处于离开观看屏幕的特定位置和距离(一般称为“观看区”)上，才能产生立体视觉效果。
增大自动立体视觉显示装置的有效观看区的一种方法是产生多个同时观看的区域。不过，这种方法给图像处理设备造成了非常大的带宽需求。而且，很多研究已经集中到通过跟踪眼睛/观看者相对于屏幕的位置，以及利用电子手段调节成像设备的发光特性以保持立体视觉图像，从而消除观看区的约束。这样，利用高速现代计算机和运动传感器，通过连续地记录观看者的身体和头部运动以及计算机中相应的图像配合，可以采用立体视觉投影产生环境和物体的空间感(虚拟现实)。由于图像变得越发复杂，因此已经证明具体实现这种方法的现有技术越发不成功。
由于立体视觉的特性，在现有技术的自动立体视觉系统中，只能从有限的观看区中的不连续位置上观察到视差。例如，在标准的自动立体视觉系统中，任意一个立体像对，仅从一个位置观看时，才能显示正确的透视。因此，当观察者移动时，自动立体视觉显示系统必须能够感知观察者的位置并重新产生具有不同透视的成对立体视觉图像。这是一项很困难的工作，在现有技术中还没有掌握。
根据图像投影技术的当前状态，应当希望得到这样一种系统它能够投影许多视角或“多视角”图像，以使用户可以在需要的时候看到特定物体的多个视角和视图。以灵活的方式进行这种观看也是很有用的，就使得在观看者观看立体视觉图像时，不会在其头部位置方面受到约束。此外，这种系统最好可以在不需要专用的头戴装置即可进行工作的同时提供较高的三维图像质量。因此，在本技术领域中仍然需要改进的方法和设备，以使成倍增加高质量三维图像的投影观看位置而不需要特制的头戴装置。
发明内容
在考虑到前述的和其它未得到满足的需求，本发明的目的是提供能够将特定物体的多个视角和视图投影的三维图像投影系统。
类似地，本发明的目的是，提供用于多视角三维成像的设备和相关方法，所述设备和方法提供高分辨率的图像，而不必将观看者限制在限定的观看区内。
此外，本发明的目的是，提供用于多视角三维成像的设备和相关方法，所述设备和方法能够同时为处于彼此不同的观看位置上的不同的观看者提供不同的图像。
此外，本发明的目的是，该设备和相关方法不需要观看者使用特制的观看设备，比如头戴装置或眼镜。
此外，本发明的目的是，在观看同时的投影时，利用经过计算的图像对，提供能够显示物体各种图像和透视图的三维显示装置和相关的方法，产生三维感觉的图像。
为了实现这些和其它的目的，根据本发明的三维投影系统和相关的方法采用了至少两个投影仪和一个回归反射屏幕，成像系统控制该投影仪，将投影仪产生的物体的多幅图像投影到所述回归反射屏幕上。根据本发明实施例的投影系统的成像系统可以数字地计算图像信息，并且使用该信息控制所述投影仪的性质以产生立体视觉图像。在本发明的实施例中，其中这些投影仪具有结合于其中的液晶成像显示元件，成像系统适于控制投影仪中的液晶成像显示元件以修改所投影的图像。这些经计算得出的图像信息与期望的三维图像景象有关。在此实施例中，经计算得出的图像信息使得所述液晶显示装置以此方式受控制在其上产生所需的图像，光穿过该显示装置并且到达所述屏幕，在该屏幕上，光根据屏幕的性质的散射或反射，从而产生可看到的三维图像。
在本发明的实施例中，所述回归反射屏幕根据非线性分布图样将光反射，所述非线性分布图样取决于光源和屏幕表面之间的反射角度。
在本发明的优选实施例中，成像系统包括至少两个投影仪，每个投影仪具有一个或多个电子可控的液晶显示面板和光源；图像生成系统，用于进行有关三维图像生成的计算，并且用于控制所述液晶显示面板；和回归反射屏幕。
此外，在本发明的优选实施例中，用于表示图像的多个视角以产生三维观看体验的系统和方法采用了至少两个图像投影仪；一个图像生成系统，用于控制这些投影仪；和一个回归反射屏幕，以生成三维可视图像。在此优选实施例中的图像生成系统为自动立体视觉图像生成系统，该系统采用神经网络反馈计算方法在任意给定的时刻计算所要显示的适当的立体视觉图像对。在此实施例中，每个投影仪最好包括至少一个电子可控的液晶显示元件或其它适当的空间光调制器(SLM)。
根据本发明的上述实施例任意之一的可选形式，在每个投影仪中，分离的液晶显示(“LCD”)面板组可用于每种颜色，从而可以得到彩色显示。在一个这样的可选形式的实施例中，可以在每个投影仪中设置三个独立的LCD面板，对应于红光、蓝光和绿光。在一个特定的可选形式的实施例中，例如，这些投影仪是三色顺序显色(tri-chromatic color-sequential)投影仪，具有三个三种不同颜色的光源，如红、绿、蓝色光源。图像显示装置按顺序显示图像的红、绿和蓝色成分。液晶显示装置和光源是按顺序切换的，以使当显示红色图像时，相应的液晶显示装置由来自红色光源的光进行照射。当由适合的液晶显示元件显示图像的绿色部分时，该显示装置件由来自绿色光源的光进行照射，等等。
本发明的另一种实施例提供了一种用于多视角图像匹配的系统和相关的方案。投影系统的此实施例包括一个数码相机和相应的图像采集和处理软件。总的来说，该系统运行以产生反馈环路，在该环路中，收集并分析与投影图像的外观相关的数据，从而确定对投影系统进行的改动以实现所需的图像特性。为了实现图像映射的目的，传送到屏幕上的投影图像一般是色点的二维阵列或一系列正交线条。每个投影仪将稍稍不同的图像照射到屏幕上，并且所述相机拍摄该不同图像。为了简化测试图像之间的差异的检测，图像匹配屏幕最好是暂时放在回归反射屏幕上的一张白纸或者常规投影屏幕。
在本发明的另一种实施例中，所述3D投影系统使用的回归反射屏幕产生的散射图样具有相对较窄角度的水平散射光线和相对较宽角度的垂直散射光线。可以通过在透明聚合物膜上模压出两组微棱镜而形成的回归反射屏幕来得到这个期望的散射图样。具体地说，前表面模压有高空间频率的水平棱镜，而后表面上模压有低空间频率的90度微棱镜，该微棱镜实现了基于全内反射的一维回归反射。在另一种实施例中，回归反射屏幕是微棱镜回归反射膜和一维微棱镜阵列散射膜的组合。
将参照附图对本发明的各种优选方案和实施例进行详细介绍。
附图简述图1是现有技术中所采用的向观察屏幕上投影可视二维图像的一种方法的示意图；图2是表示根据本发明的实施例的三维图像投影的示意图；图3是表示由可以在本发明的实施例中采用的一种回归反射屏幕产生的非线性光分布的曲线图；图4是表示采用单个投影仪通过反射屏幕向观看者的眼睛发射图像信息的几何排列(geometry)的示意图；图5是表示由在本发明的一个实施例中采用的回归反射屏幕产生的非线性光分布或内核的曲线图；图6是表示根据本发明的实施例的投影系统的各部分的示意图；图7是表示在本发明的实施例中采用的成像计算单元的计算和控制体系结构的示意图；图8是表示根据本发明实施例的图像匹配投影系统的各部分的示意图；图9-13是表示根据图6中的投影系统的实施例的回归反射屏幕的示意图。
发明详述本发明在其优选实施例中是一种图像投影系统和相关的方法，该系统和方法至少使用两个图像投影仪、一个用于控制所述图像投影仪的图像生成系统和一个回归反射屏幕来显示图像的多个视角，以产生三维视觉感受。
图2示意性地表示根据本发明的一种实施例的三维图像投影。如图2所示，至少使用两个投影仪20L和20R将经计算得到的图像LP和图像RP分别投影到回归反射屏幕22上，以将适当的回归反射图像Lr和Rr呈现给观看者的左眼和右眼，从而将三维或立体视觉图像呈现给该观看者，其中该经计算得到的图像LP和图像RP来自各自透射LCD或其它类似的基于像素的显示装置。
在本发明的实施例中，所述回归反射屏幕22根据非线性分布图样对光线进行反射，其中所述非线性分布图样取决于光源与屏幕表面之间的反射角度。图3中示出适用的回归反射屏幕的非线性光分布，其中回归反射屏幕22产生反射光分布，该分布取决于光源20和屏幕22之间的反射入射角α。图3的反射光分布符合高斯分布，其中在角度α处的观看点上的光强度I(α)可由下述方程表示I(α)=I0·exp(-α2σ2)]]>方程1光的峰值强度由常数I0给出，而σ是一个取决于所采用的具体回归反射屏幕的屏幕特性的常数。
对于图2的双投影仪实施例，左眼和右眼所观察到的图像可以数学表达为I(L)=I0l·exp(-αlL2σ2)+I0r·exp(-αrL2σ2)]]>方程2I(R)=I0l·exp(-αlR2σ2)+I0r·exp(-αrR2σ2)]]>方程3其中，在方程2和方程3中，I0l是左侧投影仪图像的亮度，而I0r是右侧投影仪图像的亮度。通过将I(L)和I(R)固定在任一个具体的点上，可以得出I0l和I0r的方程组，该方程组对应于此后由左侧和右侧投影仪产生的经计算得到的图像L和R。该方程组是非线性且不可变换的。因此，仅可对其近似求解。
尤其适于计算此解的手段是借助一个在计算机上运行的人工神经网络。在2000年11月8日提交的名称为《神经立体视觉显示装置(Neurostereo Display)》的共同拥有的PCT申请PCT/US00/30683和2001年10月15日提交的名称为《用于立体和多视角图像可视化的系统和方法(System and Method for Visualization of Stereo and MultiAspect Images)》的共同拥有的美国专利申请第09/977462号中对将神经网络应用于同等的三维成像课题做出了详细说明。
图4示意性地示出了采用单个投影仪经过反射屏幕向观看者的眼睛传送图像信息的投影系统的几何排列。虽然根据本发明的系统使用了两个或更多投影仪以产生所感知的三维图像，但是在图4中所示的单个投影仪和屏幕装置有助于理解关于确定适当图像的计算过程，其中该适当图像由实际采用的两个或更多投影仪中的每一个所显示。
如图4所示，将单个投影仪40定位在朝向与回归反射屏幕42的垂直方向成角度ψ的方向上。在这种结构中，观看者的眼睛44与投影仪40处于同一水平面上。在这样的装置中，对于各个固定的垂直角度，可以为图像Ie确定下述方程，该图像是由眼睛44在从法线方向限定的观看范围角度∈[1，2]内，在屏幕42的部分中所观察到的
Ie()＝I(ψ)·K(|-ψ|) 方程4在方程4中，I(ψ)是定义投影光束亮度的函数，该投影光束从投影仪40传播到回归反射屏幕42，与法线方向η的角度为ψ。K(|-ψ|)，或者内核函数，为非线性的并由屏幕的反射特征所决定。内核函数的一个例子是下列的方程1’，其中通过由|-ψ|定义的角度替换角度α对方程1进行修改。
方程1’在图5中的曲线图50描绘出了在二维情况下这一内核函数的形状。如上面针对图4所指出的，图5中所标出的角度和ψ是由法线方向η所确定的角度。
如果将通过图4介绍的系统扩展为在同一水平面内包括多个投影仪，则眼睛44所得到的作为结果的图像的方程如下 方程5其中n是系统中投影仪的数量，I(ψ)是来自投影仪i的光束的亮度，该光束与法线方向成角度ψ地达到屏幕。
为了针对不同的眼睛或眼睛位置生成m个不同的图像Ie(1)到Ie(m)，就需要求解下述对于所有投影仪的n个未知亮度Ii(ψ)的具有m个方程的方程组 方程6 方程7… 方程8需要注意，因为(多个)投影仪的位置不会发生明显的变化，所以角度ψ一般不变。可以采用上述的神经网络来求解此方程组。虽然已在具体的实施例中公开，但是本领域的技术人员可以轻而易举地想到，只要通过对方程1到方程8进行相应的修改，即可采用很多其它效果相等的几何排列。在本发明的实施例中，此后将使用适合的公式计算由各种不同的投影仪所投影的图像。
图6是表示根据本发明的优选实施例的投影系统各部分的示意图，这些部分可以根据图2所示排放，以将感知为三维的图像投映给观看者。如上所述，在立体视觉系统中，观看者的右眼必须感知不同于左眼的图像，以产生感知为三维的图像。如图6所示，成像计算装置61可通信地与至少两个图像投影仪62相连接，并对其进行控制，其中所述至少两个图像投影仪62是以公知的布置方式朝向回归反射屏幕。每个投影仪包括至少一个用于产生图像的透射面板64(或者其它适当的电子显示元件)和一个光源63，二者都由成像计算装置61进行控制。光源63用于在透射面板64显示图像的时候照射此面板，其中所述图像是由成像计算装置61提供的。在任何一个投影仪62中的任何一个透射面板64上显示的图像和其他投影仪62所显示和投影的那些图像是由成像计算装置61调整的。
一般来说，透射面板64是LCD面板。LCD面板是公知的像素结构(pixilated)的装置，其中每个像素不是“开”就是“关”，或者设置为中间亮度级。每个LCD面板通常是单色的，并且无法单独地控制图像的多于一种颜色成分的亮度。为了实现彩色控制，在每个投影仪中可以采用LCD多面板系统。这种LCD多面板系统通常使用三个独立的LCD面板。这三个独立的LCD面板中的每一个均由具有刺激人眼中三种视锥细胞中一种的光谱分量的单独光源照射。这三个LCD面板各自反射(或透射)构成彩色图像的一个颜色成分的光束。然后，这三个光束通过棱镜、二色滤光镜系统和/或其它光学元件合成为单个彩色图像光束。或者，可以在每个投影仪中使用与每个基色相应的独立的液晶显示面板和多个单色光源，通过不同颜色的光源和LCD面板的同步切换来产生多色显示，这在本领域中是公知的技术。
同样是本领域中的公知技术，在另一实施例中，每个彩色面板系统可用于连续的颜色切换。在此实施例中，多个LCD面板可以与红、蓝和绿色可切换光源一起接入投影仪中。每组这些色彩源(colorsource)按顺序每次激励一个，同时LCD显示装置在所要显示的图像的蓝、绿和红色成分之间同时地循环。LCD面板和相应的光源与所显示的图像同步地切换，切换的速度比人眼的融合时间快(小于100微秒)。可以理解地，可以在每个投影仪中使用单个单色LCD面板并且仍然提供经计算的彩色图像。
应当还能够想到，透射面板64可以是其它类型用于产生投影图像的电子可控装置。例如，不使用LCD面板，本发明的各种实施例还可以采用适当的空间光调制器(SLM)，比如由地处德克萨斯州达拉斯的德州仪器公司(Texas Instruments，Inc.)生产的数字光处理器(DLP)。
图7是表示在图6中所示本发明的实施例中所使用的合适的成像计算装置61的计算和控制体系结构的示意图。参照图7，成像计算装置使用了立体像对(或各种图像视角)的数据库70，由其存储器单元72提供这些立体像对数据库。存储器单元72具有多种在计算领域公知的功能。这种功能之一是，存储器单元72可以根据处理器74的指示从立体像对数据库70中提取并存储一个特定的立体像对以供使用。
存储器单元72将所需的立体像对提供给处理器74，以产生经计算得到的图像(如上面针对图2介绍的Lp和Rp)。这些经计算得到的图像一旦产生，就从处理器74发送到投影仪单元控制器76(或者存储到存储器单元72中，以备控制器76读取)。然后，投影仪单元控制器76将经计算得到的图像提供给适合的透射面板64并对每个图像投影仪62中照射透射面板64的光源63的发光进行控制。或者，处理器74可以向各个单独的面板64和光源提供指令，以利用本领域公知的适合的驱动软件控制投影仪。
对于所有自动立体显示的情况下，由计算装置71产生的图像必须是观看者位置的函数，这些位置是通过图7中的观看者位置信号信息78给出的。用于产生观看者位置信号信息的各种适合的方法是本领域中公知的。例如，由Street所有的美国专利第5712732号中介绍了一种自动估算观察者的位置和距离的自动立体视觉图像显示系统。该Street显示系统包括一个距离测算设备，该设备使得该系统能够依据观看者头部相对于屏幕的距离和位置(左右)确定观看者头部的位置。类似地，由Popovich所有的美国专利第6101008号讲解利用数字成像设备实时跟踪观看者的位置，并使用跟踪得到的位置适当地调整所显示的图像。
应当注意，存储器单元72保存着每个LCD面板的各个单元或晶元的累积信号。因此，存储器单元72和处理器74就具有能力累计和分析通过液晶显示面板的相应屏幕元件朝向回归反射屏幕传播的光线。
存储器单元72、处理器74和投影仪单元控制器76之间的用于本发明中图像处理的数据流实现了各个投影仪62(为了简明，在图7中仅示出一个这样的投影仪)中的对从光源63发出的光线和透射面板64的透射率的控制。关于物体的多个不连续的二维图像(即，多个经计算得到的图像)的信息图示在LCD面板上的多个不同的区域内，并且，可选择的，有关观看者的左右眼的位置的信息可由处理器74连续地进行调整，以产生新的经计算得到的图像用于投影。为了使得这些计算过程能够得以实现，将与各个投影仪62的各个面板64的一部分的透射状态相应的信号输入到设置程序之后的处理块。
对每个这些左右眼信号进行求和，以得出用于右眼和左眼的经计算得到的图像值。然后，在比较运算中将这些信号与各个视角的已存储立体像对图像的相关部分以及物体视角的图像的相关区域进行比较。
需要紧记，所述信号当然是观看者眼睛位置的函数，所检测到的信号可以在一定程度上发生变化。比较过程中得到的任何误差都要对每个LCD面板的每个晶元进行鉴别。然后，将每个误差与预定的阈值信号进行比较，并且如果误差信号超过了预定的阈值信号，则处理器控制例程将改变与LCD面板的透射率对应的信号。
如果由于观看者位置的移动(或希望投影不同的图像)造成有关物体的经计算得到的图像的信息发生了变化，则处理器将识别这一变化，并将与光源的光辐射和适当的LCD面板晶元的透射率相应的信号输入存储器单元，直到该信息得到更改。当观看者位置变化大得足以需要新的视图时，则从数据库中提取出此视图或图像并相应地进行处理。
借助设置程序之后的处理块将与靠近屏幕晶元和远离屏幕晶元的透射率相应的信号输入存储器单元。下一个步骤是鉴别可以从所有显示装置的晶元导向至少一个观看者的左眼和右眼的光信号。然后将鉴别出的指向每只眼睛的光信号与相应物体的二维立体像对图像组的对应区域进行比较。
对于每个LCD面板的每个晶元，对所鉴别出的可能导向相应的眼睛的光信号和所鉴别出的同一只眼睛应当看到的相应物体视角的立体视觉图像的相应区域之间的误差信号进行鉴别。将每个接收到的误差信号与设定的阈值信号进行比较。如果误差信号超过了设定的阈值信号，则所述的处理块的程序控制改变与显示装置晶元相应的信号。重复进行上述处理过程，直至误差信号低于设定的阈值信号或者达到了设定的时间周期。
还能够实现针对为两个(或更多)观看者在两个(或更多)不同的方向上重构两个(或更多)不同的物体的情况的运算过程。必须具体说明，所有的计算过程都可以并行地进行；可以将DSP处理器按照此目的设计。如上面所指出，在本发明的实施例中可以方便地使用人工神经网络用于解决问题，因为它能够实现并行处理，并且因为能够实现DSP综合方案应用。
因此，在这种迭代方式中，考虑回归反射屏幕的特征和需要投影给特定的观看者以产生感知为三维图像的立体视觉图像对的特征，计算出两个用于投影到回归反射屏幕上的“平面”(即，二维)图像。出现在各个投影仪的LCD面板上的经计算得到的图像是通过计算后得出的，这在许多应用中都是非常有益的。通过使用经计算得到的图像，本发明可以最小化多余结构并且能够利用比摄影素材分辨率低的液晶显示装置生成三维图像。
还应当注意，本发明的系统也可以在多个观看者同时观察体图像的情况下使用。本系统简单地识别各个观看者的位置(或设定具体的观看区)并展示适合多个观看者的图像。
将使用设定图像观看区(或多个区)的系统改装，以使观看者可以移动，就需要将观看者的位置信号输入该系统。用于确定经计算得到的图像的算法必须包含反映系统光的几何排列(optical geometry)的参数。可以将观看者位置信号用在确定这些参数的公知方法中。此外，根据光的几何排列计算，可以将观看者位置信号用于确定显示哪个立体像对。多种公知技术可以用于产生观看者位置信号，包括虚拟现实(“VR”)应用中采用的公知的头部/眼睛跟踪系统，比如，但不仅限于，安装在观看者身上的射频传感器、三角测量红外和超声系统以及利用图像数据视频分析的基于摄像机的机器视觉。
本领域的技术人员显然可以想到，在本发明的某些实施例中，各个投影仪中的光源可以是基本上宽带的白光源，比如，除了其它的光源之外，所述光源可以是白炽灯、感应灯、荧光灯或者是弧光灯。在其它实施例中，光源可以是一组具有不同颜色的单色光源，比如红、绿和蓝色。这些光源可以是发光二极管(“LED”)、激光二极管或者其它的单色和/或相干光源。
虽然通过一个特定的实施例对本发明进行公开，但是显然，在不超出本发明的范围内，也可以采用许多种其它的几何排列和实施例。例如，本发明可以采用多于两个投影仪，每个投影仪可以具有其自己的位置，回归反射屏幕可以是全息图，并且可以使用两个或更多摄相机进行屏幕图像与各个投影仪中的图像之间的背连接(backconnection)。
如图8所示，本发明的另一种实施例给出了一种用于多视角图像匹配的系统以及相关方案。具体地说，本发明的这种实施例涉及一种匹配3D图像的多个视角的位置的系统，从而将投影仪光学系统的可能失真最小化。在图8所示的系统中，除了成像计算装置61和图像投影仪62之外，通常还包括一个与成像计算装置61电连接的数字相机80、成像计算装置61中的图像采集和处理软件81以及屏幕84。总地来说，图8中的设备运行以产生反馈回路，在该反馈回路中对与投影图像的外观相关的数据进行收集和分析，以确定实现期望的图像特性所需要的对投影系统所要进行的修改。
数字相机80是一种公知类型的装置，通常可通过商业手段得到。相机80的特定型号可依需要而改变。相机80通常使用某种类型的辐射-电转换技术，比如电荷耦合器件(CCD)，实现以电子形式采集可由成像计算装置61使用的投影图像的数据的功能。
投影仪62和相机80均设置在平台82上。该平台是用于放置投影仪62的设备。首先，投影仪62的放置和方向可以是随机而定，或者应用各种公知的标准程序设置。虽然图8表示这些投影仪62是以直线方向放置的，但是还可以采用其它方向。例如，可以将这些投影仪放置成阵列或者其它几何形状或图案。相机80一般放置在接近平台82的中央并且在投影仪62之间。
然后，成像计算装置61和图像投影仪62将根据上面附图6和7以及附加的文字所述的方式工作。具体地说，成像计算装置61一般命令每个图像投影仪62以下述方式在屏幕84上投影测试图像83(一般是一个色点的二维阵列或一组正交线条)。
将投影仪62之一，通常是最接近平台82中央的投影仪作为基准使用。这个基准投影仪将测试图像83照射到屏幕84上，以产生一个基准测试图像。然后，成像计算装置61命令第二投影仪62也将测试图像83发射到屏幕84上，从而使得来自两个投影仪62的投影图像重叠在屏幕84上。然而，第二投影仪62在成像计算装置61的命令下发射的图像是一个经过稍许调整的与基准测试图像不同的图像。一般来说，从第二投影仪发出的图像在颜色上与基准图像不同。
为了易于通过数字相机80检测测试图像83之间的差异，屏幕84最好是暂时挡在回归反射屏幕上的白纸或常规的投影屏幕。这样，屏幕84具有基本上为线性的反射特性，以使得由屏幕引起的投影测试图像的变形最小。
相机80拍摄这组重叠的图像83并且将与该图像相关的数据发送给成像计算装置61。如图7和附加的文字所述，成像计算装置61中的图像采集和处理软件81使用由相机80采集的图像数据计算所照射的测试图像83的所有失配，并且通过图像处理来确定此失真所有必要的补偿。类似地，图像采集和处理软件81的结果可以用于通过物理手段对平台82上的投影仪62重新取向。
通过这种方式，成像计算装置61从相机80接收到测试图像，并利用这一测试图像，计算出将发送给这两个投影仪用于形成3D图像的图像的形状和位置。采用相同的方式，可以对其它成对的用于投影图像匹配的投影仪62重复该程序。
结束上述图像匹配程序之后，可以将屏幕83去掉，以使该系统可以照常进行3D成像的工作。
如上所述，本发明的3D投影系统一般包括一个具有不对称散射图样的回归反射屏幕。在一种实施例中，该回归反射屏幕具有如图9所示的散射图样。具体地说，图9表示的屏幕起到了回归反射膜的作用，该回归反射膜在水平方向上具有相对较窄(在3度的角度范围之内)的高斯角度分布，而在垂直方向上具有宽角度(在50度或更大的范围内)的散射。因此，该回归反射屏幕由入射光线90产生散射图样92。散射图样92具有的水平散射光线93与反射光线91之间的角度相对较低。相反，该散射图像92具有的垂直散射光线94与反射光线91之间的角度相对较大。这些特征所产生的3D显示具有良好的视觉特性。
图10表示具有图9中的期望散射图样的回归反射屏幕的一种可行的实施例。图10表示通过在透明的聚合物膜上模压出两组微棱镜形成的屏幕100。在前表面101模压出高空间频率水平棱镜，以由入射光线103导出广角垂直散射104。具体说来，前表面水平棱镜具有处于50-200mkm范围之内的特定频率(special frequency)。相反，在后表面102模压出低空间频率的90度微棱镜，该微棱镜进行全内反射的一维回归反射。后表面垂直棱镜具有处于5-20mkm范围之内的特定频率，此结构由入射光线103产生相对较低的角的水平散射光线105。
图11中示出了回归反射屏幕的另一种可行的实施例。组合屏幕110是通过两个膜的组合而形成的。具体地说，可以通过将微棱镜回归反射膜111与一维微棱镜阵列散射膜112组合起来，以实现回归反射屏幕110中的根本散射(essential scattering)。这种组合形成的回归反射屏幕110产生所期望的散射图样，该散射图样由入射光线113产生具有广角垂直散射光线114和成角相对较低的水平散射光线115。在图12和13中，分别更加详细地表示出所述微棱镜回归反射膜111和一维微棱镜散射膜112。
虽然本文已经示出并介绍了本发明的优选实施例，但是对本领域的技术人员显而易见的是，这些实施例仅仅是为了举例而给出的。此时，多种多样的非实质性变化、改变和替换对本领域的技术人员来说是显而易见的，并不会超出由本申请人在本文中公开的发明的范围。因此，期望本发明仅受所附的权利要求书的精神和范围所限定。
权利要求
1.一种产生物体的感知为三维图像的方法，所述方法包括获取一个回归反射屏幕，所述屏幕具有已知的非线性光反射图样；根据能够将图像投影到所述屏幕上的几何排列将至少两个图像投影仪排列；同时计算由每个投影仪进行投影的单独的二维图像，所述经计算得到的图像是根据关于该物体的立体像对图像信息并且根据所述图样和所述几何排列而确定的；以及将所述经计算得到的图像从所述投影仪投影到所述屏幕上，以使它们从所述屏幕上反射给处于已知地点的观看者，其中反射的方式为可以产生所述物体的三维图像。
2.根据权利要求1所述的方法，其中所述图样包括高斯分布。
3.根据权利要求1所述的方法，其中所述图样具有相对较宽角度的垂直散射和相对较窄角度的水平散射。
4.根据权利要求1所述的方法，其中所述投影仪包括用于显示所述经计算得到的图像的透射液晶显示面板。
5.根据权利要求1所述的方法，其中所述经计算得到的图像是采用迭代算法计算的，以减小所述物体的所述三维图像中的误差。
6.根据权利要求5所述的方法，其中所述经计算得到的图像的所述迭代计算是由使用神经网络的计算装置执行的。
7.根据权利要求1所述的方法，其中所述经计算得到的图像是通过下述步骤获得的在显示每个所述经计算得到的图像时，估算由每个投影仪中的显示装置中的各个像素所产生的光波成分；根据所述估算的光波成分和所述已知的图样的预期相互作用计算作为结果的物体三维图像；将该作为结果的三维图像与期望的三维图像相比较，以得到误差的程度；以及调整所述平面图像，直到所述误差达到预定阈值。
8.根据权利要求7所述的方法，其中使用神经网络执行用于计算所述幅度信息的所述步骤。
9.根据权利要求1所述的方法，还包括检测所述观看者的位置。
10.根据权利要求1所述的方法，其中同时计算由各个投影仪投影的单独的二维图像的所述步骤包括求解一个非线性方程组。
11.根据权利要求1所述的方法，还包括步骤由各个所述投影仪投影一幅测试图像；采集并比较所述投影的测试图像；以及按需要修改所述经计算得到的图像的投影以符合该投影仪的投影。
12.一种用于产生物体的感知为三维图像的系统，所述系统包括一个回归反射屏幕，所述屏幕具有已知的非线性光反射图样；至少两个投影仪，所述投影仪能够将二维图像投影到所述屏幕上，所述投影仪相对于所述屏幕按几何排列而排列，并且所述投影仪各自包含用于产生二维图像的可电子切换的显示装置；一个成像计算装置包括一个处理器，所述装置适于控制所述显示装置的像素，并且所述装置适于为每个显示装置产生一个单独的平面图像，所述平面图像是由所述装置利用所述图样和所述几何排列以及物体的电子立体像对图像计算得到的。
13.根据权利要求12所述的系统，其中所述显示装置是一个透射液晶显示面板。
14.根据权利要求12所述的系统，每个投影仪包括至少三个透射显示装置和至少三个光源，每个所述透射显示装置和每个所述光源适于产生所述平面图像的三种颜色成分之一，所述平面图像的所述颜色成分可结合，以产生所述物体的彩色三维图像。
15.根据权利要求12所述的系统，其中在所述计算装置中，迭代地计算所述平面图像，以减小所述物体的所述三维图像中的误差。
16.根据权利要求15所述的系统，其中所述计算装置使用神经网络，以减小所述物体的所述三维图像中的误差。
17.根据权利要求12所述的系统，其中所述计算装置通过根据下述步骤的操作计算所述平面图像在显示所述平面图像时，估算由所述显示装置中的各个像素产生的光波成分；从所述估算的光波成分与所述屏幕的所述图样的预期相互作用计算作为结果的物体的三维图像；将作为结果的三维图像与期望的三维图像相比较，以得到误差的程度；以及调整所述平面图像，直到所述误差达到预定阈值。
18.根据权利要求17所述的系统，其中使用神经网络执行计算所述幅度信息的所述步骤。
19.根据权利要求12所述的系统，其中所述显示控制系统还包括用于检测所述三维图像的观看者空间定向的装置，并且其中所述计算装置适于调整所述产生的平面图像，使得所述观看者能够感知所述物体的所述三维图像。
20.根据权利要求12所述的系统，其中所述计算装置通过求解一个非线性方程组同时计算由各个投影仪投影的所述平面图像。
21.根据权利要求12所述的系统，还包括至少四个投影仪，由此所述系统可以为两个不同的观看者显示两个单独的感知为三维的图像。
22.根据权利要求12所述的系统，其中所述图样包括高斯分布。
23.根据权利要求12所述的系统，其中所述图样包括相对较宽角度的垂直散射和相对较窄角度的水平散射。
24.根据权利要求12所述的系统，其中所述回归反射屏幕包括的薄膜具有模压有高空间频率微棱镜的第一表面和模压有低空间频率微棱镜的第二表面。
25.根据权利要求12所述的系统，其中所述回归反射屏幕包括一个微棱镜回归反射膜和一个一维微棱镜阵列散射膜。
26.根据权利要求12所述的系统，还包括一个相机，该相机与所述成像计算装置电连接，其中所述成像计算装置接收由所述相机采集的图像并使用所述采集到的图像修改所述独立的平面图像的生成。
全文摘要
本文所公开的是采用两个通过电子手段控制的投影仪和一个回归反射屏幕的三维投影系统和相关方法。当图像投影到回归反射屏幕上时，该屏幕产生一种已知的非线性光反射图样。根据所输入的立体像对图像和关于投影仪和屏幕的信息，使用图像计算装置为每个投影仪计算平面图像信息。在本发明的优选实施例中，所述投影系统使用这样一种图像计算装置该装置采用神经网络反馈计算法来计算在任意给定时刻将由多个投影仪投影到屏幕上的适合的平面图像信息和适合的图像。可以采用多于两个投影仪来产生多个视角视图，以支持多个观看者等。在另一实施例中，所述投影系统包括一个数码相机，该相机提供关于输出图像的反馈数据。
文档编号H04N15/00GK1640153SQ03805219
公开日2005年7月13日 申请日期2003年1月6日 优先权日2002年1月4日
发明者安德雷·N·普季林, 安德鲁·A·卢基扬伊萨 申请人:纽鲁克公司