专利名称：三维电视系统和提供三维电视的方法
技术领域：
本发明一般涉及图像处理，尤其涉及获取、传送和再现自动立体图像。
背景技术：
人的视觉系统根据多种线索来获取场景的三维信息。两种最重要的线索是双目视差和运动视差。双目视差是指每只眼看见场景的不同图像，而运动视差是指当头部在运动时看见场景的不同图像。1838年，利用世界上第一台三维显示设备演示了视差与深度感之间的联系。
从那以后，开发了许多立体图像显示器。三维显示器对娱乐、广告、信息演示、远地临场、科学观察、远程操作和艺术等许多应用而言具有巨大潜能。
1908年，曾对彩色摄影术和三维显示作出主要贡献的GabrielLippmann考虑制造一种能提供一种“逼真的窗口视图”的显示器。
1970年后，作为全息成像术先驱之一的Stephen Benton对Lippmann的设想进行了改进。他开始设计一种特征类似于电视的可伸缩空间显示系统，它能传送具有适当遮挡关系的全色3D图像。这种显示器提供了具有双目视差的图像即立体图像，该图像无需特殊透镜就能从任意观看点看到。这类显示器称为多视图自动立体显示器，因为它们为多个观众自然提供了双目视差和运动视差。
我们知道多种商用自动立体显示器。大多数现有系统都显示双目或立体图像，尽管近来提出的有些系统能显示多达24个视图。然而同时显示多个透视图固然要求成像媒体具有很高的分辨率。例如，具有16种不同水平视图的最大HDTV输出分辨率要求每一输出图像为1920×1080×16即高于3300万像素，这完全超过了最通用的显示技术。
只是到最近，才能满足这种高分辨率内容的实时获取、传送和显示的处理和带宽要求。
目前，许多数字电视信道都用以前单一模拟信道所占的同一带宽来传送。这使得人们重新开始致力于广播3D TV的发展。日本3D联盟和欧洲ATTEST项目都已开始发展和促进3D TV的I/O设备和分配机制。这两个团体的目标是要开发商业上可行的3D TV标准，这种标准与广播HDTV兼容，而且适应当前和未来的3D显示技术。
然而，到目前为止，还没有实现全功能的端对端3D TV系统。
实际上，许多出版物和专利中都描述了三维TV。由于这一工作涉及各种不同的科学和工程技术领域，因此提供了广泛的背景。
光场获取光场表示在没有遮光板的空间范围内随位置和方向变化的辐射。本发明对没有场景几何形的光场的获取和基于模型的3D视频进行了区分。
本发明的一个目的在于，获取一种时变光场，该光场穿过一个2D光学歧管(manifold)并以最小延时通过另一个2D光学歧管发射同方向光场。
基于图像的制图法和3D显示器方面的早期工作涉及了静态光场的获取。早在1929年，描述了对大量对象的光学多摄像机记录方法以及第一种基于投影的3D显示器。这种系统采用了光学摄像机与幻灯投影机之间一一映射关系。
因此，需要通过在显示器上借助基于图像的再现产生新的虚拟视图来消除这种限制。
只是到最近，才实现了动态光场的获取，参见Naemura et al.，“Real-time video-based rendering for augmented spatialcommunication”，Visual Communication and Image Processing，SPIE，620-631，1999。他们实现了一种灵活的4×4光场摄像机，并且一种更新的方案包括商用实时深度估算系统，参见Naemura etal.，“Real-time video-based modeling and rendering of 3d scenes”，IEEE Computer Graphics and Applications，pp.66-73，March 2002。
另一种系统在专用128×128像素的随机存取CMOS传感器的前面使用了透镜阵列，参见Ooi et al.，“Pixel independent random accessimage sensor for real time image-based rendering system”，IEEEInternational Conference on Image Processing，vol.II，pp.193-196，2001。Stanford的多摄像机阵列包括可配置结构中的128台摄像机，参见Wilburn et al.，“The light field video camera”，Media Processors2002，vol.4674 of SPIE，2002。其中，专用硬件可使这些摄像机同步并且可将视频流存储到磁盘中。
MIT光场摄像机使用了与一组商用PC连接的8×8阵列的廉价成像机，参见Yang et al.，“A real-time distributed light field camera”，Processings of the 13th Eurographics Workshop on Rendering，Eurographics Association，pp.77-86，2002。
所有这些系统为动态光场的导航和操纵提供了某种形式的基于图像的再现。
基于模型的3D视频另一种获取3D TV内容的方法是利用一些稀疏排列的摄像机和一种场景模型。典型的场景模型其范围从深度地图到视觉外壳，或者人体形状的详细模型。
在某些系统中，来自摄像机的视频数据被投射到模型上，以产生逼真时变的表面纹理。
一种虚拟现实的最大3D视频演播室在屋顶安装50多台摄像机，参见Kanade et al.，“Virtualized realityConstructing virtual worldsfrom real scenes”，IEEE Multimedia，Immersive Telepresence，pp.34-47，January 1997。
Blue-C系统是少数3D视频系统之一，用以在空间临境环境中提供实时捕获、传送和即时显示，参见Gross et al.，“Blue-CA spatiallyimmersive display and 3d video portal for telepresence”，ACMTransactions on Graphics，22，3，pp.819-828，2003。Blue-C使用集中式处理器，用于压缩和传送3D“视频片段”。随着视图数量的增加，这会限制系统的可伸缩性。该系统还可以获取视觉外壳，但这局限于个体对象，而不是整个室内或室外的场景。
欧洲ATTEST项目利用每帧的深度地图来获取HDTV彩色图像，参见Fehn et al.，“An evolutionary and optimized approach on3D-TV”，Proceedings of International Broadcast Conference，pp.357-365，2002。
目前已经建造一些实验性的HDTV摄像机，参见Kawakita etal.，“High-definition three-dimension camera-HDTV version of anaxi-vision camera”，Tech.Rep.479，Japan Broadcasting Corp.(NHK)，Aug.2002。这些深度地图可以作为增强层发送到现有MPEG-2视频流中。2D内容可以利用深度重现过程进行转换。在接收机端，可以利用基于图像的再现过程来产生立体对或多视图3D图像。
然而，即使是利用精确的深度地图，由于场景中的遮挡或严重差异性，难以在显示端再现多个高质量视图。此外，单一视频流无法捕获重要的与视图相关的效果，比如镜面加亮区。
现实世界场景的深度或几何形的实时获取仍很困难。
光场压缩和传送此外，我们知道静态光场的压缩和流式传输。然而，很少注意动态光场的压缩和传送。我们可以区分所有观看点编码(其中所有光场数据在显示设备中都可以使用)和有限观看点编码。通过将来自用户的信息发回到摄像机，有限观看点编码只发送特定视图所需的数据。这使得可以减小传输带宽，但这种编码并不适合于3D TV广播。
关于3D音频和视频的MPEG Ad-Hoc Group已经构成，以研究动态光场和其他多种3D视频情形的有效编码策略，参见Smolic etal.，“Report on 3dav exploration”，ISO/IEC JTC1/SC29/WG11Docu ment N5878，July 2003。
用于动态光场编码的实验性系统采用称为时间编码的时域运动补偿，或采用称为空间编码的摄像机之间差异性预测，参见Tanimotoet al.，“Ray-space coding using temporal and spatial predictions”，ISO/IEC JTC1/SC29/WG11Document M10410，December 2003。
多视图自动立体显示器全息显示器自从本世纪初以来，我们已经知道全息术。全息技术于1962年首先应用于图像显示。在该系统中，来自照明源的光在全息表面上被干涉条纹所衍射以重建原对象的光波阵面。全息图显示了连续模拟光场，而全息图的实时获取和显示一直以来被认为是3D TV的“圣杯”。
MIT的Stephen Benton的空间成像小组已在率先开发电子全息术。他们最近的设备“Mark-II Holographic Video Display”利用声-光调制器、束分裂器、运动反射镜和透镜来建立交互式全息图，参见St.-Hillaire et al.，“Scaling up the MIT holographic video system”，Proceedings of the Fifth International Symposium on DisplayHolography，SPIE，1995。
在更近的系统中，已通过用LCD、聚焦灯阵列、光寻址空间调制器和数字微反射镜设备取代声-光调制器而删除运动部件。
所有目前的全息视频设备都使用单色激光。为了减小显示屏的尺寸，它们只提供了水平视差。显示硬件相对于图像尺寸(每维通常为几毫米)而言很大。
全息图的获取还需要细心控制的物理过程而且无法实时完成。至少在可预见到的将来，全息系统还不太可能在大显示器上获取、传送和显示动态的自然场景。
立体式显示器立体式显示器扫描三维空间，并且单独寻址和照亮体素。目前有许多商业应用系统可用，比如空中交通管制、医疗和科学可视化。然而，立体系统产生了透明图像，这种图像无法提供很令人满意的三维感觉。由于它们色彩再现受限且缺少遮挡，因此立体式显示器无法很好地再现自然场景的光场。大尺寸立体式显示器的设计还有着难以克服的一些障碍。
视差显示器视差显示器发射空间变化的定向光。许多早期的3D显示器研究集中在对Wheatstone的立体镜的改进上。F.Ives使用带有垂直裂缝的板作为具有交替的左眼/右眼图像条的图像上的栅栏，参见授权给Ives的美国专利号725,567“Parallax stereogram and process for makingsame”。所得到的设备是一种视差立体图。
为了扩展立体图的有限的视角和受限的观看位置，可以在交替的图像条之间使用更窄的裂缝和更小的间距。这些多视像是视差全景图。立体图和全景图只提供了水平视差。
球面透镜1908年，Lippmann描述了用于代替裂缝的球面透镜阵列。通常，这种球面透镜常称为“苍蝇眼”透镜片。所得到图像是完整照片。完整照片是指每一像素或“小透镜”的辐射方向变化的真实平面光场。实验上已使用具有高分辨率LCD的完整透镜片，参见Nakajima etal.，“Three-dimensional medical imaging display withcomputer-generated integral photography”，Computerized MedicalImaging and Graphics，25，3，pp.235-241，2001。成像媒体的分辨率必须很高。例如，具有4个水平和4个垂直视图的1024×768像素的输出需要每一输出图像有1200万像素。
3×3投影机阵列使用实验性高分辨率的3D完整视频显示器，参见Liao et al.，“High-resolution integral videographyauto-stereoscopic display using multi-projeetor”，Proceedings of theNinth International Display Workshop，pp.1229-1232，2002。每台投影机都装有一个变焦镜头以得到2872×2150像素的显示。这种显示提供了具有水平和垂直视差的3个视图。对于240×180像素的输出分辨率，每个小透镜都涉及12个像素。针对几何图像变形，可以使用专用图像处理硬件。
双凸透镜状显示器双凸透镜片自1930年后就已经知道了。双凸透镜片包括称为“双凸透镜(lenticules)”的细圆柱形透镜的线性阵列。这通过减小垂直视差可以减少图像数据量。双凸透镜图像为广告、杂志封面和明信片找到广泛的用途。
当今的商业自动立体显示器基于置于LCD或等离子体屏幕顶部的视差栅栏、子像素滤片或双凸透镜片的变动。视差栅栏通常会降低图像的一些亮度和锐度。通常限制了不同的透视图的数量。
例如，最高分辨率的LCD提供了3840×2400像素的分辨率。为水平视差增加例如16个视图会把水平输出分辨率降至240像素。
为了改善显示器的分辨率，1931年，H.Ives通过在双凸透镜片背面刷上散开的涂料并利用该片作为39台幻灯投影机的投影面，发明了多投影机双凸透镜显示器。从那以后，描述了双凸透镜片与多投影机阵列的许多不同的配置。
视差显示器方面的其他技术包括时分复用和基于跟踪的系统。在时分复用中，利用滑动窗或LCD遮光器在不同的时间投影多个视图。这固然减小了显示的帧频，并可能导致明显的闪烁。头部跟踪设计主要集中用于高质量立体图像对的显示。
多投影机显示器可伸缩的多投影机显示器墙近来很流行，并且已实现了许多种系统，例如，参见Raskar et al.，“The office of the futureA unifiedapproach to image-based modeling and spatially immersive displays”，Proceedings of SIGGRAPH’98，pp.179-188，1998。这些系统提供了很高分辨率、灵活性、高性能价格比、可伸缩性和大格式图像。多投影机系统的图形再现可以有效地在成组的PC上并行实现。
投影机还提供了必要的灵活性，以适应非平面显示几何形。对于大显示器，在有很高分辨率的显示媒体(如有机LED)可以使用之前，多投影机系统一直是多视图3D显示器的唯一选择。然而，许多投影机的人工排列很麻烦，并且在非平面屏幕或3D多视图显示器情况下根本不可能。
有些系统使用摄像机和反馈环，以便自动计算用于自动投影机排列的相对投影机姿态。在线性2轴台架上安装的数字摄像机还可以用于为多投影机整体显示系统排列投影机。
发明内容
本发明提供了一种用于实时获取和传送动态场景的3D图像的系统和方法。为了达到计算和带宽的高要求，本发明采用了分布式可伸缩结构。
该系统包括摄像机阵列、网络连接的处理器模块组和带有双凸透镜状屏幕的多投影机3D显示单元。该系统无需特殊观看镜就能为多个观看点提供立体彩色图像。不必设计完善的显示光学系统，我们采用了用于自动调整3D显示的摄像机。
在3D显示器的长期历史中，该系统首次提供了实时端对端3DTV。
图1是根据本发明的3D TV系统的框图；图2是根据本发明的解码器模块和用户模块的框图；图3是根据本发明的具有背面投影的显示单元的顶视图；图4是根据本发明的具有正面投影的显示单元的顶视图；和图5是观众一侧与投影一侧的双凸透镜片之间的水平移位的示意图。
具体实施例方式
系统结构图1示出了根据我们的发明的3D TV系统。系统100包括获取级101、传送级102和显示级103。
获取级101包括同步视频摄像机阵列110。小的摄像机组与制作者模块120连接。制作者模块捕获实时的非压缩视频并利用标准MPEG编码方式对视频进行编码，以产生压缩视频流121。制作者模块还产生观看参数。
压缩视频流通过传输网130(它可以是广播、有线、卫星TV或因特网)进行传送。
在显示级103中，解码器模块140将各视频流解压缩。解码器模块通过高速网络150(如千兆比特以太网)连接到一组用户模块160。用户模块再现合适的视图并将输出图像发送到2D、立体对3D或多视图3D显示单元310。
控制器180将实效观看参数广播到解码器模块和用户模块，见图2。控制器还与一台或多台摄像机190连接。这些摄像机安置在投影区和/或观看区，为显示单元提供输入能力。
分布式处理用于使系统100在获取、传送和显示的视图的数量上可伸缩。该系统可以适合于其他输入和输出形式(比如专用光场摄像机)以及不对称处理。注意，我们的系统的总体结构并不取决于该特定类型的显示单元。
系统操作获取级每台摄像机110实时获取逐行扫描的高清晰度视频。例如，我们用16台彩色摄像机，它们具有1310×1030、每像素8比特的CCD传感器。这些摄像机通过IEEE-1394“火线”高性能组行总线111连接到制作者模块120。
全清晰度的最大传送帧频为例如每秒12帧。两台摄像机连接到8个制作者模块中的每一个。在我们的原型中的所有模块都有3GHz奔腾4处理器、2GB RAM和运行的Windows XP。应当注意，还可以使用其他处理器和软件。
我们的摄像机110具有允许通过视频同步进行完全控制的外部触发器。我们使用带有定制可编程逻辑器件(CPLD)的PCI卡来产生摄像机110的同步信号112。尽管可以构造具有软件同步的摄像机阵列，然而我们优先选择用于动态场景的精确硬件同步。
由于我们的3D显示器只示出了水平视差，因此我们按有规则间隔的线性和水平的阵列来排列摄像机110。通常，摄像机110可以随意排列，这是因为，我们在用户模块中采用了基于图像的再现方式来合成新视图，如下所述。理论上，每台摄像机的光轴垂直于公共摄像机平面，并且每台摄像机的“向上矢量”与摄像机的垂直轴对准。
实际上，不可能使多台摄像机精确地排成一行。我们采用标准校准过程来确定内在的(即焦距、径向畸变、色彩校准等)和外在的(即旋转和平移)摄像机参数。这些校准参数作为观看参数被当作部分视频流来广播，并且在摄像机排列中的相对差异可以通过在显示级103中再现校正的视图来处理。
间隔密集的摄像机阵列提供了最好的光场捕获，但当光场被欠抽样时可以使用高质量的重建滤光器。
在TV演播室内，可以放置很多摄像机。用户(摄像机操作员或观众)可以通过操纵杆选择摄像机的子集来显示场景的运动2D/3D窗，以便提供自由观看点的视频。
传送级以每秒30帧传送16个分辨率为1310×1030且每像素24比特的非压缩视频流需要14.4Gb/s的带宽，这大大超出了目前的广播能力。对于动态多视图视频数据的压缩和传输，有两种基本的设计选择。要么采用空间或时空编码方式来压缩来自多台摄像机的数据，要么单独采用时间编码方式来压缩每一视频流。时间编码方式在每帧内还采用空间编码方式，但在视图之间却不采用空间编码方式。
第一种选择提供了较高的压缩，这是因为在视图之间存在着高相干性。然而，较高的压缩要求多个视频流通过集中式处理器来压缩。这种压缩中枢结构是不可伸缩的，因为更多视图的增加最终会压倒编码器的内部带宽。
因此，我们在分布式处理器上采用单独视频流的时间编码方式。这种策略还具有其他一些优点。现有宽带协议和压缩标准不需要改变。我们的系统与常规数字TV广播基础设施兼容，并且可以完全协调地与2D TV共存。
目前，数字广播网络承载着好几百个信道和大概一千多个MPEG-4信道。这使得可以为3D TV提供任意多个(如16个)信道。不过，应当注意，我们优先选择的传输策略是广播方式。
我们的系统还可以允许其他应用(如对等的3D视频会议)。采用现有2D编码标准的另一个优点是，接收机上的解码模块很好建立并且易于获得。此外，解码器模块140还可以合并到数字TV“机顶”盒中。解码器模块的数量可以取决于显示是2D的还是多视图3D的。
注意，我们的系统可以适应于其他3D TV压缩算法，只要多个视图可以被编码成例如2D视频加深度地图、被传送并在显示级103中被解码。
8个制作者模块通过千兆比特以太网连接到8个用户模块160。摄像机全清晰度(1310×1030)的视频流用MPEG-2进行编码紧接着通过制作者模块进行解码。这基本上对应于具有很大带宽的宽带网，几乎没有延时。
千兆比特以太网150提供了解码器模块与用户模块之间的全连通性，这对于我们的分布式再现和显示实现来说是很重要的。
显示级显示级103产生了适当的图像，以在显示单元310上进行显示。显示单元可以是多视图3D单元、安装在头部的2D立体单元或常规2D单元。为了提供这种灵活性，该系统需要每时都能向终端用户提供所有可能的视图(即整个光场)。
控制器180通过指定观看参数(比如虚拟摄像机的位置、定向、视野和焦平面)来请求一个或多个虚拟视图。然后，利用这些参数相应地再现输出图像。
图2更详细示出了解码器模块和用户模块。解码器模块140将压缩视频121解压缩141成解压缩源帧142，并将当前解压缩帧通过网络150存储到虚拟视频缓冲器(VVB)162中。每个用户模块160都有存储所有当前解码帧(即特定时刻的所有获取视图)的数据的VVB。
用户模块160通过处理来自VVB162中的多个帧的图像像素产生输出视频的输出图像164。鉴于带宽和处理上的限制，不可能每个用户模块接收来自所有解码器模块的全部源帧。这还可能限制系统的可伸缩性。关键在于能事先确定源帧对每个用户的输出图像的贡献。下面，我们将集中在对某一特定用户(即某一特定虚拟视图及其相应的输出图像)的处理。
对于输出图像164中的每个像素o(u，v)，控制器180确定观看序号v和对输出像素有贡献的每个源像素s(v，x，y)的位置(x，y)。每台摄像机都有相关的用于该目的的唯一观看序号，例如1至16。我们采用非结构化亮度图(lumigraph)再现方式从输入视频流121产生输出图像。
每一输出像素都是k个源像素的线性组合o(u,v)=Σi=0kwis(v,x,y)---(1)]]>混合权重wi可以由控制器根据虚拟视图信息预先确定。控制器将k个源像素(s)的位置(x，y)发送到每个解码器v以便进行像素选择143。请求用户模块的索引c发送到解码器以便进行从解码器模块到用户模块的像素路由选择145。
可选地，多个像素可以在解码器中进行缓冲以便进行像素块压缩144，然后再通过网络150发送。用户模块将像素块解压缩161，然后在VVB序号v中在位置(x，y)存储每一像素。
每一输出像素都请求来自k个源帧的像素。这意味着到VVB的网络150上的最大带宽为每秒帧数(fps)乘以输出图像尺寸的k倍。例如，如果k＝3、30fps并且HDTV输出分辨率例如为1280×720而每一像素12比特，那么最大带宽为118MB/s。以更多处理为代价，在采用像素块压缩144时，这一带宽可以大大降低。为了提供可伸缩性，使这一带宽与所传送视图总数无关是很重要的，我们的系统中就是这样的。
每一用户模块160中的处理过程如下所述。用户模块确定每一输出像素的公式(1)。权重wi是预先确定的并保存在查用表(LUT)165中。LUT165的存储器要求为输出图像164的尺寸的k倍。在我们的上述例子中，这相当于4.3MB。
假定是无损像素块压缩，那么用户模块可以容易地用硬件来实现。这意味着，解码器模块140、网络150和用户模块可以组合在同一块印刷电路板上，或者制作成专用集成电路(ASIC)。
我们宽松地使用术语“像素”。它通常表示某个像素，但它也可以是一个小矩形像素块的平均。此外，还可以将其他已知的滤波器应用于像素块，以便从多个周围的输入像素产生单个输出像素。
将源帧的预滤波块进行组合163以达到新的效果比如场深对于基于图像的再现而言是新颖的。尤其是，我们通过利用总区域表可以有效地进行预滤波图像的多视图再现。然后，利用公式(1)将像素的预滤波(总)块组合以形成输出像素。
我们还可以利用更高质量的混合，例如欠抽样光场。到目前为止，所请求的虚拟视图是静态的。然而，应当注意，所有源视图是通过网络150发送的。控制器180可以动态更新查用表165，以便于像素选择143、路由选择145和组合163。这使得光场的导航类似于接收机中具有随机存取图像传感器和帧缓冲器的实时光场摄像机。
显示单元如图3中所示，对于背面投影的布置，显示单元构成为双凸透镜状屏幕310。我们使用16台投影机以1024×768输出分辨率在显示单元上显示输出视频。注意，投影机的分辨率可以小于我们所获取和传送的视频的分辨率(1310×1030像素)。
双凸透镜片310的两个关键参数是视野(FOV)和每英寸的双凸透镜的数量(LPI)，也可以参见图4和5。双凸透镜片的面积在30°的FOV和15个LPI时为6×4平方英尺。针对多视图3D显示器，优化双凸透镜的光学设计。
如图3中所示，背面投影显示器的双凸透镜片310包括投影机一侧的双凸透镜片301、观众一侧的双凸透镜片302、散射体303以及双凸透镜片与散射体之间的衬底304。两个双凸透镜片301-302背靠背安装在中间夹有光散射体303的衬底304上。我们使用了柔性背面投影织物。
背靠背双凸透镜片和散射体被合成为单一结构。为了使两片的双凸透镜尽可能精确对准，使用一种透明树脂。树脂可以UV硬化和对准。
投影一侧的双凸透镜片301充当光复用器，将投射光作为细垂直条纹聚集到散射体上，或正面投影的反射体403上，参见下面的图4。考虑每个双凸透镜是理想的针孔照相机，散射体/反射体上的条纹捕获三维光场(即2D位置和方位角)的与视图相关的辐射。
观众一侧的双凸透镜片充当光去复用器，并将与视图相关的辐射投射回观众320。
图4示出了正面投影显示器的另一种布置400。正面投影显示器的双凸透镜片410包括投影机一侧的双凸透镜片401、反射体403以及双凸透镜片与反射体之间的衬底404。双凸透镜片401利用衬底404和光反射体403进行安装。我们使用了柔性正面投影织物。
理想地，摄像机110相对于显示单元的布置以及投影机171相对于显示单元的布置是基本相同的。考虑到机械安装，相邻投影机之间在垂直方向上的偏移可能是必要的，这可以使输出图像中垂直分辨率损失较小。
如图5中所示，双凸透镜状显示器的观看区501与每一双凸透镜的视野(FOV)502有关。整个观看区(即180度)分割成多个观看区。这里，FOV为30°，因此有6个观看区。每个观看区相应于散射体303上的16个子像素510。
如果观众320从一个观看区移动到下一个观看区，那么就会出现突然的图像“移位”520。这种移位的出现是因为在观看区的边界处我们从一个双凸透镜的第16个子像素移动到相邻双凸透镜的第1个子像素。此外，双凸透镜片相对于彼此的平移也会导致观看区的变动(即明显的转动)。
我们的系统的观看区很大。我们估计场深范围从显示器前大约2米至远远超出15米。随着观众移开时，双目视差减小，而运动视差增大。我们把这归结为如果显示器在远处，那么观众同时看到多个视图。因此，即使头部小的移动也会带来大的运动视差。为了增大观看区的范围，可以采用具有更宽FOV和更多LPI的双凸透镜片。
我们的3D显示器的局限性在于，它只提供了水平视差。我们相信这并不是一个严重的问题，只要观众保持静态。这一局限性可以利用完整透镜片以及二维摄像机和投影机阵列来纠正。对于在我们的双凸透镜状屏幕上具有某些垂直视差的显示图像，还可以采用头部跟踪技术。
我们的系统并不局限于在投影和观众一侧使用相同LPI的双凸透镜片。一种可能的设计方案是在投影机一侧具有双倍的双凸透镜数量。在散射体顶部的掩蔽可以每隔一个覆盖双凸透镜。镜片被偏移，使得投影机一侧的双凸透镜为观众一侧的某个双凸透镜提供图像。具有完整镜片或曲面镜向后反射的其他多投影机显示器同样也是可能的。
我们还可以增加垂直排列的具有不同强度(例如暗、中等和亮)的散射滤波器的投影机。于是，我们可以通过混合来自不同投影机的像素来改变每个视图的输出亮度。
我们的3D TV系统还可以用于点对点传输(比如在视频会议中)。
我们还可以使我们的系统适应具有可变形显示媒体(比如有机LED)的多视图显示单元。如果我们知道每个显示单元的定向和相对位置，那么，我们可以通过动态选择从解码器模块到用户的图像信息的路由来再现新的虚拟视图。
在其他应用当中，这还允许这样设计“不可见覆盖”利用可变形显示媒体(比如，指向挂在物体周围的正面投影织物的微型多投影机，或者直接安装在物体表面的小有机LED和小透镜)来显示与视图相关的图像。这种“不可见覆盖”显示了物体不存在时可能看见的与视图相关的图像。对于动态变化的场景，我们可以在物体周围或物体上放置多台微型摄像机以获取与视图相关的图像，然后在“不可见覆盖”上显示。
本发明的效果我们提供了一种具有可伸缩结构的3D TV系统，用于对动态光场进行分布式获取、传送和再现。一种新颖的分布式再现方法使得我们通过利用少量的计算和适度的带宽就可以插入新的视图。
尽管本发明通过一些优选实施方式的例子进行了描述，然而，应当理解，在本发明的思想和范围内可以作出其他适配和修改。因此，附属权利要求书的目的在于覆盖本发明的思想和范围内的所有这些变形和修改。
权利要求
1.一种三维电视系统，包括获取级，包括多台视频摄像机，每台视频摄像机用于实时获取动态变化场景的视频；用于使多台视频摄像机同步的装置；和与多台视频摄像机连接的多个制作者模块，这些制作者模块用于将所述视频压缩成压缩视频并确定多台视频摄像机的观看参数；显示级，包括多个解码器模块，用于将压缩视频解压缩成非压缩视频；多个用户模块，用于从解压缩视频中产生多个输出视频；控制器，用于将所述观看参数广播到多个解码器模块和多个用户模块；三维显示单元，用于根据所述观看参数同时显示所述多个输出视频；和连接装置，用于连接所述多个解码器模块、多个用户模块和多个显示单元；以及将获取级连接到显示级的传送级，用于传送所述多个压缩视频和观看参数。
2.权利要求1的系统，还包括多台摄像机，用于获取三维显示单元上显示的校准图像以确定所述观看参数。
3.权利要求1的方法，其中，显示单元是投影机。
4.权利要求1的系统，其中，显示单元是有机发光二极管。
5.权利要求1的系统，其中，三维显示单元采用正面投影。
6.权利要求1的系统，其中，三维显示单元采用背面投影。
7.权利要求1的系统，其中，显示单元采用二维显示元件。
8.权利要求1的系统，其中，显示单元是柔性的，并且所述系统还包括无源显示元件。
9.权利要求1的系统，其中，显示单元是柔性的，并且所述系统还包括有源显示元件。
10.权利要求1的系统，其中，根据观众的观看方向显示不同的输出图像。
11.权利要求1的系统，其中，显示环境的与视图相关的静态图像，以使显示面消失。
12.权利要求1的系统，其中，显示环境的与视图相关的动态图像，以使显示面消失。
13.权利要求11或12的系统，其中，通过多台摄像机获取所述环境的与视图相关的图像。
14.权利要求1的系统，其中，每个制作者模块与所述多台视频摄像机的一个子集连接。
15.权利要求1的系统，其中，多台视频摄像机处于有规则间隔的线性和水平的阵列中。
16.权利要求1的系统，其中，多台视频摄像机任意排列。
17.权利要求1的系统，其中，每台视频摄像机的光轴垂直于公共平面，并且多台视频摄像机的向上矢量垂直对准。
18.权利要求1的系统，其中，观看参数包括视频摄像机的内在和外在参数。
19.权利要求1的系统，还包括选择装置，用于选择获取视频子集的多个摄像机的子集。
20.权利要求1的系统，其中，每个视频都被单独在时间上压缩。
21.权利要求1的系统，其中，观看参数包括每台视频摄像机的位置、定向、视野和焦平面。
22.权利要求1的系统，其中，对于输出视频中的每个输出像素o(x，y)，控制器确定视图序号v和解压缩视频中对输出视频中的输出像素有贡献的每个源像素s(v，x，y)的位置。
23.权利要求22的系统，其中，输出像素是k个源像素的如下线性组合o(u,v)=Σi=0kwis(v,x,y)]]>其中，混合权重wi由控制器根据观看参数预先确定。
24.权利要求22的系统，其中，源像素块对每个输出像素有贡献。
25.权利要求1的系统，其中，三维显示单元包括显示器一侧的双凸透镜片、观众一侧的双凸透镜片、散射体以及每个双凸透镜片与散射体之间的衬底。
26.权利要求1的系统，其中，三维显示单元包括显示器一侧的双凸透镜片、反射体以及所述双凸透镜片与反射体之间的衬底。
27.权利要求1的系统，其中，摄像机相对于显示单元的布置以及显示单元相对于显示单元的布置基本上相同。
28.权利要求1的系统，其中，多台摄像机获取高动态范围的视频。
29.权利要求1的系统，其中，显示单元显示输出视频的高动态范围的图像。
30.一种三维电视系统，包括获取级，包括多台视频摄像机，每台视频摄像机用于实时获取动态变化场景的输入视频；显示级，包括用于同时显示从所述输入视频产生的输出视频的三维显示单元；和将获取级连接到显示级的传输网。
31.一种用于提供三维电视的方法，包括实时获取动态变化场景的多个同步视频；确定所述多个视频的观看参数；根据观看参数从多个同步输入视频产生多个输出视频；和在三维显示单元上同时显示多个输出视频。
全文摘要
一种三维电视系统包括获取级、显示级和传输网。获取级包括多台视频摄像机，用于实时获取动态变化场景的输入视频。显示级包括三维显示单元，用于同时显示从输入视频产生的输出视频。传输网将获取级连接到显示级。
文档编号H04N13/00GK1765133SQ200580000078
公开日2006年4月26日 申请日期2005年2月8日 优先权日2004年2月20日
发明者汉斯彼得·普菲斯特, 沃伊切赫·毛图希克 申请人:三菱电机株式会社