专利名称：三维显示系统的制作方法
技术领域：
本发明涉及三维显示系统和用于该三维显示系统的操作方法。
背景技术：
三维显示器正在得到越来越多的关注，并且在如何在不需要用户佩戴特定的眼镜或其他不便的装备或不需要用户的眼睛保持在特定位置处的情况下提供三维观看感觉方面进行了有意义的研究。三维(3D)显示器通过向观看者的双眼提供正被观看的场景的不同视图来将第三维添加到观看体验中。这可以通过使得用户佩戴眼镜来分离被显示的两个视图来实现。然而，由于这对用户而言可能被认为是不便的，所以在许多情况中，优选的是使用自动立体显示器，其使用在显示器处的装置(比如双凸透镜或屏障(barrier))来分离视图并且在不同的方向上发送它们，这些视图可以在所述不同方向上单独地到达用户的眼睛。自动立体显示器典型地产生视图的“锥(cone)”，其中每个锥包含对应于场景的不同视角的两个或通常更多个视图。邻近的视图之间的视角差被生成以对应于用户右眼与左眼之间的视角差。因此，眼睛观看两个邻近视图的观看者将感觉到三维效果。图1中示出了其中在观看锥(viewing cone)中生成九个不同视图的这种系统的实例。然而，尽管所述的自动立体显示器提供非常有利的三维体验，但是它们也有一些相关联的缺点。例如，自动立体显示器倾向于对观看者的位置高度敏感并且因此倾向于较不适用于其中不能保证人处于非常特定的位置的动态情况。特别地，正确的三维感觉高度依赖于用户被定位成使得用户的眼睛感觉到对应于正确的视角的视图。然而，在一些情形中，用户的眼睛可能没有被最优地定位以接收合适的图像视图，并且因此一些自动立体显示器应用和情况，特别是其中将适当的视图对着观看者的眼睛的情况，可以具有这样的趋势扰乱人的视觉系统从而导致不适的感觉。这种体验可能不限于处于其中接收不正确的视图的位置的用户，而是甚至可以在人不直接观看显示器而仅仅将其作为他的周边视觉的一部分观看时被体验到。对于其中人们可能沿着显示器移动由此经过多个视图的实施例， 所述体验可能是特别显著的。因此，一种改进的三维设计系统将是有利的，并且特别地允许增加的灵活性、改进的用户体验、减少的用户不适和/或提高的性能的系统将是有利的。
发明内容
因此，本发明设法优选地单独地或以任何组合地减轻、缓和或消除上文提及的缺点中的一个或多个。根据本发明的一个方面，提供了三维显示系统，包括用于呈现场景的多个视图的显示器，每个视图对应于该场景的观看方向(viewing direction)；用于为多个视图的每一个生成图像的再现单元，该再现单元能够为相邻视图生成包含有区别的图像数据的有区别的图像，在相邻视图被观看者的不同眼睛观看时有区别的图像数据提供三维深度效果；用于响应于在显示系统的观看区域(viewing area)中对用户的尝试检测来生成用户存在估计的装置；以及用于响应于所述用户存在估计修改相邻视图的所述有区别的图像以调适三维效果的修改装置。本发明可以在许多实施例和情况中提供改进的用户体验。特别地，可以为专注的 (dedicated)用户提供高效的3D体验，同时减少可能在一些环境和情况中体验到的不适和不便。例如，当估计不存在用户时显示系统可以在二维(2D)模式中操作并且在检测到用户可能在观看显示器时可以切换到三维(3D)模式。这可以减少可能带给没有位于用于最优3D观看位置的人的不便和不适，同时对于专注于3D体验的用户允许未受损的3D性能。所述用户存在估计可以是提供是否检测到任何用户的指示的二进制指示。观看区域可以是任何合适的区域并且事实上可以由用于确定用户存在估计的装置自身定义。例如，用户存在估计可以基于覆盖一定区域的照相机生成并且观看区域可以是由该照相机覆盖的区域。在一些实施例中，所述用户存在估计可以指示用户存在的估计的特性。例如，在用户存在估计中可以估计并反映相对于显示器的位置或距离。作为另一个实例，用户存在估计可以指示用户的移动性特性，并且特别地可以指示反映用户当前如何移动的特性。因此， 所提供的三维效果可以例如依赖于所检测到的用户是否正在移动。优选地，根据本发明的三维显示系统是自动立体显示系统，比如双凸透镜或屏障显示系统，其中透镜和遮光器(shutter)分别用于将视图信息对着用户的眼睛。更优选地， 显示器同时提供多于三个视图。在双凸透镜自动立体显示系统中，各个视图随后被放置在显示器上的透镜以特定角度引导在显示器与观看者之间。根据本发明的可选特征，所述修改装置被布置为响应于用户存在估计调节由有区别的图像表示的场景的深度范围。这可以允许特别吸引人的用户体验并且可以改进和/或便于对所提供的3D体验进行调节和控制。所述深度范围可以是最前面的与最后面的图像像素之间的感觉深度差。 该深度范围可以例如通过在相邻视图的图像的对应图像区域之间的视差特性和/或遮断 (occlusion)数据方面的有区别的数据来反映。根据本发明的可选特征，所述修改装置被布置为响应于用户存在估计修改有区别的图像数据以改变有区别的(differentiated)图像的对应的图像区域的视差特性。这可以允许控制3D效果的特别高效的且高性能的装置。例如，所述再现单元可以基于场景的深度数据生成视差值并且所生成的视差值可以简单地依赖于用户存在估计而被修改。例如，所述修改装置可以被布置为响应于用户存在估计调节相邻视图的对应图像区域之间的视差偏移。特别地，所述修改装置可以被布置为在用户存在估计指示存在用户时相对于在用户存在估计指示不存在用户时减少相邻视图的对应图像区域之间的视差偏移。根据本发明的可选特征，所述再现装置被布置为响应于场景的深度图数据生成有区别的图像数据，并且该修改装置被布置为响应于用户存在估计修改深度图值与视差值之间的关系。
这可以允许控制所生成的3D效果的特别高效且实用的方式。特别地，它可以减少复杂性、计算资源要求和/或成本，同时提供改进的用户体验。例如，像素相对于屏幕深度级(或例如最前景或背景级)的深度值可以在基于该深度值的再现之前被按缩放因子缩放。 然后该缩放因子可以简单地由修改装置控制。根据本发明的可选特征，所述修改装置被布置为响应于用户存在估计修改所述有区别的图像数据以改变所述有区别的图像之间的视角偏移。这可以允许控制所生成的3D效果的特别高效且实用的方式。特别地，它可以减少复杂性、计算资源要求和/或成本，同时提供改进的用户体验。例如，所述再现可以基于具有相关联的深度图数据的一个或多个公共图像并且所述再现单元可以被布置为基于指定图像的视角的输入值为不同的视图生成图像。然后，所述3D效果可以简单地通过修改用于再现要在不同视图中显示的不同图像的相对视角的差来控制。根据本发明的可选特征，所述修改装置被布置为响应于对新用户的检测而将显示系统从第一操作模式转变(transition)为第二操作模式，相对于第二操作模式，第一操作模式对应于减少的三维效果。这可以允许改进的用户体验，并且可以特别地允许对专注用户而言非常高效的3D 体验而不会在该用户和/或系统能够提供最优化的体验之前为其他观看者或该用户带来不便。例如，当用户存在估计指示在观看区域中不存在用户时，显示系统可以在2D模式中操作，由此不给经过的用户或观看区域之外的用户造成任何不便。当所述系统检测到存在新用户时，该系统可以切换到3D模式以向该用户提供3D体验。新用户可以是先前未被检测到的用户。因此，可以通过检测到之前未被检测到的用户来触发所述转变。新用户可以是观看区域中的唯一用户。作为特定实例，用户存在估计可以提供指示是否存在一个或多个用户或者是否不存在用户的估计的二进制估计。当所述估计从指示不存在用户改变为指示存在一个或多个用户时，可以促成(instigate)从2D 操作模式到3D操作模式的转变。根据本发明的可选特征，所述修改装置被设置为控制所述转变以使得转变时间介于0.5秒与10秒之间。这可以提供改进的用户体验。事实上，可以为用户提供更愉快的体验，其中2D图像逐渐化为3D图像(即深度感觉可以缓慢地显现)。这可以提供改进的体验并且还可以允许系统适于特定情况，比如适于针对用户的特定位置提供视图的最优化。根据本发明的可选特征，所述修改装置被布置为响应于用户的不存在的检测将显示系统从第二操作模式转变为第一操作模式，相对于第二操作模式，第一操作模式对应于减少的三维效果。这可以允许改进的用户体验并且特别地可以允许对专注用户而言非常高效的3D 体验而不会在该用户和/或系统能够提供最优化的体验之前为其他观看者或该用户带来不便。例如，当用户存在估计指示存在用户时，系统可以在3D模式中操作以向用户提供 3D体验。然而，当检测到用户离开时，显示系统可以切换到2D模式，由此不会导致任何对经过的观看者的不便。
用户的不存在可以是在观看区域中不存在任何用户，或者在一些实施例中可以对应于不存在先前存在的用户。因此，可以通过没有检测到之前被检测到的用户来触发所述转变。作为特定实例，用户存在估计可以提供指示是否存在一个或多个用户或者是否不存在用户的估计的二进制估计。当所述估计从指示存在一个或多个用户改变为其指示不存在用户时，可以促成从3D操作模式到2D操作模式的转变。在一些实施例中，所述修改装置可以被布置为控制所述转变以使得转变时间介于 0. 5秒和10秒之间。这可以提供改进的用户体验。根据本发明的可选特征，所述三维显示系统进一步被布置为呈现多个相邻的视图组，每个视图组包括所述多个视图中的至少一些。这可以允许改进的用户体验并且可以特别地允许向相对于显示器处于不同位置处的用户提供高质量3D体验。所述方法可以进一步允许便利的和/或改进的显示器设计和制造。根据本发明的可选特征，所述三维显示系统被布置为降低第一视图组的至少第一视图相对于第一视图组的第二视图的发光度(luminosity)，第二视图比第一视图更靠近第一视图组的中心。这可以允许改进的用户体验并且可以特别地减少在一些情况中可能被一些用户感觉到的不便和不适。特别地，尽管单个组内的多个视图被排序以对应于图像的方向(其分别对应于右眼和左眼)，但是该关系在组的末端破裂(break down).特别地，最向右的观看方向典型地将在组(锥)的末端，其邻近于来自对应于最向左观看方向的相邻组的视图。因此，3D图像感觉不仅将由于增加的视角而变形，而且它还将由于倒转的/镜像的观看方向而恶化。这可以导致变形的视图并且可以造成对用户的不便和不适。可以通过降低朝向所述组的边缘的发光度来减少这个效果。例如，当用户朝向组/观看锥的边缘移动时，图像可能变得更暗， 由此减轻向下一个组/观看锥移动的用户的眼睛之一的感觉冲击。可替代地或此外，它可以向用户提供反馈，该反馈可以使用户远离所述组/锥边缘偏移。所述发光度可以例如是图像的平均发光度或图像的默认或背景发光度。根据本发明的可选特征，所述三维显示系统进一步被布置为不在至少一个视图组的至少一个边缘视图中呈现场景的图像。这可以允许改进的用户体验并且可以特别地减少在一些情况中可能被一些用户感觉到的不便和不适。特别地，与上面的描述相当地，这可以减轻用户由于处于两个邻近组 /观看锥之间的边缘处而接收倒转的3D提示(cue)。特别地，可以通过改为提供没有细节的图像，比如全白色或全黑色图像(例如对应于没有亮度(luminance ))，来实现不呈现场景的图像。该方法可以防止用户感觉到镜像的 /反转(reversed)的3D提示，因为对于相对于显示器处于正常观看位置的用户而言，跨越 (span)多于两个视图可能是不可行的或者甚至是不可能的。可替代地或此外，它可以向用户提供反馈，该反馈可以使得用户远离所述组/锥边缘而偏移。根据本发明的可选特征，用户存在估计包括检测到的新用户关于显示器的相对用户位置的指示，并且所述三维显示系统进一步包括用于将视图组对向所述相对用户位置的装置。
这可以提供改进的用户体验并且可以特别地基于与先前描述的本发明的特性和选项的协同交互作用来提供改进的用户体验。例如，该方法可以允许向用户提供朝向他相对于屏幕的当前位置对准(target)的 3D效果。例如，该显示器可以调适以使得当新用户占据显示器前面的位置时，调适输出以使得用户处于组/观看锥的中心。然而，在用户占据该位置的时间期间以及在系统的调适时间期间，可以向用户呈现2D图像，由此避免不恰当对准(aligned)的3D呈现的不利效果。 当用户已经使他的位置稳定并且系统已经使观看锥适合稳定的位置时，所述三维特性可以逐渐地出现(turn up)以提供完全的3D体验。根据本发明的可选特征，用户存在估计包括指示用户对显示器的注意力的用户注意力估计。这可以允许改进的操作并且可以特别地允许系统对于特定用户环境和特性的改进的适应。根据本发明的一个方面，提供一种用于三维显示系统的操作方法，该操作方法包括在显示器上呈现场景的多个视图，每个视图对应于场景的观看方向；为所述多个视图的每一个生成图像，包括为相邻视图生成包含有区别的图像数据的有区别的图像，在相邻视图被观看者的不同眼睛观看时所述图像数据提供三维深度效果；响应于在显示系统的观看区域中对用户的尝试检测生成用户存在估计；以及响应于用户存在估计修改相邻视图的有区别的图像以调适三维效果。根据本发明的一个方面，提供一种用于执行上述方法的计算机程序产品。本发明的这些和其他方面、特征和优点将根据下文描述的实施例(一个或多个)而清楚明白并且将参照这些实施例而被阐释。
将参照附图仅通过实例描述本发明的实施例，在附图中图1是根据现有技术的提供多个视图的三维显示系统的图示； 图2示出根据本发明的一些实施例的三维显示系统的实例； 图3是由三维显示系统生成的多个视图的图示；以及图4示出用于根据本发明的一些实施例的三维显示系统的操作方法的实例。
具体实施例方式图2示出根据本发明的一些实施例的三维显示系统的实例。该三维显示系统被布置为生成对应于相同场景的不同视角的多个视图，以使得在两只眼睛中看到不同视图的用户可以感觉到三维图像。在该实例中，三维显示系统包括图像数据源201，其提供可以允许生成三维感觉的图像的图像数据和相关联的数据。在该特定实例中，所提供的数据是由对应于背景图像的一个或多个前景层和背景层的多个图像层提供的。此外，所提供的数据包括用于每个图像层的深度图，其包含图像层的每个像素的深度值。为了清楚和简短，下面的描述将聚焦于单个图像(比如静止图像)的处理。然而，将理解，所描述的原理同样适用于例如三维动画和活动图像的表示。例如，当分层的深度模型被用作三维视频信号时，所描述的处理可以单独地应用于三维视频信号的每个图像和深度图。图像数据源201被耦合到再现处理器203，再现处理器203被布置为再现由从图像数据源201接收的图像数据表示的场景的不同视图的多个图像。所述图像被再现为对应于分别被观看者的右眼或左眼感觉到的图像。特别地，再现处理器203可以生成图像范围，其中每个图像对应于一只眼睛的视图，邻近视图对应于另一只眼睛的视图。这些图像被生成，使得当两个邻近视图分别被用户的左眼和右眼感觉到时，期望的3D效果被用户感觉到。例如，当在完全3D模式中操作时，再现处理器203可以为中心视图生成图像，其对应于将在场景前面被眼睛直接看到的图像。该图像是基于所接收的图像层和深度图生成的。然后，右边紧邻的视图的图像可被生成以对应于将从向右偏移一定量的视角看到的视图，该一定量对应于在期望的距离处左眼与右眼之间的视角的典型差。通过重复该过程(即通过生成对应于进一步向右偏移一定量的视角的图像，该一定量对应于在期望距离处左眼与右眼之间的视角的典型差)生成该视图右边的视图的图像。相同的方法将用于对应于中心视图左边的视图的图像(其中视角在处于相反方向的两个图像之间偏移)。因此，被定位使得左眼和右眼接收来自邻近视图的图像的用户将接收包含反映不同视角的有区别的图像数据的有区别的图像。因此，用户可以感觉三维深度效果。在该特定实例中，再现处理器 203为九个邻近视图生成九个图像(类似于图1的实例)。如下文将解释的，再现处理器203可能不总是在3D模式中操作，而是可以在包括 2D模式的降级的3D模式中操作，在2D模式中所有生成的图像是相同的，即其中相同的图像用于所有视图。将理解，可以使用任何适当的用于针对给定视角从三维模型或视频信号生成图像的算法，而不减损(detracting from)本发明。例如，用于基于三维模型(比如三维分层深度模式)针对多视图显示器再现视图的算法对于本领域技术人员而言是众所周知的。用于基于分层深度模型再现视图的适当算法的实例可以在Siade，J等人在SIGGRAPH98发表的 "Layered Depth Images”中找到。用于再现视图的算法的其他来源可以在计算机图像学 (Computer Graphics)教材中找至lj。所生成的图像被馈送到组控制器205，其生成多个邻近视图组。组控制器205被布置为生成多个视图组，以使得每个组包括相同的视图。该组控制器205被耦合到布置为再现该视图组的3D显示器。每个视图组因此可以对应于例如图1中图示的观看锥。因此，在该实例中，3D显示器不仅仅显示非重叠视图，而且显示跨显示器重复的或复制的视图组。特别地，每个视图组可以在类似于图1中图示的观看锥的观看锥中呈现，但是该观看锥被跨显示器重复。因此，一个视图组的最左边的视图将邻近于邻近视图组的最右边的视图(其与该视图组自身的最右边的视图相同)。相似地，一个视图组的最右边的视图将邻近于邻近视图组的最左边的视图(其与该视图组自身的最左边的视图相同)。因此，在该实例中，视图的基本集被跨显示器重复，由此允许例如处于相对于显示器的不同位置的用户感觉高效的3d感觉。因此，如图3中图示的，观看锥可以跨显示器周期性地重复，以使得处于不同锥中的人可以观看到相同的内容。组控制器205将对应于不同视角的再现的图像分配给组中的适当的视图。特别地，对应于最左边的视角的图像被分配给每个组/锥的最左边的视图，对应于下一个最左边的视角的图像被分配给每个组/锥的下一个最左边的视图，等等。然而，此外，图1的系统被布置为响应于一个或多个用户的存在的估计调适行为， 以便减少处于次最优位置的观看者的不便和不适。特别地，如果观看者位于锥边界处从而他正观看来自不同组的视图，则他将看到左右倒转的视图，这可能扰乱人的视觉系统并且因此导致不适的感觉(例如左眼可以看到图3的+4图像，而右眼可以看到-4图像)。这些组/锥边界转变提供了关于大多数自动立体3D显示器的主要缺点之一。事实上，甚至当人不直接观看显示器而是仅将其作为他的周边视觉的一部分而观看时，可能在靠近锥边界处引起不适。当人们沿着显示器移动时，这可能特别关键，因为这将导致他们穿过若干锥边界。在图2的系统中，响应于所生成的对用户存在于适当区域中的估计而调适所述操作。用户估计可以特别地用于调适观看锥，以使得当检测到新用户时组控制器205生成视图组，使得将倾向于生成观看组/锥，其中用户位于观看锥中心。然而，尽管使观看锥/组适合于用户的位置可以大大地改进用户体验并且减少了不便和不适，但是用户最初可以位于观看组之间的边界上。例如，在从用户典型地开始观看屏幕直到他位于其期望的位置的时间间隔期间，用户可以体验到导致不适的变形的或镜像的3D提示。同样，调适最初的观看锥将不会减轻偶然的观看者(例如横过显示器移动的观看者)的问题。在图2的系统中，这是通过用户存在估计减轻的，用户存在估计还被用于控制由不同视图的图像提供的3D效果。作为特定实例，用户存在估计可以用于在2D操作模式与3D操作模式之间切换显示系统。例如，如果用户存在估计指示在给定的时间间隔没有检测到用户，则显示系统可以在2D操作模式中操作。这可以例如通过在所有视图中显示相同内容来实现，即通过在所有视图组的所有视图中呈现相同的再现的图像来实现。在此情况下，处于占据用于观看显示器的位置的过程中的偶然的观看者或用户将不会体验到任何变形或不适，而是将仅仅体验到二维场景。然而，当检测到用户时，显示系统可以例如通过逐渐增加深度效果例如超过两秒缓慢地从2D操作模式转变到3D操作模式。这将向用户给出对象缓慢地从2D变成3D的印象。而且，在转变到3D模式之前，观看组或锥可以瞄准(aim at)用户或以以下的方式放置使得相对于多个用户位置该方式是最优的。当检测到多个用户时，对观看组或锥的调适可以通过瞄准所述视图的锥/组使得最小数量的用户被锥边界撞上(hit)或通过最大化从所检测的脸(face)中心到他们的最近的锥边界的平均距离来实现。例如，如果检测到两个用户，则每个所检测到的脸的中心与最近的锥边界之间的平均距离或距离和可以针对例如锥的所有可能的对准(alignment) (例如针对显示器每个锥提供九个视图的九种不同的可能性)而被求值。然后可以选择提供到锥边界的最大组合距离的对准。相同的方法可以例如用于最小化从锥的中心到脸中心的组合距离。可替代地，对于每个对准，可以确定所检测的脸位置中的任意一个是否太靠近锥边界。然后可以选择一种对准，对于该对准而言在给定的锥边界间隔内不存在所检测的脸位置。如果没有这样的对准是可能的，则可以选择导致只有一个脸位于锥边界间隔中的对准。如果这是不可能的，则可以选择只有两个脸在锥边界间隔中的对准，等等。
将理解，依赖于用户的数量和位置，调适观看锥/组以使得将没有用户处在观看锥之间的边界处可能不总是可能的。在一些实施例中，这可以被认为是可接受的(例如位于边界内的用户典型地可以在他们没有感觉到可接受的3D图像的情况下移动)。然而，在其他实施例中，可以响应于视图组的边界间隔中用户的检测调节3D效果。例如，所述设备可以保持在2D操作模式中，直到检测到在没有任何用户位于观看锥边界间隔中的情况下观看组/锥的对准是可能的为止。如果对于给定的间隔没有检测到用户，则显示器可以缓慢地转变回2D操作模式。 已经进行了多个实验，这些实验表明，与使用固定深度效果和静态锥边界相比，感觉到结果愉快得多。特别地，2D与3D之间的转变以及向后的转变不被感觉为不愉快。因此，图2的显示系统包括用户处理器209，其被布置为生成用户存在估计，该用户存在估计特别地可以是指示用户被估计为存在还是不存在的二进制值。在该实例中，用户处理器209被耦合到被布置为捕获显示器207前面的区域的照相机。照相机211可以例如定位在显示器之上或之下。来自照相机211的信号被馈送到用户处理器209，用户处理器209对该信号进行评估以检测用户的存在。在该特定实例中，用户处理器209根据所接收的视频信号执行脸检测。因此，脸检测算法设法通过试图在所接收的信号中检测脸来检测用户的存在。如果检测到脸，则用户存在估计被设置为指示用户存在，否则它被设置为指示用户不存在。脸检测算法可以特别地被布置为检测转向照相机 211和显示器207的脸，因为这可以提供不仅观看者存在的指示而且还可以指示观看者可能是显示器的用户，即所检测的脸瞄准显示器以便观看显示的图像(一个或多个)。因此，该方法可以提供用户与偶然的观看者之间的有利区别并且因此可以不仅提供存在指示而且还提供注意力指示。将理解，用户存在检测可能受制于要满足的各种要求。例如，对于指示存在用户的用户存在指示，可以要求已在至少给定的时间间隔中检测到用户。类似地，对于指示不存在用户的用户存在指示，可以要求在至少给定时间间隔中没有检测到用户。将理解，用于脸检测的不同算法是本领域技术人员已知的。还将理解，用于确定用户存在估计的其他算法可替代地或此外可以用在其他实施例中。在该实例中，用户处理器209生成用户存在估计，其不仅可以指示是否存在用户而且还可以提供对用户相对于显示器的位置的估计。例如，照相机211所捕获的图像中脸的位置可以用于估计用户沿着显示器207的位置。该位置信息在该特定实例中被馈送到组控制器205，组控制器205使用该位置信息来生成对应于所估计的沿着显示器的位置的观看组/锥。例如，所述视图可以分配给特定的显示视图束，以使得图像组的中心视图(例如图3的实例的视图0)被分配给对应于用户的位置的束。例如，显示器207特别地可以具有每锥/组九个视图以及总共八个锥/组。因此， 视图的总数是72。脸检测算法可以检测位于例如视图37中的人。由于显示器的双凸透镜 (Ienticula)的物理性质，所述视图每九个视图重复它们自己，即对所有i，视图i与视图 i+9相同。所述再现计算9个不同的视图，-4到4，其中视图0是原始的2D图像。所再现的中心视图分配给所述72个视图之一。仅有九种不同的配置来分配中心视图。其他所再现的视图被放置在中心视图周围，如图3中所例示。为了针对处于位置37的观看者进行最优化，因此组控制器205将中心视图分配给位置37。
在该实例中，假设观看者在最优观看距离处。使显示器适合特定的观看者距离可能更加复杂。例如，假设观看者在例如細的距离处，则确定了从位置37并且在細的距离处哪些像素是可见的并且中心视图被放置在这个像素子集中。再现的视图1然后被放置在从位置38且在細的距离处可见的像素子集中。再现的视图-1被放置在从位置36且在細的距离处可见的像素子集中，等等。将理解，距离和位置估计可以使用脸检测来获得。特别地，脸检测算法是已知的， 其提供表示所检测的脸的矩形。矩形的中心可被用作脸的位置。对于所述特定系统，一般不需要确切的眼睛位置。而且，对于锥/观看组瞄准而言，仅仅需要水平位置(距离和垂直位置都不需要)。矩形的尺寸可以用于估计到人的距离。该距离例如对于忽略远处的人们同时允许跟踪这些人直到他们变得更近为止是有用的。典型地，仅仅生成某个最小尺寸(例如20x20个像素)以上的矩形，由此经常限制距离范围。因此，对于个别的实施例和情况，需要合适的视图域，其中窄视图域导致长距离范围且宽视图域导致短距离范围。更高分辨率的照相机允许更大的距离范围。VGA照相机(640x480)对于大多数情况而言是足够的。还将理解，各种照相机改进可以用于提高脸检测算法的精确度和可靠性。例如，照相机211可以是立体照相机、红外照相机、高动态范围照相机和/或深度照相机(特别地基于光飞行时间)。还将理解，在其他实施例中，可以使用用于检测用户存在估计的其他方法和原理。 例如，简单的红外热传感器(例如无源红外检测器，PID)可以用于提供在传感器所覆盖的区域内是否存在人的简单二进制估计。显示系统还包括耦合到用户处理器209和再现处理器203的3D控制器213。该 3D控制器213从用户处理器209接收用户存在估计并且基于该估计该3D控制器对由再现处理器203所生成的图像提供的3D效果进行控制。在该实例中，3D控制器213控制所述图像提供的3D感觉的程度。因此由再现处理器203再现的不同图像的图像数据的差异适于提供期望的3D效果。特别地，可以由3D控制器213依赖于用户估计调适场景的深度范围。因此，可以依赖于用户存在估计来调适被感觉为分别距离观看者最远和最近的像素元素的深度之间的差异。在该实例中，当显示系统在正常的3D操作模式中操作时(即当用户已经存在超过给定的时间量时)，深度范围可以处于由来自图像数据源201的场景数据表示的满级(full level)，但是当系统在2D操作模式中操作时(即当用户已经存在超过给定的时间量时)，可以不包含深度范围。而且，在该实例中，3D控制器213可以将2D操作模式与3D操作模式之间的转变控制为非常渐进。事实上，当检测到用户时(即已经在长于给定间隔的时间里检测到脸)，3D 控制器213逐步地控制再现处理器以生成从对应于平坦的图像(所有视图中的相同图像)改变为对应于完全3D视图的图像(S卩，具有对应于右眼和左眼的不同视角的有区别的图像数据)的图像。相似地，当检测到已经不存在用户超过给定时间间隔时(例如，先前检测到的脸不再被检测到或事实上在给定间隔没有检测到脸)，3D控制器213逐步地控制再现处理器以生成从对应于完全3D视图(即具有对应于右眼和左眼的不同视角的有区别的图像数据)改变为对应于平坦图像的图像(所有视图中的相同图像)的图像。在该实例中，3D控制器213控制再现处理器203，以使得所述转变相对较慢。针对具有0. 5秒和10秒之间(特别地1秒和5秒之间)的转变时间的一个或两个转变，已经发现了特别的吸引人的用户体验。该方法可以向用户提供以下体验当他在显示器前面坐下时， 所呈现的图像将自动地且逐渐地变为三维。另外，该图像在该用户离开时将自动回复到2D 图像，由此减少了其他用户的不便和不适。在该实例中，由具有相对于彼此的有区别的图像数据的不同图像提供3D感觉提示(cue)，即当提供3D效果时，这些图像是不同的。所述有区别的图像数据可以特别地包括对应于视差值的图像区域的变化，所述视差值表示图像区域的特定深度的视差效果(左眼与右眼之间)。例如，图像对象进一步朝向用户，则视差值将增加，并且因此，图像区域进一步向前，则相邻视图的图像之间的这些图像区域的偏移将增加。事实上，对于许多背景图像区域，视差值和偏移将倾向于为零。另外，有区别的图像数据可以例如包含遮断数据。例如，背景图像区域在一个图像中可以被前景图像对象遮断，但是在另一个图像中可以是可见的。因此，对应的像素值在一个图像中可以对应于前景图像对象并且在相邻图像中可以对应于背景图像。将理解，在不同的实施例中，可以使用不同的方法依赖于用户存在估计修改3D效果。例如，在一些实施例中，用户存在估计可以作为再现算法的部分详细地考虑。然而，在其他实施例中，3D控制器213可以通过一个或多个参数控制再现处理器的操作。例如，3D效果的修改可以通过响应于用户存在估计修改所述有区别的图像数据以使得这些有区别的图像数据之间的视角偏移被改变来实现。因此，当处于2D操作模式时， 所有图像的视角可以是相同的并且事实上可以没有有区别的图像数据。然而，当在3D操作模式中操作时，所述有区别的图像数据可以反映对应于人眼睛之间的视角偏移的不同图像的不同视角的冲击(impact)。在一些实施例中，3D控制器213可以特别地向再现处理器203提供相邻视图之间的视角偏移。再现处理器然后可以使用该图像观看偏移创建有区别的图像以使得它们对应于该图像观看偏移。因此，将执行遮断和视差处理，以使得所生成的图像表示具有指定的视角偏移的场景的图像。3D控制器213然后可以简单地通过逐步地将视角偏移从零增加到对应于左眼和右眼的完全视角偏移的值来将显示系统从2D转变到3D。所述从3D模式到2D 模式的转变可以通过将视角偏移从满值(full value)减小到零来实现。因此，在该系统中，相邻图像之间的有区别的图像数据的视差特性将依赖于用户存在估计而改变。用于生成图像数据的视差值通常可以作为由深度图定义的图像区域的深度级的函数而被生成。因此，作为背景中较远的图像对象的部分的像素将具有低视差(并且特别地可以没有视差)，因为它被两只眼睛以大体相同的角度看到。然而，靠近用户的图像对象的像素将具有高视差。再现算法典型地将视差确定为深度的函数，并且在图2的系统中，3D控制器213可以被布置为依赖于用户存在估计修改该函数。例如，像素的深度的给定值的视差可以响应于用户存在估计而被改变。作为特定实例，来自包括像素的深度图的深度值可以在它被转换为视差值之前被修改。作为简单实例，视差值可以被确定为
dis=f (c d)
其中f (χ)是深度到视差值的标准转换，d是像素的深度且c是由3D控制器213控制的缩放因子。因此，当没有用户被估计为存在时，3D控制器213可以将该缩放因子设置为零，从而导致生成2D显示输出，并且当检测到用户时，将缩放因子缓慢增加到1，从而导致3D深度效果逐渐显现。将理解，在一些实施例中，用户存在估计可以不仅指示用户是否被估计为存在，而且还可以包括以下指示用户是否被估计为主动地集中在屏幕上。例如，可以通过确定脸检测算法检测转向屏幕的脸的持续时间来估计用户对显示器的注意的估计。因此，如果所述算法在较长的时间间隔检测到转向屏幕的脸，则可能的是，用户正在主动地观看显示器并且因此提供强的3D效果。然而，如果脸检测仅仅在相对较短的间隔中检测到脸，则可能的是，这是因为用户一直将他的头转向远离显示器，并且因此没有主动地注视显示器并且因此更可能地是对锥边缘感到不适。因此，可以减少3D效果。在一些实施例中，用户存在估计可以包括用户的移动性特性的指示。例如，脸检测算法可以检测被检测到的脸的移动并且用户存在估计可以指示这个移动的属性，比如该脸移动得多快或者该移动是否在连续的方向上(例如对应于从显示器旁走过的观看者)上。所提供的3D效果然后可以依赖于该移动性特性修改。例如，如果检测到不移动的用户，则所述设备可以仅从2D操作模式转变为3D操作模式。因此，对于快速移动的观看者(比如在显示器旁走过的观看者)，不提供有区别的3D视图，由此减少了不适。在一些实施例中，所述显示设备可以进一步被布置为依赖于图像被呈现在视图组的哪个视图中来改变图像的特性。例如，组控制器205可以被布置为相对于锥/组的更靠近中心的视图的发光度， 减少至少一个朝向锥/组的边缘的视图的发光度。因此，朝向锥边缘，图像可以变得更暗， 由此减少交叉(cross)锥/组视图的冲击并且向用户提供以下反馈他正在接近其中3D效果退化的区域。特别地，组控制器205可被布置为不在各组的至少一个边缘视图中呈现场景的图像。例如，可以改为呈现全白或全黑图像，由此确保用户不接收镜像的3D提示并且向用户提供反馈。例如，在图3中，对应于-4和+4的所有视图可以是均勻的黑色图像，由此提供反馈并防止镜像效果。将理解，在许多实施例中，可以通过仅修改每一组的一个视图来减轻重叠风险。例如使对应于图3的视图+4的所有图像变暗将确保没有两个邻近视图呈现镜像的3D提示。作为特定实例，显示系统可以对锥/组边缘附近的视图进行暗化。暗化的程度可以朝向锥/组边缘而被逐步增加，直到正好处在锥/组边缘处的视图完全黑为止。这将具有以下效果锥/组边界处的观看者将看到黑色的显示器，这不会导致通常与倒转的视图和3D提示相关联的不适。当用户处于次最优位置时，该方法还向该用户提供反馈。事实上， 它将倾向于下意识地使用户远离边缘偏移。折衷(trade — of )在于，一些视图将不可用于 3D呈现，但是这可能越来越不是那么不利，因为显示器越来越倾向于能够提供每个组/锥的大量的视图(并且预计该数量会增加)。该方法特别地可能对于多用户情况是有利的。在该特定实例中，再现处理器203、组控制器205、用户处理器209和3D控制器213 被实现为在作为显示系统的一部分的计算设备(比如处理器或计算平台)上运行的固件。该计算平台可以例如是执行图4的方法的数字信号处理器。在步骤401中，为多个视图的每一个生成图像。这包括有时为相邻视图生成包含有区别的图像数据的有区别的图像，在相邻视图被观看者的不同眼睛观看时该图像数据提供三维深度效果。
步骤401之后是步骤403，在该步骤中，响应于对显示系统的观看区域中用户的尝试检测生成用户存在估计。步骤403之后是步骤405，在该步骤中，响应于用户存在估计修改由多个视图的图像提供的三维效果。步骤405之后是步骤407，在该步骤中，多个视图被呈现在显示器上，其中每个视图对应于场景的观看方向。随后，该方法返回到步骤401。将理解，尽管上面的描述集中于其中呈现静止图像的应用，但是该方法同样适用于例如运动的图像。例如，图4的方法的每次重复可以处理同一个静止图像或可以处理运动图像序列中的新图像。例如，每次重复可以处理视频信号的新帧。将理解，为了清楚起见，上面的描述已经参考不同的功能单元和处理器描述了本发明的实施例。然而，应当清楚，不同功能单元或处理器之间的任何适当的功能分布可以被使用，而不减损(detract from)本发明。例如，被说明成将由分开的处理器或控制器执行的功能可以由相同的处理器或控制器来执行。因此，对特定功能单元的引用仅被看作对用于提供所描述的功能的适当装置的引用，而不是指示严格的逻辑或物理结构或组织。本发明可以以包括硬件、软件、固件或这些的任意组合的任何适当形式实现。本发明可选地可以至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明实施例的元件和组件可以以任何适当的方式物理地、功能性地以及逻辑地实现。事实上，所述功能可以实现在单个单元中、实现在多个单元中，或者作为其他功能单元的一部分实现。同样，本发明可以实现在单个单元中或者可以物理地以及功能性地分布在不同单元和处理器之间。尽管已经结合一些实施例描述了本发明，但是本发明不旨在受限于本文所提出的特定形式。相反地，本发明的范围仅由所附权利要求限定。此外，尽管特征可以看来是结合特定实施例描述的，但是本领域技术人员将认识到所描述的实施例的各种特征可以根据本发明组合。在权利要求中，术语包括不排除其他元件或步骤的存在。另外，尽管单独地列出，但是多个装置、元件或方法步骤可以通过例如单个单元或处理器实现。此外，尽管各个特征可以包含在不同的权利要求中，但是这些特征有可能可以有利地组合，并且包含在不同的权利要求中不暗示特征的组合不是可行的和/或有利的。 同样，特征包含在权利要求的一个类别中不暗示限于该类别，而是指示该特征同样可以适用于其他权利要求类别。而且，权利要求中的特征的顺序不暗示这些特征必须按照其工作的任何特定顺序，并且特别地，方法权利要求中的各个步骤的顺序不暗示这些步骤必须按此顺序执行。相反地，这些步骤可以以任何适当的顺序执行。此外，单数引用不排除多个。 因此对“一”、“第一”、“第二”等的引用不排除多个。权利要求中的附图标记仅被提供作为阐明性的实例，不应当将其解释为以任何方式限制权利要求的范围。
权利要求
1.一种三维显示系统，包括显示器(207)，用于呈现场景的多个视图，每个视图对应于该场景的观看方向；再现单元(203)，用于为多个视图的每一个生成图像，该再现单元能够为相邻视图生成包含有区别的图像数据的有区别的图像，在相邻视图被观看者的不同眼睛观看时所述图像数据提供三维深度效果；用于响应于在显示系统的观看区域中对用户的尝试检测来生成用户存在估计的装置 (209,211)；以及修改装置(213)，用于响应于所述用户存在估计修改相邻视图的所述有区别的图像以调适三维效果。
2.权利要求1的三维显示系统，其中所述修改装置(213)被布置为响应于用户存在估计调节由有区别的图像表示的场景的深度范围。
3.权利要求1的三维显示系统，其中所述修改装置(213)被布置为响应于用户存在估计修改有区别的图像数据以改变有区别的图像的对应的图像区域的视差特性。
4.权利要求3的三维显示系统，其中所述再现装置(203)被布置为响应于场景的深度图数据生成有区别的图像数据，并且所述修改装置(213)被布置为响应于用户存在估计修改深度图值与视差值之间的关系。
5.权利要求1的三维显示系统，其中所述修改装置(213)被布置为响应于用户存在估计修改所述有区别的图像数据以改变所述有区别的图像之间的视角偏移。
6.权利要求1的三维显示系统，其中所述修改装置(213)被布置为响应于对新用户的检测而将显示系统从第一操作模式转变为第二操作模式，相对于第二操作模式，第一操作模式对应于减少的三维效果。
7.权利要求6的三维显示系统，其中所述修改装置(213)被布置为控制所述转变以使得转变时间介于0. 5秒和10秒之间。
8.权利要求1的三维显示系统，其中所述修改装置(213)被布置为响应于用户的不存在的检测将显示系统从第二操作模式转变为第一操作模式，相对于第二操作模式，第一操作模式对应于减少的三维效果。
9.权利要求1的三维显示系统，进一步被布置为呈现多个邻近的视图组，每个视图组包括所述多个视图中的至少一些。
10.权利要求9的三维显示系统，被布置为降低第一视图组的至少第一视图相对于第二视图的发光度，第二视图比第一视图更靠近第一视图组的中心。
11.权利要求9的三维显示系统，进一步被布置为不在至少一个视图组的至少一个边缘视图中呈现场景的图像。
12.权利要求9的三维显示系统，其中用户存在估计包括检测到的新用户相对于显示器的相对用户位置的指示，并且进一步包括用于将视图组对向所述相对用户位置的装置(205)。
13.权利要求1的三维显示系统，其中用户存在估计包括指示用户对显示器的注意的用户注意估计。
14.一种用于三维显示系统的操作方法，包括在显示器上呈现(407)场景的多个视图，每个视图对应于场景的观看方向；为所述多个视图的每一个生成(401)图像，包括为相邻视图生成包含有区别的图像数据的有区别的图像，在相邻视图被观看者的不同眼睛观看时所述图像数据提供三维深度效果；响应于在显示系统的观看区域中对用户的尝试检测生成(403)用户存在估计；以及响应于用户存在估计修改(405)相邻视图的有区别的图像以调适三维效果。
15. 一种用于执行权利要求14的方法的计算机程序产品。
全文摘要
三维显示系统包括呈现场景的多个视图的显示器(207)，其中每个视图对应于该场景的观看方向。再现单元(203)为所述视图的每一个生成图像。再现单元(203)能够为相邻视图生成包含有区别的图像数据的有区别的图像，该图像数据在相邻视图被观看者的不同眼睛观看时提供三维深度效果。用户处理器(209)响应于在显示系统的观看区域中对用户的尝试检测来生成用户存在估计。3D模式控制器(213)响应于所述用户存在估计修改三维效果。例如，显示系统可以在不存在用户时提供二维图像并且在存在用户时提供三维图像。这可以减少在次最优位置处的观看者体验到的不适。
文档编号H04N13/00GK102197653SQ200980143024
公开日2011年9月21日 申请日期2009年10月26日 优先权日2008年10月28日
发明者F·G·格雷姆泽, M·B·托比亚斯, V·菲洛明 申请人:皇家飞利浦电子股份有限公司