使用主动亚像素渲染的高密度多视点图像显示系统及方法

使用主动亚像素渲染的高密度多视点图像显示系统及方法
【专利摘要】本发明提供一种使用主动亚像素渲染的高密度多视点图像显示系统及方法。所述图像显示系统可使用基于用户的左眼/右眼的位置而变化的视点，来关于像素单位中的视点图像执行渲染。
【专利说明】使用主动亚像素渲染的高密度多视点图像显示系统及方法
[0001]本申请是向中国知识产权局提交的申请日为2010年11月04日的标题为“使用主动亚像素渲染的高密度多视点图像显示系统及方法”的第201010543468.7号申请的分案申请。

【技术领域】
[0002]一个或多个实施例涉及一种使用主动(active)亚像素渲染的高密度多视点图像显示系统及方法。

【背景技术】
[0003]为了有效地实现三维(3D)图像，具有彼此不同的视点的图像通常可能需要分别通过用户的左眼/右眼观看。为了在不使用滤波器的情况下实现该3D图像(例如，无需用户带上滤光镜来观看3D图像)，所述3D图像可能需要基于视点而被空间地划分，这被称为自动立体显示。视点可表示产生的光的观看方向，从所述观看方向可看到3D图像的特定视图，从而当总体地观看所述图像时，沿不同视点提供的图像可彼此不同。这里，例如，因为投射到各个眼睛的光来自沿不同视点投射/观看的不同图像，所以左眼可观看到与右眼不同的图像。对于相同对象的两幅不同图像的总体观看从而产生3D效果。
[0004]因此，在自动立体显示中，可使用光学机构空间地划分3D图像，并显示所述3D图像。这里，作为光学机构，可分别使用光学透镜或光栅(optical barrier) 0作为光学透镜，可使用双凸透镜(lenticular lens),通过所述双凸透镜,可仅在/从特定方向显示/观看各个像素图像。此外，由于布置在显示器前表面的物理狭缝(slit)，使用光栅从特定方向仅能观看到特定像素。在使用透镜或光栅进行自动立体显示的情况下，可在不同方向基本地显示单独的左视点图像和右视点图像(即，两个视点图像)，从而导致最佳地点(sweet spot)的产生，在所述最佳地点，两幅图像在例如在各自的左眼和右眼的空间上覆盖。所述最佳地点可具有窄的宽度，并可使用视距和视角来表现。这里，视距可由透镜的节距(pitch)或光栅的狭缝确定，视角可基于可表现的视点的数量。在该示例中，增加显示视点的数量来加宽视角的方案可被称为自动立体多视点显示。
[0005]可使用所述多视点显示来创建更宽的3D观看区，然而，该方法会导致显示分辨率的降低。例如，当使用能够显示全高清(HD)图像的具有1920X1080像素分辨率的面板来显示具有九个视点的图像时，因为沿选择视点的表现的图像的分辨率在长度和宽度上分别减少到1/3，所以各个视点图像的分辨率可能实际仅为640X360。多视点显示的这种分辨率的降低会明显地降低3D图像的质量，这会使3D效果失真，造成观看疲劳。为了实现高质量的自动立体显示，在观看区具有较少限制以及较低观看疲劳的3D图像显示会非常重要，因此，在保持高分辨率的同时可能需要显示具有更多数量的视点的图像。然而，这并不容易实现，因为显示两个视点的自动立体显示以及多视点显示具有上述矛盾的特征。
[0006]此外，多视点显示可比显示两个视点的自动立体显示提供更宽的视角，然而，这会导致仅在有限视角和特定距离内无失真地观看3D图像。当用户斜着脑袋或以特定角度躺着观看显示器时，多视点显示也不能使3D图像被满意地观看。与现有的2D显示相比，这些观看限制会是明显的缺点，因此，作为3D显示，多视点显示将在商业化方面遇到困难。


【发明内容】

[0007]根据一个或多个实施例的一个方面，可提供一种图像显示系统，所述图像显示系统包括:位置感测单元，感测用户或用户的一个或两个眼睛的位置；视点计算单元，计算与感测的位置对应的视点；渲染单元，设置亚像素以具有来自亚像素的视点图像的颜色信息，所述亚像素为具有多个亚像素的三维(3D)像素的亚像素，所述亚像素的视点和所述亚像素的视点图像被确定为与计算的视点对应，以及设置3D像素的至少一个其他亚像素以具有所述亚像素的视点图像的附加颜色信息，所述至少一个其他亚像素具有与所述亚像素的视点不同的视点；显示单元，通过所述亚像素显示颜色信息以及通过所述至少一个其他亚像素显示附加颜色信息。
[0008]在该示例中，渲染单元可将所述至少一个其他亚像素的颜色分量值转换为与亚像素的视点图像对应的颜色分量值，以便所述亚像素的视点图像的颜色信息的颜色分量与所述亚像素的视点图像的附加颜色信息的颜色分量不同。
[0009]此外，显示单元可显示三维(3D)像素，按以下方式配置显示单元:针对相同视点，通过所述3D像素的第一亚像素和另一 3D像素的第一亚像素的光轴以基于沿所述3D像素的垂直方向的N个像素的大小与沿所述3D像素的水平方向的M个亚像素的大小的比率获得的角度倾斜，其中，N和M是互质的整数。
[0010]此外，视点计算单元计算感测的位置与至少一个3D像素对应的方向角度，并比较可用于所述至少一个3D像素的所有视点图像的各个方向角度与计算的方向角度之间的差，从而将具有最小差的视点图像的视点确定为计算的视点。
[0011]根据一个或多个实施例的另一方面，还可提供一种图像显示系统，包括:观看位置验证单元，基于感测的位置来确定用户是否在三维(3D)图像显示器的最佳观看位置。
[0012]根据一个或多个实施例的另一方面，可提供一种图像显示方法，包括:感测用户或用户的一个或两个眼睛的位置；计算与感测的位置对应的视点；渲染用于三维(3D)像素的亚像素的颜色信息，所述渲染步骤包括设置3D像素的亚像素来具有来自所述亚像素的视点图像的颜色信息，所述亚像素的视点和所述亚像素的视点图像被确定为与计算的视点对应，以及设置3D像素的至少一个其他亚像素以具有所述亚像素的视点图像的附加颜色信息，所述至少一个其他亚像素具有与所述亚像素的视点不同的视点；通过所述亚像素显示颜色信息以及通过所述至少一个其他亚像素显示附加颜色信息。
[0013]根据一个或多个实施例的另一方面，可提供一种图像显示方法，所述方法包括:基于感测的空间位置来确定用户是否在三维(3D)图像显示器的最佳观看位置。
[0014]根据一个或多个实施例的另一方面，可提供一种3D显示系统，所述系统包括:视点计算单元，基于确定的用户相对于显示器的可变方位来计算左视点，并基于确定的用户相对于显示器的方位来计算右视点；渲染单元，基于左视点来产生左视点图像，基于右视点来产生右视点图像，并通过主动亚像素渲染，从具有与左视点不同的视点的一个或多个亚像素产生至少一个附加左视点图像，和/或从具有与右视点不同的视点的亚像素产生至少一个附加右视点图像，其中，产生的附加右视点图像和附加左视点图像中的至少一个、产生的左视点图像、产生的右视点图像的同步显示将用于包括多个亚像素的三维(3D)像素的3D图像提供给用户。
[0015]根据一个或多个实施例的另一方面，可提供一种3D显示方法，所述方法包括:基于确定的用户相对于显示器的可变方位来计算左视点，并基于确定的用户相对于显示器的方位来计算右视点；基于左视点来产生左视点图像，基于右视点来产生右视点图像，并通过主动亚像素渲染，从具有与左视点不同的视点的一个或多个亚像素产生至少一个附加左视点图像，和/或从具有与右视点不同的视点的亚像素产生至少一个附加右视点图像，其中，产生的附加右视点图像和附加左视点图像中的至少一个、产生的左视点图像、产生的右视点图像的同步显示将用于包括多个亚像素的三维(3D)像素的3D图像提供给用户。
[0016]根据一个或多个实施例的另一方面，可提供一种图像显示系统，所述系统包括:位置感测单元，感测用户或用户的一个或两个眼睛的位置；视点计算单元，计算关于感测的位置的至少一个三维(3D)像素的视点；渲染单元，基于计算的视点，通过执行主动亚像素渲染来渲染3D图像，所述主动亚像素渲染包括渲染具有3D像素的多个视点中与计算的视点最接近的视点的3D像素的第一亚像素的颜色信息，以具有为第一亚像素定义的视点图像的颜色信息，渲染用于3D像素的邻近于第一亚像素的至少一个亚像素的颜色信息，以具有用于第一亚像素的视点图像的颜色信息，与第一亚像素邻近的所述至少一个亚像素具有与第一亚像素的视点不同的视点。
[0017]根据一个或多个实施例的另一方面，可提供一种图像显示方法，所述方法包括:感测用户或用户的一个或两个眼睛的位置；计算关于感测的位置的至少一个三维(3D)像素的视点；基于计算的视点，通过执行主动亚像素渲染来渲染3D图像，所述主动亚像素渲染包括渲染用于具有3D像素的多个视点中与计算的视点最接近的视点的3D像素的第一亚像素的颜色信息，以具有为第一亚像素定义的视点图像的颜色信息；渲染用于与第一亚像素的邻近至少一个亚像素的颜色信息，以具有用于第一亚像素的视点图像的颜色信息，与第一亚像素邻近的3D像素的至少一个亚像素具有与第一亚像素的视点不同的视点。
[0018]将在接下来的描述中部分阐述另外的和/或可选择的方面、特点和/或优点，还有一部分通过描述将是清楚的，或可以通过本发明的实施而得知。

【专利附图】

【附图说明】
[0019]通过结合附图对实施例进行的描述，这些和/或其他方面和优点将变得清楚并更易于理解，在附图中:
[0020]图1示出根据一个或多个实施例的基于透镜的定向视点图像的显示；
[0021]图2示出根据一个或多个实施例的像素渲染和亚像素渲染中的每个的像素结构；
[0022]图3示出根据一个或多个实施例的通过像素渲染和亚像素渲染中的每个产生的视点；
[0023]图4示出根据一个或多个实施例的使用用户跟踪方案确定观看视点；
[0024]图5示出根据一个或多个实施例的基于观看视点的主动亚像素渲染；
[0025]图6示出根据一个或多个实施例的基于观看视点的移动的主动亚像素渲染；
[0026]图7示出根据一个或多个实施例的用于主动亚像素渲染的像素结构和条件；
[0027]图8示出根据一个或多个实施例的用户的位置和姿势被改变的情况；
[0028]图9示出根据一个或多个实施例的基于用户的位置和/或姿势的改变的主动亚像素渲染的应用；
[0029]图10是示出根据一个或多个实施例的基于用户的位置和/或姿势的改变的主动亚像素渲染方法的流程图；
[0030]图11是示出根据一个或多个实施例的主动亚像素渲染方法的流程图；
[0031]图12是示出根据一个或多个实施例的图像显示系统的框图；
[0032]图13是示出根据一个或多个实施例的图像显示方法的流程图；
[0033]图14是示出根据一个或多个实施例的图像显示系统的框图；
[0034]图15是示出根据一个或多个实施例的图像显示方法的流程图。

【具体实施方式】
[0035]现在将详细地阐述附图中示出的一个或多个实施例，其中，相同的标号始终是指相同的元件。在这点上，本发明的实施例可按多种不同的形式被实施，并不应被解释为限于在此阐述的实施例。因此，通过参照附图仅在下面描述实施例，以解释本发明的各方面。
[0036]实施例可能涉及可跟踪用户的左眼/右眼位置来确定用户观看的图像的视点信息的图像显示系统和方法，在一个或多个实施例中，基于确定的视点信息使用主动亚像素渲染提供了不具有或具有有限的三维(3D)效果的色度亮度干扰或失真的3D图像。通过执行亚像素渲染而非仅执行像素渲染，显示的视点的数量会基于亚像素的数量而增加(例如，在一个或多个实施例中，可显示的/可观看的视点的数量等于3D像素中的亚像素的数量)，并且最优的图像可使用视点信息被渲染以被显示，由此在亚像素渲染中发生的3D图像质量的降低不会发生。
[0037]亚像素渲染。
[0038]仅作为示例，为了在没有上述滤光镜的情况下显示3D图像，当观看3D图像时，基于观看位置具有不同视点的图像可被显示并可以是单独可见的。例如，可对用户的左眼和右眼分别显示单独的图像，从而提供3D效果。为了实现这一效果，从显示器的每个像素发射的光可以主要仅从特定方向是可观察的，这与每个像素信息被显示到所有方向和从所有方向观察每个像素信息的2D显示器相比而言是明显不同。例如，为了使从每个像素发射的光仅从特定方向是可观察的，通常可使用透镜或光栅。
[0039]图1示出根据一个或多个实施例的基于透镜(例如，前述的双凸透镜)的定向视点图像的显示。
[0040]如图1所示，双凸透镜120可以被布置在显示器110的上层/外层。在这样的实施例中，显示器可具有多个像素，每个像素具有亚像素(例如，显示器110内示出的显示的阴影线的红色(R)亚像素、点状的绿色(G)亚像素和无标记的蓝色(B)亚像素)。当双凸透镜120的焦点被置于特定像素或亚像素上时,沿透镜轴121显示的像素或亚像素值可在从与所述特定像素/亚像素和观看者的位置对应的特定视点被观看时通过双凸透镜被扩大。特定双凸透镜120的不同轴将光导向不同方向(即，如果双凸透镜具有12个轴，则12个不同的观看方向是可用的)。因此，当观看双凸透镜120的方向(观看方向)被改变时，透镜轴121可能已移动，从而表示来自例如可被扩大的不同图像的不同像素或亚像素的不同视点。例如，当用户观看的方向示出为虚线130时，虚线130经过的亚像素可通过双凸透镜被扩大。按这种方式，随着用户的观看方向改变，可显示其他像素信息，从而可显示基于用户观看方向而变化的其他视点图像。为了进一步的说明目的，图5的第一部分510演示了如何能够通过双凸透镜的不同轴产生不同观看方向，如由改变的指示度数(例如，从双凸透镜的中心轴从-10°至+10° )所示。例如,在示出的视点①周围,双凸透镜的对应轴沿观看方向产生正10°的改变。
[0041]为了将视点图像显示为像素,可使用像素单位或亚像素单位。如所提到的，亚像素单位可以是具有单条颜色信息的最小像素图像显示单位(例如，指示RGB颜色空间中的红色(R)、绿色(G)和蓝色(B)中的每一个的单位)，并且所述像素单位可以是为通过将亚像素结合在一起而获得的像素(例如，R亚像素、G亚像素和B亚像素被总体认为共同为单个像素)表现(例如，具有所有颜色分量的信息的)完全的颜色信息的最小图像显示单位。图1的方法被定义为像素渲染。
[0042]图2示出根据一个或多个实施例的用于像素渲染和亚像素渲染的每个的像素结构。图2的部分210和部分220中的每条实线可指示双凸透镜的所有透镜光轴的各个透镜光轴。部分210示出单个透镜轴经过的所有多个亚像素表示单个视点图像的情况。例如，对于部分210，在双凸透镜的第一轴以下的所选择的多个亚像素①选择性地沿第一视点方向被定向，在双凸透镜的另一轴以下的所选择的多个亚像素②选择性地沿第二视点方向被定向，在双凸透镜的又一光轴以下的所选择的多个亚像素③选择性地沿第三视点方向被定向，在双凸透镜的最后示出的轴以下的所选择的多个亚像素④选择性地沿第四视点方向被定向。此外，这将被称为像素渲染。如部分210所示，特定双凸透镜的各个轴都穿过/经过(例如，基于各个透镜轴而产生每个不同的对应的视点图像的)具有所有颜色分量的完全的颜色信息的所有三个R、G和B亚像素。
[0043]部分220示出这样一种情况:双凸透镜的单个透镜轴穿过/经过单个亚像素，针对3D像素的每个亚像素导致不同视点图像，这可被称为亚像素渲染。仅作为示例，双凸透镜的多个透镜轴中的每个透镜轴经过/穿过各自的选择的亚像素，以便基于每个透镜轴的每个不同的视点表示由所述选择的亚像素定义的单个颜色分量。如图2所示，可存在12个不同的视点(即，可基于用户观看双凸透镜的方向独立地观看所选择的亚像素)。
[0044]如提到的，在像素渲染中，完全的颜色信息(例如，来自沿相同透镜轴的各个亚像素的所有R、G和B颜色信息)可关于单个透镜轴被共同地表现，从而用三个颜色分量无颜色失真地表现视点图像。
[0045]不同地，在亚像素渲染的情况下，关于任意的单个透镜轴仅可期望地表现单个颜色分量，这会导致颜色失真。然而，如所提到的，当使用这样的亚像素渲染时，与像素渲染相比而言可表现增加数量的视点图像，这在表现增加数量的视点图像的多视点显示方面会是一个优点。因此，像素渲染和亚像素渲染两者具有各自的优点和缺点。
[0046]图3示出根据一个或多个实施例的通过像素渲染和亚像素渲染的每个产生的视点。即，在多视点显示的情况下，当用户在视点图像之间观看多视点显示时，用户的眼睛可同时分别观看两个视点图像。在该示例中，在像素渲染的情况下，随着表现的视点图像的数量的减少，视点之间的间隔或间距会增加，而造成视点图像之间的差更大，因此会明显地产生视点之间的色度亮度干扰。
[0047]参照图3，实线可指示通过像素渲染产生的视点(例如，显示的视点②-⑤可表示使用像素渲染的可用视点)。然而，对于亚像素渲染，随着视点的数量(例如，针对视点②-⑤之间的视点的可用性)变大，可表现的视点图像的数量也相应地增加，从而视点之间的间隔或间距会减少，因此产生的任何色度亮度干扰可无关紧要。参照图3，虚线可指示通过亚像素渲染产生的视点。在该示例中，还可通过亚像素渲染类似地产生图3中通过像素渲染产生的视点，所述亚像素渲染提供额外的视点。
[0048]S卩，在像素渲染的情况下，可从准确的视点表现高质量的视点图像(例如，每个视点图像具有所有三个颜色分量)，然而，视点之间的视差会相对大，导致产生明显的色度亮度干扰。在亚像素渲染中，随着视点的数量的增加，视点之间的任何可观察的色度亮度干扰会因此无关紧要，然而，在每个视点图像中会出现颜色阴影(ghost)。按这种方法，从与期望的视点不同的位置观看的图像的质量会对3D显示器的3D效果有不利的影响并导致眼疲劳。例如，即使左眼被适当地置于对应的视点，但当右眼在视点之外时，也会仅在一只眼睛处明显地发生色度亮度干扰，从而眼疲劳会增加。
[0049]使用用户的左眼和右眼的亚像素渲染。
[0050]根据一个或多个实施例，为了实现在产生增加数量的视点图像的同时，在视点之间不发生色度亮度干扰或颜色阴影的3D图像，或者在视点之间减少发生色度亮度干扰或颜色阴影的3D图像，可跟踪用户的左眼和右眼来向用户表现最合适的视点图像。在这种情况下，可在用户的有限固定位置观看的图像中使用像素渲染，然而，可在基于用户的位置变化的视点图像中使用亚像素渲染。
[0051]图4示出根据一个或多个实施例的使用用户跟踪方案确定视点。在图4中，与用户当前观看的图像对应的视点图像可通过拍摄用户来确定，例如，通过使用与显示多视点图像的显示器410集成在一起的相机420来执行拍摄。仅作为示例，显示器410从而有可能显示十二个不同的视点图像。
[0052]图5示出根据一个或多个实施例的基于观看视点的主动亚像素渲染。如图5所示，对于显示器上的单个3D像素，各个视点图像在12个选择的方向或视点之一中是可观看的。如上所述，图5示出每个视点是如何与在不同方向表现的光对应，例如，所述不同方向根据对应双凸透镜的透镜轴在±10°之间变化。在本示例中，当用户位于特定最佳地点(即，最佳观看位置)时，可从相同的地点观看来自所有3D像素的各自的视点图像。在这种情况下，可通过亚像素渲染获得12个方向的每个方向的各自的视点图像(例如，所述每个视点图像由单个颜色组成)。在这种情况下，在图5中示出渲染像素的渲染操作。S卩，如第一部分510中所示，关于用户的左眼和右眼的位置(例如，通过使用相机拍摄用户确定)，可确定右眼主要沿视点5定位，左眼主要沿视点9定位(即，对于该特定3D像素和对应的双凸透镜，期望的发射/观看方向是根据用于右眼的视点5和用于左眼的视点9)。
[0053]在该示例中，为了去除由于亚像素渲染产生的上述示例颜色阴影，邻近视点5的视点图像(例如，用于右眼的视点图像4和视点图像6)可被转换为附加视点图像5。BP,当假设对于不同的视点图像，每个亚像素具有R、G和B颜色之一的各自的信息，并且原始的视点图像5可以是这样的视点图像，对所述视点图像执行亚像素渲染来使所述视点图像仅具有R颜色信息时，视点图像4和视点图像6可被分别转换为附加视点图像5，以具有用于视点图像5的G颜色信息和B颜色信息，而非用于它们的视点图像4和视点图像6的它们各自的颜色信息。因此，根据实施例，例如，附加视点图像5仍旧沿视点4和视点6的它们各自的不同方向引导光，但附加视点图像5将提供与视点5对应的图像的颜色信息，而非提供用于提供给视点4或视点6的图像的各自的颜色信息。因此，类似地，对于左眼，视点图像8和视点图像10可分别被渲染为具有与原始视点图像9不同的颜色信息的附加视点图像9。如图5的部分520所示，使用该主动亚像素渲染，邻近的视点图像被转换为与用户的眼睛对应的视点图像，从而，从用户的视点来看，执行了亚像素渲染的图像可实际看起来是通过更准确的像素渲染方案被渲染的。在本说明书中，包括(例如，基于确定的用户观看方向)将邻近视点的视点图像信息转换为相同的视点图像的这样的亚像素渲染方案将被称为主动亚像素渲染。
[0054]在该示例中，当用户移动时，右眼可移动到与视点4对应的位置，左眼可移动到与视点8对应的位置。作为示例,这里,视点4可表现原始视点图像4的G颜色信息,与邻近的视点3和视点5对应的亚像素可分别被转换为视点4的B颜色信息和R颜色信息，或者被控制来分别显示视点4的B颜色信息和R颜色信息，而非视点3和视点5的颜色信息。颜色信息的转换还可按上述相同的方法适用于视点8。按这样的方法，关于用户的左眼和右眼合适地定位于特定视点的图像，例如，基于用户位置的改变，关于每个3D像素可产生的视点的数量是十二，并可使用亚像素渲染来获得。
[0055]图6示出根据一个或多个实施例的基于确定的观看视点的移动的主动亚像素渲染。图6示出基于当用户的左眼移动到分别与视点4、视点3和视点2对应的位置时，以及当用户的右眼移动到分别与视点9、视点8和视点7对应的位置时，透镜上表现的图像值的变化。这里，图6示出用于视点4、视点3和视点2以及视点9、视点8和视点7的主动亚像素渲染与基于各个左眼视点4、视点3和视点2的对应双凸透镜的对应轴的阐述(即，每个视点分别用表示双凸透镜的对应透镜轴的虚线示出)。
[0056]为了使用上述主动亚像素渲染方案来显示3D图像，可能需要合适的像素结构和透镜排列，并且可能需要确定用户的左眼和右眼的位置，以及需要执行对应的亚像素渲染。参照图1和图2，仅作为示例，描述了使用透镜来显示多视点3D图像的方法，然而，在一个或多个实施例中，对于高质量的主动亚像素渲染，像素结构和透镜排列可能需要满足以下条件⑴至⑶:
[0057](I)穿过/经过关于每个视点的3D像素的透镜轴之间的距离可能需要相同。即，可能需要按预定的间隔形成3D像素内的每个亚像素产生的视点图像的方向，从而形成高质量的多视点图像。为了形成高质量的多视点图像，双凸透镜和对应的透镜轴可能需要以基于单个3D像素中沿垂直方向的N个像素的大小与沿水平方向的M个亚像素的大小的比率而获得的角度倾斜。在该示例中，N和M是整数，所述像素和亚像素可指示显示面板的像素和亚像素。可选择地，例如，显示多个视点图像的显示单元可能需要显示组成的3D像素，从而光轴以基于沿垂直方向的N个像素的大小与沿水平方向的M个亚像素的大小的比率而获得的角度倾斜。
[0058]图7示出根据一个或多个实施例的用于主动亚像素渲染的像素结构和条件。参照图7的第一部分710，作为描述上面的条件⑴的示例，3D像素711的垂直大小可由“y”指示，并可具有显示面板的垂直像素距离的值的两倍的值。此外，3D像素711的水平大小可由“X”指示，并当3D像素711的水平大小具有与显示面板的水平像素距离相等的值时，可产生统一的视点图像。此外，作为满足上面的条件(I)的像素结构的示例，例如，双凸透镜的透镜轴可能需要具有相对于垂直方向的倾斜角度“ Θ ”，所述“ Θ ”可由以下的等式I确定。
[0059]等式1:
[0060]Θ = tarf1 (x/y) = tarf1 (M/N)
[0061](2)对于主动亚像素渲染，形成3D像素的每个亚像素可能需要形成单独的视点图像。为了形成单独的视点图像，M和N可能需要是互质的整数。例如，与这样的期望相反，如图7的部分720所示，当3D像素721的大小满足N = 2和M = 2时，形成单个视点图像的透镜轴会穿过两个亚像素的中心，因此，尽管像素渲染可能是可用的，但亚像素渲染对于一些排列是不可能的。
[0062](3)对于主动亚像素渲染，由邻近视点图像显示的颜色信息可能需要彼此不同。例如，当邻近视点图像1、2和3的颜色被表现为R、G和G时，关于视点图像2执行主动亚像素渲染，而未能获得B颜色。为了获得由邻近视点图像显示的颜色信息，用于各个颜色信息的颜色可能需要彼此不同。例如，这里，关于三种颜色，M还可能需要是3的倍数。
[0063]在图7的部分730中，示出满足所有上述条件(I)至(3)的像素结构。在该示例中，3D像素731的大小可满足N = 2和M = 3 (即，满足所有上述条件(I)至(3))。在这种情况下，在实施例中，能够通过主动亚像素渲染产生的视点图像的最大数量可以是六。
[0064]关于通过跟踪用户的左眼和右眼实现主动亚像素渲染，参照图4描述在用户位于最佳观看位置的情况。在此将更详细地描述当用户没有位于最佳观看位置时，或者当用户为倾斜姿势(tilted posture)时的主动亚像素渲染。
[0065]当用户位于最佳观看位置时，由各个3D像素产生的相同的视点图像可集中在单个地点，从而可如图4所示，可基于仅关于单个3D像素的视点图像来执行所述亚像素渲染。然而，当用户没有位于最佳观看位置时，或者用户为倾斜姿势时，可能需要基于来自各个3D像素的每个视点图像单独地执行亚像素渲染。
[0066]图8示出根据一个或多个实施例的用户的位置和姿势改变的情况。第一位置810可以是例如上述最佳观看位置的一般的位置，并可指定这样一种情况:用户的眼睛沿与显示器的轴相同的轴到显示器的表面的方向垂直于显示器表面。在该示例中，示出的第一部分811可以是通过拍摄第一位置810的用户和对应于每个视点的位置而获得的图像。第二位置820可指定用户位于最佳观看距离之外的情况，第三位置830可指定用户位于最佳观看角度之外的情况，第四位置840可指定用户的头在最佳观看位置倾斜的情况，第五位置850可指定用户在位于最佳观看距离之外的同时斜瞥地观看显示器的情况。示出的第二部分821、第三部分831、第四部分841和第五部分851可指定通过在各自的位置或各自的视点拍摄用户而获得的图像，用户与各自示出的不同透镜轴具有覆盖。在该示例中，根据一个或多个实施例，基于用户的左眼和右眼的位置，可关于来自各个3D像素的所有视点图像单独地执行亚像素渲染，从而提供具有高分辨率的高质量3D图像。
[0067]图9示出根据一个或多个实施例的基于用户的位置和/或姿势的改变的主动亚像素渲染的应用。即，在图9中，将描述在用户位于最佳观看位置之外(例如，用户位于靠前的观看位置)的情况下的主动亚像素渲染方案。首先，可使用相机(例如，应该注意到，可应用另外的和/或可选择的测量装置和技术)测量用户的左眼和/或右眼的3D空间位置。仅作为示例，为了测量3D空间位置，可使用:测量左眼和右眼之间的距离比的方案、使用立体相机的三角方案、使用深度相机直接测量距离和方向的方案等。
[0068]接下来，例如，可使用测量的左眼和右眼的空间位置计算每个3D像素与左眼和右眼之间形成的角度。例如，在第一 3D像素与左眼和右眼之间形成的角度可分别是和
Θ,，在第k3D像素与左眼/右眼之间形成的角度可分别是“ Oh ”和“ & ”，可类似地测量
/计算出在第m3D像素与左眼和右眼之间形成的角度。从而可计算出左眼和右眼分别相对于每个3D像素在空间上所在的角度，然后可计算通过分别的左眼和右眼将观看的来自每个3D像素的视点图像。当获得与按上述方式将观看的视点图像有关的视点信息时，从而可显示基于计算的角度的对应视点图像和转换的邻近视点图像。仅作为示例，通过像素渲染和/或亚像素渲染，即使用户的头部倾斜或者用户部分地在观看区域或观看角度之外，通过考虑与将被观看的视点图像和将被转换的视点图像有关的视点信息，仍可将合适的图像提供给用户。
[0069]在图9中，为了方便描述，仅描述了关于单个平面测量的角度，然而，也可实际测量/计算空间角度，以计算由左眼和右眼观看的图像。
[0070]图10是示出根据一个或多个实施例的基于用户的位置和/或姿势的改变的主动亚像素渲染方法的流程图。可由例如图像显示系统来执行所述主动亚像素渲染方法。
[0071]在操作1010，可计算用户的左眼和右眼相对于可用3D像素的观看方向。在该示例中，用户的左眼和右眼的方向可表示为“(4,，O ) 3这里可指定与右眼相对于第
k3D像素对应的角度‘見 5可指定与左眼相对于第k3D像素对应的角度。尽管这里参考第
k3D像素，但可为每个3D像素确定与左眼和右眼对应的各个角度。
[0072]在操作1020，可确定在所有3D像素的每个3D像素中最接近左眼和右眼的观看角度的视点。在这种情况下，再次使用第k3D像素作为示例，例如，可基于下面的等式2来计算最接近左眼和右眼的视点。
[0073]等式2:

【权利要求】
1.一种3D显不系统，所述3D显不系统包括: 视点计算单元，基于确定的用户相对于显示器的可变方位来计算左视点，并基于确定的用户相对于显示器的方位来计算右视点； 渲染单元，基于左视点来产生左视点图像，基于右视点来产生右视点图像，并通过主动亚像素渲染，从具有与左视点不同的视点的一个或多个亚像素产生至少一个附加左视点图像，和/或从具有与右视点不同的视点的亚像素产生至少一个附加右视点图像； 其中，产生的附加右视点图像和附加左视点图像中的至少一个、产生的左视点图像、产生的右视点图像的同步显示将用于包括多个亚像素的3D像素的3D图像提供给用户。
2.如权利要求1所述的3D显示系统，还包括:显示单元，同步显示产生的附加右视点图像和左视点图像中的至少一个、产生的左视点图像、产生的右视点图像。
3.如权利要求1所述的3D显示系统，其中，从与左视点邻近的一个或多个视点产生至少一个附加左视点图像，并从与右视点邻近的一个或多个视点产生至少一个附加右视点图像。
4.一种3D显示方法,所述3D显示方法包括: 基于确定的用户相对于显示器的可变方位来计算左视点，并基于确定的用户相对于显示器的方位来计算右视点； 基于左视点来产生左视点图像，基于右视点来产生右视点图像，并通过主动亚像素渲染，从具有与左视点不同的视点的一个或多个亚像素产生至少一个附加左视点图像，和/或从具有与右视点不同的视点的亚像素产生至少一个附加右视点图像； 其中，产生的附加右视点图像和附加左视点图像中的至少一个、产生的左视点图像、产生的右视点图像的同步显示将用于包括多个亚像素的3D像素的3D图像提供给用户。
5.如权利要求4所述的3D显示方法，还包括:同步显示产生的附加右视点图像和附加左视点图像中的至少一个、产生的左视点图像、产生的右视点图像。
6.如权利要求4所述的3D显示方法，其中，在产生附加左视点图像和附加右视点图像的步骤中，从与左视点邻近的一个或多个视点产生所述至少一个附加左视点图像，并从与右视点邻近的一个或多个视点产生所述至少一个附加右视点图像。
【文档编号】H04N13/00GK104079919SQ201410339461
【公开日】2014年10月1日 申请日期:2010年11月4日 优先权日:2009年11月4日
【发明者】南东暻, 朴斗植, 成基荣, 金昌容, 金允泰, 朴柱容 申请人:三星电子株式会社