使用主动亚像素渲染的高密度多视点图像显示系统及方法

专利名称：使用主动亚像素渲染的高密度多视点图像显示系统及方法
技术领域：
一个或多个实施例涉及一种使用主动(active)亚像素渲染的高密度多视点图像 显示系统及方法。
背景技术：
为了有效地实现三维(3D)图像，具有彼此不同的视点的图像通常可能需要分别 通过用户的左眼/右眼观看。为了在不使用滤波器的情况下实现该3D图像(例如，无需用 户带上滤光镜来观看3D图像)，所述3D图像可能需要基于视点而被空间地划分，这被称为 自动立体显示。视点可表示产生的光的观看方向，从所述观看方向可看到3D图像的特定视 图，从而当总体地观看所述图像时，沿不同视点提供的图像可彼此不同。这里，例如，因为投 射到各个眼睛的光来自沿不同视点投射/观看的不同图像，所以左眼可观看到与右眼不同 的图像。对于相同对象的两幅不同图像的总体观看从而产生3D效果。因此，在自动立体显示中，可使用光学机构空间地划分3D图像，并显示所述3D图 像。这里，作为光学机构，可分别使用光学透镜或光栅(optical barrier) 0作为光学透 镜，可使用双凸透镜(lenticular lens)，通过所述双凸透镜，可仅在/从特定方向显示/ 观看各个像素图像。此外，由于布置在显示器前表面的物理狭缝(slit)，使用光栅从特定 方向仅能观看到特定像素。在使用透镜或光栅进行自动立体显示的情况下，可在不同方 向基本地显示单独的左视点图像和右视点图像(即，两个视点图像)，从而导致最佳地点 (sweet spot)的产生，在所述最佳地点，两幅图像在例如在各自的左眼和右眼的空间上覆 盖。所述最佳地点可具有窄的宽度，并可使用视距和视角来表现。这里，视距可由透镜的节 距(pitch)或光栅的狭缝确定，视角可基于可表现的视点的数量。在该示例中，增加显示视 点的数量来加宽视角的方案可被称为自动立体多视点显示。可使用所述多视点显示来创建更宽的3D观看区，然而，该方法会导致显示分辨率 的降低。例如，当使用能够显示全高清(HD)图像的具有1920X1080像素分辨率的面板来 显示具有九个视点的图像时，因为沿选择视点的表现的图像的分辨率在长度和宽度上分别 减少到1/3，所以各个视点图像的分辨率可能实际仅为640X360。多视点显示的这种分辨 率的降低会明显地降低3D图像的质量，这会使3D效果失真，造成观看疲劳。为了实现高质 量的自动立体显示，在观看区具有较少限制以及较低观看疲劳的3D图像显示会非常重要， 因此，在保持高分辨率的同时可能需要显示具有更多数量的视点的图像。然而，这并不容易 实现，因为显示两个视点的自动立体显示以及多视点显示具有上述矛盾的特征。此外，多视点显示可比显示两个视点的自动立体显示提供更宽的视角，然而，这会 导致仅在有限视角和特定距离内无失真地观看3D图像。当用户斜着脑袋或以特定角度躺 着观看显示器时，多视点显示也不能使3D图像被满意地观看。与现有的2D显示相比，这些观看限制会是明显的缺点，因此，作为3D显示，多视点显示将在商业化方面遇到困难。

发明内容
根据一个或多个实施例的一个方面，可提供一种图像显示系统，所述图像显示系 统包括位置感测单元，感测用户或用户的一个或两个眼睛的位置；视点计算单元，计算与 感测的位置对应的视点；渲染单元，设置亚像素以具有来自亚像素的视点图像的颜色信息， 所述亚像素为具有多个亚像素的三维(3D)像素的亚像素，所述亚像素的视点和所述亚像 素的视点图像被确定为与计算的视点对应，以及设置3D像素的至少一个其他亚像素以具 有所述亚像素的视点图像的附加颜色信息，所述至少一个其他亚像素具有与所述亚像素的 视点不同的视点；显示单元，通过所述亚像素显示颜色信息以及通过所述至少一个其他亚 像素显示附加颜色信息。在该示例中，渲染单元可将所述至少一个其他亚像素的颜色分量值转换为与亚像 素的视点图像对应的颜色分量值，以便所述亚像素的视点图像的颜色信息的颜色分量与所 述亚像素的视点图像的附加颜色信息的颜色分量不同。此外，显示单元可显示三维(3D)像素，按以下方式配置显示单元针对相同视点， 通过所述3D像素的第一亚像素和另一 3D像素的第一亚像素的光轴以基于沿所述3D像素 的垂直方向的N个像素的大小与沿所述3D像素的水平方向的M个亚像素的大小的比率获 得的角度倾斜，其中，N和M是互质的整数。此外，视点计算单元计算感测的位置与至少一个3D像素对应的方向角度，并比较 可用于所述至少一个3D像素的所有视点图像的各个方向角度与计算的方向角度之间的 差，从而将具有最小差的视点图像的视点确定为计算的视点。根据一个或多个实施例的另一方面，还可提供一种图像显示系统，包括观看位置 验证单元，基于感测的位置来确定用户是否在三维(3D)图像显示器的最佳观看位置。根据一个或多个实施例的另一方面，可提供一种图像显示方法，包括感测用户或 用户的一个或两个眼睛的位置；计算与感测的位置对应的视点；渲染用于三维(3D)像素的 亚像素的颜色信息，所述渲染步骤包括设置3D像素的亚像素来具有来自所述亚像素的视 点图像的颜色信息，所述亚像素的视点和所述亚像素的视点图像被确定为与计算的视点对 应，以及设置3D像素的至少一个其他亚像素以具有所述亚像素的视点图像的附加颜色信 息，所述至少一个其他亚像素具有与所述亚像素的视点不同的视点；通过所述亚像素显示 颜色信息以及通过所述至少一个其他亚像素显示附加颜色信息。根据一个或多个实施例的另一方面，可提供一种图像显示方法，所述方法包括基 于感测的空间位置来确定用户是否在三维(3D)图像显示器的最佳观看位置。根据一个或多个实施例的另一方面，可提供一种3D显示系统，所述系统包括视 点计算单元，基于确定的用户相对于显示器的可变方位来计算左视点，并基于确定的用户 相对于显示器的方位来计算右视点；渲染单元，基于左视点来产生左视点图像，基于右视点 来产生右视点图像，并通过主动亚像素渲染，从具有与左视点不同的视点的一个或多个亚 像素产生至少一个附加左视点图像，和/或从具有与右视点不同的视点的亚像素产生至少 一个附加右视点图像，其中，产生的附加右视点图像和附加左视点图像中的至少一个、产生 的左视点图像、产生的右视点图像的同步显示将用于包括多个亚像素的三维(3D)像素的3D图像提供给用户。根据一个或多个实施例的另一方面，可提供一种3D显示方法，所述方法包括基 于确定的用户相对于显示器的可变方位来计算左视点，并基于确定的用户相对于显示器的 方位来计算右视点；基于左视点来产生左视点图像，基于右视点来产生右视点图像，并通过 主动亚像素渲染，从具有与左视点不同的视点的一个或多个亚像素产生至少一个附加左视 点图像，和/或从具有与右视点不同的视点的亚像素产生至少一个附加右视点图像，其中， 产生的附加右视点图像和附加左视点图像中的至少一个、产生的左视点图像、产生的右视 点图像的同步显示将用于包括多个亚像素的三维(3D)像素的3D图像提供给用户。根据一个或多个实施例的另一方面，可提供一种图像显示系统，所述系统包括位 置感测单元，感测用户或用户的一个或两个眼睛的位置；视点计算单元，计算关于感测的位 置的至少一个三维(3D)像素的视点；渲染单元，基于计算的视点，通过执行主动亚像素渲 染来渲染3D图像，所述主动亚像素渲染包括渲染具有3D像素的多个视点中与计算的视点 最接近的视点的3D像素的第一亚像素的颜色信息，以具有为第一亚像素定义的视点图像 的颜色信息，渲染用于3D像素的邻近于第一亚像素的至少一个亚像素的颜色信息，以具有 用于第一亚像素的视点图像的颜色信息，与第一亚像素邻近的所述至少一个亚像素具有与 第一亚像素的视点不同的视点。根据一个或多个实施例的另一方面，可提供一种图像显示方法，所述方法包括感 测用户或用户的一个或两个眼睛的位置；计算关于感测的位置的至少一个三维(3D)像素 的视点；基于计算的视点，通过执行主动亚像素渲染来渲染3D图像，所述主动亚像素渲染 包括渲染用于具有3D像素的多个视点中与计算的视点最接近的视点的3D像素的第一亚像 素的颜色信息，以具有为第一亚像素定义的视点图像的颜色信息；渲染用于与第一亚像素 的邻近至少一个亚像素的颜色信息，以具有用于第一亚像素的视点图像的颜色信息，与第 一亚像素邻近的3D像素的至少一个亚像素具有与第一亚像素的视点不同的视点。将在接下来的描述中部分阐述另外的和/或可选择的方面、特点和/或优点，还有 一部分通过描述将是清楚的，或可以通过本发明的实施而得知。


通过结合附图对实施例进行的描述，这些和/或其他方面和优点将变得清楚并更 易于理解，在附图中图1示出根据一个或多个实施例的基于透镜的定向视点图像的显示；图2示出根据一个或多个实施例的像素渲染和亚像素渲染中的每个的像素结构；图3示出根据一个或多个实施例的通过像素渲染和亚像素渲染中的每个产生的 视点；图4示出根据一个或多个实施例的使用用户跟踪方案确定观看视点；图5示出根据一个或多个实施例的基于观看视点的主动亚像素渲染；图6示出根据一个或多个实施例的基于观看视点的移动的主动亚像素渲染；图7示出根据一个或多个实施例的用于主动亚像素渲染的像素结构和条件；图8示出根据一个或多个实施例的用户的位置和姿势被改变的情况；图9示出根据一个或多个实施例的基于用户的位置和/或姿势的改变的主动亚像素渲染的应用；图10是示出根据一个或多个实施例的基于用户的位置和/或姿势的改变的主动 亚像素渲染方法的流程图；图11是示出根据一个或多个实施例的主动亚像素渲染方法的流程图；图12是示出根据一个或多个实施例的图像显示系统的框图；图13是示出根据一个或多个实施例的图像显示方法的流程图；图14是示出根据一个或多个实施例的图像显示系统的框图；图15是示出根据一个或多个实施例的图像显示方法的流程图。
具体实施例方式现在将详细地阐述附图中示出的一个或多个实施例，其中，相同的标号始终是指 相同的元件。在这点上，本发明的实施例可按多种不同的形式被实施，并不应被解释为限于 在此阐述的实施例。因此，通过参照附图仅在下面描述实施例，以解释本发明的各方面。实施例可能涉及可跟踪用户的左眼/右眼位置来确定用户观看的图像的视点信 息的图像显示系统和方法，在一个或多个实施例中，基于确定的视点信息使用主动亚像素 渲染提供了不具有或具有有限的三维(3D)效果的色度亮度干扰或失真的3D图像。通过 执行亚像素渲染而非仅执行像素渲染，显示的视点的数量会基于亚像素的数量而增加(例 如，在一个或多个实施例中，可显示的/可观看的视点的数量等于3D像素中的亚像素的数 量)，并且最优的图像可使用视点信息被渲染以被显示，由此在亚像素渲染中发生的3D图 像质量的降低不会发生。亚像素渲染。仅作为示例，为了在没有上述滤光镜的情况下显示3D图像，当观看3D图像时，基 于观看位置具有不同视点的图像可被显示并可以是单独可见的。例如，可对用户的左眼和 右眼分别显示单独的图像，从而提供3D效果。为了实现这一效果，从显示器的每个像素发 射的光可以主要仅从特定方向是可观察的，这与每个像素信息被显示到所有方向和从所有 方向观察每个像素信息的2D显示器相比而言是明显不同。例如，为了使从每个像素发射的 光仅从特定方向是可观察的，通常可使用透镜或光栅。图1示出根据一个或多个实施例的基于透镜(例如，前述的双凸透镜)的定向视 点图像的显示。如图1所示，双凸透镜120可以被布置在显示器110的上层/外层。在这样的实 施例中，显示器可具有多个像素，每个像素具有亚像素(例如，显示器110内示出的显示的 阴影线的红色(R)亚像素、点状的绿色(G)亚像素和无标记的蓝色(B)亚像素)。当双凸透 镜120的焦点被置于特定像素或亚像素上时，沿透镜轴121显示的像素或亚像素值可在从 与所述特定像素/亚像素和观看者的位置对应的特定视点被观看时通过双凸透镜被扩大。 特定双凸透镜120的不同轴将光导向不同方向(即，如果双凸透镜具有12个轴，则12个不 同的观看方向是可用的)。因此，当观看双凸透镜120的方向(观看方向)被改变时，透镜 轴121可能已移动，从而表示来自例如可被扩大的不同图像的不同像素或亚像素的不同视 点。例如，当用户观看的方向示出为虚线130时，虚线130经过的亚像素可通过双凸透镜被 扩大。按这种方式，随着用户的观看方向改变，可显示其他像素信息，从而可显示基于用户视点图像。为了进一步的说明目的，图5的第一部分510演示了如 何能够通过双凸透镜的不同轴产生不同观看方向，如由改变的指示度数(例如，从双凸透 镜的中心轴从-10°至+10° )所示。例如，在示出的视点①周围，双凸透镜的对应轴沿观 看方向产生正10°的改变。为了将视点图像显示为像素，可使用像素单位或亚像素单位。如所提到的，亚像素 单位可以是具有单条颜色信息的最小像素图像显示单位(例如，指示RGB颜色空间中的红 色(R)、绿色(G)和蓝色(B)中的每一个的单位)，并且所述像素单位可以是为通过将亚像 素结合在一起而获得的像素(例如，R亚像素、G亚像素和B亚像素被总体认为共同为单个 像素)表现(例如，具有所有颜色分量的信息的)完全的颜色信息的最小图像显示单位。图 1的方法被定义为像素渲染。图2示出根据一个或多个实施例的用于像素渲染和亚像素渲染的每个的像素结 构。图2的部分210和部分220中的每条实线可指示双凸透镜的所有透镜光轴的各个透镜 光轴。部分210示出单个透镜轴经过的所有多个亚像素表示单个视点图像的情况。例如， 对于部分210，在双凸透镜的第一轴以下的所选择的多个亚像素①选择性地沿第一视点方 向被定向，在双凸透镜的另一轴以下的所选择的多个亚像素②选择性地沿第二视点方向被 定向，在双凸透镜的又一光轴以下的所选择的多个亚像素③选择性地沿第三视点方向被定 向，在双凸透镜的最后示出的轴以下的所选择的多个亚像素④选择性地沿第四视点方向被 定向。此外，这将被称为像素渲染。如部分210所示，特定双凸透镜的各个轴都穿过/经过 (例如，基于各个透镜轴而产生每个不同的对应的视点图像的)具有所有颜色分量的完全 的颜色信息的所有三个R、G和B亚像素。部分220示出这样一种情况双凸透镜的单个透镜轴穿过/经过单个亚像素，针对 3D像素的每个亚像素导致不同视点图像，这可被称为亚像素渲染。仅作为示例，双凸透镜的 多个透镜轴中的每个透镜轴经过/穿过各自的选择的亚像素，以便基于每个透镜轴的每个 不同的视点表示由所述选择的亚像素定义的单个颜色分量。如图2所示，可存在12个不同 的视点(即，可基于用户观看双凸透镜的方向独立地观看所选择的亚像素)。如提到的，在像素渲染中，完全的颜色信息(例如，来自沿相同透镜轴的各个亚像 素的所有R、G和B颜色信息)可关于单个透镜轴被共同地表现，从而用三个颜色分量无颜 色失真地表现视点图像。不同地，在亚像素渲染的情况下，关于任意的单个透镜轴仅可期望地表现单个颜 色分量，这会导致颜色失真。然而，如所提到的，当使用这样的亚像素渲染时，与像素渲染相 比而言可表现增加数量的视点图像，这在表现增加数量的视点图像的多视点显示方面会是 一个优点。因此，像素渲染和亚像素渲染两者具有各自的优点和缺点。图3示出根据一个或多个实施例的通过像素渲染和亚像素渲染的每个产生的视 点。即，在多视点显示的情况下，当用户在视点图像之间观看多视点显示时，用户的眼睛可 同时分别观看两个视点图像。在该示例中，在像素渲染的情况下，随着表现的视点图像的数 量的减少，视点之间的间隔或间距会增加，而造成视点图像之间的差更大，因此会明显地产 生视点之间的色度亮度干扰。参照图3，实线可指示通过像素渲染产生的视点(例如，显示的视点②-⑤可表 示使用像素渲染的可用视点)。然而，对于亚像素渲染，随着视点的数量(例如，针对视点②-⑤之间的视点的可用性)变大，可表现的视点图像的数量也相应地增加，从而视点之间 的间隔或间距会减少，因此产生的任何色度亮度干扰可无关紧要。参照图3，虚线可指示通 过亚像素渲染产生的视点。在该示例中，还可通过亚像素渲染类似地产生图3中通过像素 渲染产生的视点，所述亚像素渲染提供额外的视点。S卩，在像素渲染的情况下，可从准确的视点表现高质量的视点图像(例如，每个视 点图像具有所有三个颜色分量)，然而，视点之间的视差会相对大，导致产生明显的色度亮 度干扰。在亚像素渲染中，随着视点的数量的增加，视点之间的任何可观察的色度亮度干扰 会因此无关紧要，然而，在每个视点图像中会出现颜色阴影(ghost)。按这种方法，从与期 望的视点不同的位置观看的图像的质量会对3D显示器的3D效果有不利的影响并导致眼疲 劳。例如，即使左眼被适当地置于对应的视点，但当右眼在视点之外时，也会仅在一只眼睛 处明显地发生色度亮度干扰，从而眼疲劳会增加。使用用户的左眼和右眼的亚像素渲染。根据一个或多个实施例，为了实现在产生增加数量的视点图像的同时，在视点之 间不发生色度亮度干扰或颜色阴影的3D图像，或者在视点之间减少发生色度亮度干扰或 颜色阴影的3D图像，可跟踪用户的左眼和右眼来向用户表现最合适的视点图像。在这种情 况下，可在用户的有限固定位置观看的图像中使用像素渲染，然而，可在基于用户的位置变 化的视点图像中使用亚像素渲染。图4示出根据一个或多个实施例的使用用户跟踪方案确定视点。在图4中，与用 户当前观看的图像对应的视点图像可通过拍摄用户来确定，例如，通过使用与显示多视点 图像的显示器410集成在一起的相机420来执行拍摄。仅作为示例，显示器410从而有可 能显示十二个不同的视点图像。图5示出根据一个或多个实施例的基于观看视点的主动亚像素渲染。如图5所示， 对于显示器上的单个3D像素，各个视点图像在12个选择的方向或视点之一中是可观看的。 如上所述，图5示出每个视点是如何与在不同方向表现的光对应，例如，所述不同方向根据 对应双凸透镜的透镜轴在士 10°之间变化。在本示例中，当用户位于特定最佳地点(即， 最佳观看位置)时，可从相同的地点观看来自所有3D像素的各自的视点图像。在这种情况 下，可通过亚像素渲染获得12个方向的每个方向的各自的视点图像(例如，所述每个视点 图像由单个颜色组成)。在这种情况下，在图5中示出渲染像素的渲染操作。S卩，如第一部 分510中所示，关于用户的左眼和右眼的位置(例如，通过使用相机拍摄用户确定)，可确定 右眼主要沿视点5定位，左眼主要沿视点9定位(即，对于该特定3D像素和对应的双凸透 镜，期望的发射/观看方向是根据用于右眼的视点5和用于左眼的视点9)。在该示例中，为了去除由于亚像素渲染产生的上述示例颜色阴影，邻近视点5的 视点图像(例如，用于右眼的视点图像4和视点图像6)可被转换为附加视点图像5。艮口， 当假设对于不同的视点图像，每个亚像素具有R、G和B颜色之一的各自的信息，并且原始的 视点图像5可以是这样的视点图像，对所述视点图像执行亚像素渲染来使所述视点图像仅 具有R颜色信息时，视点图像4和视点图像6可被分别转换为附加视点图像5，以具有用于 视点图像5的G颜色信息和B颜色信息，而非用于它们的视点图像4和视点图像6的它们 各自的颜色信息。因此，根据实施例，例如，附加视点图像5仍旧沿视点4和视点6的它们 各自的不同方向引导光，但附加视点图像5将提供与视点5对应的图像的颜色信息，而非提供用于提供给视点4或视点6的图像的各自的颜色信息。因此，类似地，对于左眼，视点图 像8和视点图像10可分别被渲染为具有与原始视点图像9不同的颜色信息的附加视点图 像9。如图5的部分520所示，使用该主动亚像素渲染，邻近的视点图像被转换为与用户的 眼睛对应的视点图像，从而，从用户的视点来看，执行了亚像素渲染的图像可实际看起来是 通过更准确的像素渲染方案被渲染的。在本说明书中，包括(例如，基于确定的用户观看方 向)将邻近视点的视点图像信息转换为相同的视点图像的这样的亚像素渲染方案将被称 为主动亚像素渲染。在该示例中，当用户移动时，右眼可移动到与视点4对应的位置，左眼可移动到与 视点8对应的位置。作为示例，这里，视点4可表现原始视点图像4的G颜色信息，与邻近的 视点3和视点5对应的亚像素可分别被转换为视点4的B颜色信息和R颜色信息，或者被 控制来分别显示视点4的B颜色信息和R颜色信息，而非视点3和视点5的颜色信息。颜 色信息的转换还可按上述相同的方法适用于视点8。按这样的方法，关于用户的左眼和右眼 合适地定位于特定视点的图像，例如，基于用户位置的改变，关于每个3D像素可产生的视 点的数量是十二，并可使用亚像素渲染来获得。图6示出根据一个或多个实施例的基于确定的观看视点的移动的主动亚像素渲 染。图6示出基于当用户的左眼移动到分别与视点4、视点3和视点2对应的位置时，以及 当用户的右眼移动到分别与视点9、视点8和视点7对应的位置时，透镜上表现的图像值的 变化。这里，图6示出用于视点4、视点3和视点2以及视点9、视点8和视点7的主动亚像 素渲染与基于各个左眼视点4、视点3和视点2的对应双凸透镜的对应轴的阐述(即，每个 视点分别用表示双凸透镜的对应透镜轴的虚线示出)。为了使用上述主动亚像素渲染方案来显示3D图像，可能需要合适的像素结构和 透镜排列，并且可能需要确定用户的左眼和右眼的位置，以及需要执行对应的亚像素渲染。 参照图1和图2，仅作为示例，描述了使用透镜来显示多视点3D图像的方法，然而，在一个或 多个实施例中，对于高质量的主动亚像素渲染，像素结构和透镜排列可能需要满足以下条 件⑴至⑶(1)穿过/经过关于每个视点的3D像素的透镜轴之间的距离可能需要相同。艮口， 可能需要按预定的间隔形成3D像素内的每个亚像素产生的视点图像的方向，从而形成高 质量的多视点图像。为了形成高质量的多视点图像，双凸透镜和对应的透镜轴可能需要以 基于单个3D像素中沿垂直方向的N个像素的大小与沿水平方向的M个亚像素的大小的比 率而获得的角度倾斜。在该示例中，N和M是整数，所述像素和亚像素可指示显示面板的像 素和亚像素。可选择地，例如，显示多个视点图像的显示单元可能需要显示组成的3D像素， 从而光轴以基于沿垂直方向的N个像素的大小与沿水平方向的M个亚像素的大小的比率而 获得的角度倾斜。图7示出根据一个或多个实施例的用于主动亚像素渲染的像素结构和条件。参照 图7的第一部分710，作为描述上面的条件(1)的示例，3D像素711的垂直大小可由“y”指 示，并可具有显示面板的垂直像素距离的值的两倍的值。此外，3D像素711的水平大小可由 “X”指示，并当3D像素711的水平大小具有与显示面板的水平像素距离相等的值时，可产生 统一的视点图像。此外，作为满足上面的条件(1)的像素结构的示例，例如，双凸透镜的透 镜轴可能需要具有相对于垂直方向的倾斜角度“ θ ”，所述“ θ ”可由以下的等式1确定。
等式1 θ = tarT1 (x/y) = tarT1 (Μ/Ν)(2)对于主动亚像素渲染，形成3D像素的每个亚像素可能需要形成单独的视点图 像。为了形成单独的视点图像，M和N可能需要是互质的整数。例如，与这样的期望相反， 如图7的部分720所示，当3D像素721的大小满足N = 2和M = 2时，形成单个视点图像 的透镜轴会穿过两个亚像素的中心，因此，尽管像素渲染可能是可用的，但亚像素渲染对于 一些排列是不可能的。(3)对于主动亚像素渲染，由邻近视点图像显示的颜色信息可能需要彼此不同。例 如，当邻近视点图像1、2和3的颜色被表现为R、G和G时，关于视点图像2执行主动亚像素 渲染，而未能获得B颜色。为了获得由邻近视点图像显示的颜色信息，用于各个颜色信息的 颜色可能需要彼此不同。例如，这里，关于三种颜色，M还可能需要是3的倍数。在图7的部分730中，示出满足所有上述条件(1)至(3)的像素结构。在该示例 中，3D像素731的大小可满足N = 2和M = 3(即，满足所有上述条件(1)至(3))。在这种 情况下，在实施例中，能够通过主动亚像素渲染产生的视点图像的最大数量可以是六。关于通过跟踪用户的左眼和右眼实现主动亚像素渲染，参照图4描述在用户位于 最佳观看位置的情况。在此将更详细地描述当用户没有位于最佳观看位置时，或者当用户 为倾斜姿势(tilted posture)时的主动亚像素渲染。当用户位于最佳观看位置时，由各个3D像素产生的相同的视点图像可集中在单 个地点，从而可如图4所示，可基于仅关于单个3D像素的视点图像来执行所述亚像素渲染。 然而，当用户没有位于最佳观看位置时，或者用户为倾斜姿势时，可能需要基于来自各个3D 像素的每个视点图像单独地执行亚像素渲染。图8示出根据一个或多个实施例的用户的位置和姿势改变的情况。第一位置810 可以是例如上述最佳观看位置的一般的位置，并可指定这样一种情况用户的眼睛沿与显 示器的轴相同的轴到显示器的表面的方向垂直于显示器表面。在该示例中，示出的第一部 分811可以是通过拍摄第一位置810的用户和对应于每个视点的位置而获得的图像。第二 位置820可指定用户位于最佳观看距离之外的情况，第三位置830可指定用户位于最佳观 看角度之外的情况，第四位置840可指定用户的头在最佳观看位置倾斜的情况，第五位置 850可指定用户在位于最佳观看距离之外的同时斜瞥地观看显示器的情况。示出的第二部 分821、第三部分831、第四部分841和第五部分851可指定通过在各自的位置或各自的视 点拍摄用户而获得的图像，用户与各自示出的不同透镜轴具有覆盖。在该示例中，根据一个 或多个实施例，基于用户的左眼和右眼的位置，可关于来自各个3D像素的所有视点图像单 独地执行亚像素渲染，从而提供具有高分辨率的高质量3D图像。图9示出根据一个或多个实施例的基于用户的位置和/或姿势的改变的主动亚像 素渲染的应用。即，在图9中，将描述在用户位于最佳观看位置之外(例如，用户位于靠前 的观看位置)的情况下的主动亚像素渲染方案。首先，可使用相机(例如，应该注意到，可 应用另外的和/或可选择的测量装置和技术)测量用户的左眼和/或右眼的3D空间位置。 仅作为示例，为了测量3D空间位置，可使用测量左眼和右眼之间的距离比的方案、使用立 体相机的三角方案、使用深度相机直接测量距离和方向的方案等。接下来，例如，可使用测量的左眼和右眼的空间位置计算每个3D像素与左眼和右眼之间形成的角度。例如，在第一 3D像素与左眼和右眼之间形成的角度可分别是“ ”和 “ “，在第k 3D像素与左眼/右眼之间形成的角度可分别是“ θRt ”和“ 0Lk “，可类似地测量/ 计算出在第m 3D像素与左眼和右眼之间形成的角度。从而可计算出左眼和右眼分别相对 于每个3D像素在空间上所在的角度，然后可计算通过分别的左眼和右眼将观看的来自每 个3D像素的视点图像。当获得与按上述方式将观看的视点图像有关的视点信息时，从而可 显示基于计算的角度的对应视点图像和转换的邻近视点图像。仅作为示例，通过像素渲染 和/或亚像素渲染，即使用户的头部倾斜或者用户部分地在观看区域或观看角度之外，通 过考虑与将被观看的视点图像和将被转换的视点图像有关的视点信息，仍可将合适的图像 提供给用户。在图9中，为了方便描述，仅描述了关于单个平面测量的角度，然而，也可实际测 量/计算空间角度，以计算由左眼和右眼观看的图像。图10是示出根据一个或多个实施例的基于用户的位置和/或姿势的改变的主动 亚像素渲染方法的流程图。可由例如图像显示系统来执行所述主动亚像素渲染方法。在操作1010，可计算用户的左眼和右眼相对于可用3D像素的观看方向。在该示例中，用户的左眼和右眼的方向可表示为"( ，\广。这里，可指定与右眼相对于第 k 3D像素对应的角度，“ ”可指定与左眼相对于第k 3D像素对应的角度。尽管这里参考 第k 3D像素，但可为每个3D像素确定与左眼和右眼对应的各个角度。在操作1020，可确定在所有3D像素的每个3D像素中最接近左眼和右眼的观看角 度的视点。在这种情况下，再次使用第k 3D像素作为示例，例如，可基于下面的等式2来计 算最接近左眼和右眼的视点。等式2 FRt =arg(min|^tFLk =arg(min|^这里，”表示来自第k 3D像素的将由右眼观看的最佳视点，"表示来自第 k 3D像素的将由左眼观看的最佳视点，“ θ V，表示表现第k 3D像素中第i视点的角度。这 里，例如，图9示出来自第一3D像素的不同视点的示例角度，所述角度表示为具有士 10°变 化的 θ θ、，θ %，θ V θ510在操作1030，可基于确定的视点执行亚像素渲染。已在上面描述了基于确定的视 点执行亚像素渲染的方法，因此，将省略对其更详细的描述。图11是示出根据一个或多个实施例的主动亚像素渲染方法的流程图。在操作1110，可接收和/或产生多视点3D图像数据。在操作1120，可执行亚像素渲染。在操作1130，可执行关于例如使用相机能否检测用户的眼睛的验证。当使用相机 检测到用户的眼睛时，可执行操作1140，否则，可执行操作1190。即，即使当无法检测到用 户的眼睛时，也可进行多视点观看。在操作1140，可存在关于用户是否位于最佳观看位置的验证。当用户位于最佳观 看位置时，可执行操作1150，否则，可执行操作1160。
在操作1150，可基于获得的相机图像来确定与用户的左眼和/或右眼对应的视 点，并可为将被渲染的不同视点计算合适的亚像素。在该示例中，例如，可执行操作1150，然 后执行操作1180。在操作1160，可使用相机检测用户的左眼和右眼的空间位置。在操作1170，可关于用户的左眼和右眼的空间位置来计算每个3D像素的视点和 对应的亚像素。在操作1180，可将与计算的视点的对应亚像素邻近的亚像素的颜色分量值转换为 与计算的视点对应的视点图像的颜色分量值，仅作为示例，例如，以便通过将由左眼和右眼 之一观看的邻近亚像素来显示来自相同视点图像的不同颜色分量，而3D像素的其他亚像 素显示用于它们各自的不同视点图像的单个颜色信息。在操作1190，可显示各个视点图像。通过操作1150、1160和1170，在一个或多个实施例中，不管用户的姿势和位置，在 没有图像质量恶化(例如，颜色阴影等)的情况下，可将高质量多视点3D图像提供给用户。图12是示出根据一个或多个实施例的图像显示系统1200的框图。图像显示系统1200可包括例如位置感测单元1210、视点计算单元1220、渲染单元 1230和显示单元1240。位置感测单元1210可感测用户的左眼和右眼的位置。例如，位置感测单元1210 可包括用户图像产生单元，例如通过拍摄用户来产生用户图像；位置计算单元，从产生的 用户图像来计算左眼/右眼的位置。作为确定关于左眼和右眼的空间位置的示例，用户图 像产生单元可包括单眼相机、立体相机、多相机和深度相机中的至少一个，再次注意到，可 选择的装置和/或技术同样可用于确定用户和/或用户的左眼和/或右眼的空间位置。作 为另一示例，为了确定上述空间位置，位置感测单元1210还可包括距离测量单元，所述距 离测量单元通过向用户投射补充光源来测量与用户的距离，以产生距离信息。如上面的，为 了感测左眼和右眼的位置，可拍摄用户来产生用户图像，然而，感测左眼和/或右眼的位置 的方法可不限于使用相机等的图像处理方法。视点计算单元1220可计算一个或多个3D像素的与感测的位置对应的视点。在该 示例中，视点计算单元1220可计算感测的位置与至少一个3D像素对应的方向角度，并可比 较在至少一个3D像素中产生的所有视点图像的方向角度与计算的方向角度之间的差，从 而将具有最小差的视点确定为与感测的位置对应的计算的视点。渲染单元1230可针对亚像素单位产生计算的视点的视点图像。在该示例中，渲染 单元1230可将与邻近于计算的视点的邻近视点对应的亚像素的颜色分量值转换为与计算 的视点的视点图像对应的颜色分量值，从而产生计算的视点的视点图像以及邻近视点的附 加视点图像，以便计算的视点的视点图像和邻近视点的附加视点图像具有不同的颜色分量 但表示确定的视点的相同图像。显示单元1240可显示产生的视点图像。显示单元1240可与上述显示器对应。在 该示例中，作为示例，显示单元1240可使用具有转换光的方向的特性的双凸透镜、视差屏 障、棱镜排列、全息装置之一以及定向背光(仅作为示例)，来显示彼此不同的至少两个视 点的视点图像。作为另一示例，显示单元1240可包括透镜，按以下方式配置所述透镜光轴 以基于关于单个3D像素的沿垂直方向的N个像素的大小和沿水平方向的M个亚像素的大小的比率获得的角度倾斜。在该示例中，N和M可以是互质的整数。此外，M可以是3的倍 数。这些示例被用来使显示单元1240满足用于高质量主动亚像素渲染目的的上述条件(1) 至条件( 。例如，为3的倍数的M可被用来使邻近亚像素具有不同颜色信息。图13是示出根据一个或多个实施例的图像显示方法的流程图。在一个或多个实 施例中，可由例如图12的图像显示系统1200来执行图像显示方法。在操作1310，可感测用户和/或用户的左眼和/或右眼的位置。例如，可拍摄用户 来产生用户图像，并可从产生的用户图像来计算左眼和/或右眼的位置。仅作为确定关于 左眼和右眼的空间位置的示例，可通过使用单眼相机、立体相机、多相机和深度相机中的至 少一个来确定空间位置。作为另一示例，为了确定空间位置，可通过向用户投射补充光源来 测量用户的距离信息。在上述示例中，为了感测关于左眼和/或右眼的信息，可拍摄用户来 产生用户图像，然而，感测左眼和/或右眼的位置的方法不限于使用相机等的图像处理方 法。在操作1320，可计算与感测的位置对应的视点。在该示例中，可计算感测的位置与 至少一个3D像素对应的方向角度，可比较在至少一个3D像素中产生的所有视点图像的方 向角度与计算的方向角度之间的差，从而将具有最小差的视点确定为与感测的位置对应的 计算的视点。在操作1330，可针对每个亚像素单位产生/确定计算的视点的视点图像。在该示 例中，可将与邻近于计算的视点的邻近视点对应的亚像素的颜色分量值转换为与计算的视 点的视点图像对应的颜色分量值，从而分别产生计算的视点的视点图像以及邻近视点的附 加视点图像，以便计算的视点的视点图像和邻近视点的附加视点图像具有不同的颜色分量 但表示确定的视点的相同图像。在操作1340，可显示产生的视点图像。在该示例中，作为示例，可使用例如具有转 换光的方向的特性的双凸透镜、视差屏障、棱镜排列、全息装置之一以及定向背光，来显示 彼此不同的至少两个视点(例如，用于左眼视点和右眼视点)的视点图像。作为另一示例， 可使用按以下方式配置的透镜来显示彼此不同的所述至少两个视点的图像光轴以基于关 于单个3D像素的沿垂直方向的N个像素的大小和沿水平方向的M个亚像素的大小的比率 获得的角度倾斜。在该示例中，N和M可以是互质的整数。此外，M可以是3的倍数。根据 一个或多个实施例，这些示例可被用来使根据满足用于高质量主动亚像素渲染目的的上述 条件(1)至条件(3)的显示成为可能。图14是示出根据一个或多个实施例的图像显示系统1400的框图。图像显示系统 1400可包括例如位置感测单元1410、观看位置验证单元1420、视点计算单元1430、渲染单 元1440和显示单元1450。位置感测单元1410可感测用户的左眼和/或右眼的空间位置。在该示例中，作为 确定关于左眼和/或右眼的空间位置的示例，位置感测单元1410可包括例如单眼相机、立 体相机、多相机和深度相机中的至少一个。作为另一示例，为了确定空间位置，位置感测单 元1410可通过向用户投射补充光源来测量关于用户的距离信息。观看位置验证单元1420可基于感测的空间位置来验证用户是否在最佳观看位 置。可基于显示单元1450的像素结构或透镜排列来提前确定最佳观看位置，或者观看位置 验证单元1420可根据感测的空间位置来验证用户是否在最佳观看位置。
在用户不在最佳观看位置时，视点计算单元1430可计算各个3D像素的与感测的 空间位置对应的视点。在该示例中，视点计算单元1430可计算感测的空间位置与各个3D 像素对应的方向角度，并可比较在各个3D像素中产生的所有视点图像的方向角度与计算 的方向角度之间的差，从而将具有最小差的视点确定为关于各个3D像素的与感测的空间 位置对应的视点。此外，当用户在最佳观看位置时，视点计算单元1430可计算感测的位置 与至少一个3D像素对应的方向角度，并可比较在所述至少一个3D像素中产生的所有视点 图像的方向角度之间的差与计算的方向角度，从而将具有最小差的视点确定为与感测的位 置对应的视点。渲染单元1440可针对亚像素单位产生计算的视点的视点图像。在该示例中，渲染 单元1440可将与邻近于计算的视点的邻近视点对应的亚像素的颜色分量值转换为与计算 的视点的视点图像对应的颜色分量值，从而分别产生计算的视点的视点图像以及邻近视点 的附加视点图像，以便计算的视点的视点图像和邻近视点的附加视点图像具有不同的颜色 分量但表示确定的视点的相同图像。显示单元1450可显示产生的视点图像。在该示例中，作为示例，显示单元1450可 使用例如具有转换光的方向的特性的双凸透镜、视差屏障、棱镜排列、全息装置之一以及定 向背光，来显示彼此不同的至少两个视点的视点图像。作为另一示例，显示单元1450可包 括透镜，按以下方式配置所述透镜光轴以基于关于单个3D像素的沿垂直方向的N个像素 的大小和沿水平方向的M个亚像素的大小的比率获得的角度倾斜。在该示例中，N和M可 以是互质的整数。此外，M可以是3的倍数。在一个或多个实施例中，这些示例可被用来使 显示单元1450满足用于高质量主动亚像素渲染目的的上述条件(1)至条件(3)。例如，为 3的倍数的M可被用来使邻近亚像素具有不同的颜色信息。图15是示出根据一个或多个实施例的图像显示方法的流程图。在操作1510，可感测用户和/或用户的左眼和/或右眼的空间位置。在该示例中， 作为确定关于左眼和/或右眼的空间位置示例，可通过例如使用单眼相机、立体相机、多相 机和深度相机中的至少一个来感测空间位置。作为另一示例，为了确定空间位置，可通过向 用户投射补充光源来测量用户的距离信息。在操作1520，可基于感测的空间位置验证用户是否在最佳观看位置。可基于显示 器的像素结构或透镜排列来提前确定最佳观看位置，或者可根据感测的空间位置验证用户 是否在最佳观看位置。在操作1530，可在用户不在最佳观看位置时，计算各个3D像素的与感测的空间位 置对应的视点。在该示例中，可计算感测的空间位置与各个3D像素对应的方向角度，并可 比较在各个3D像素中产生的所有视点图像的方向角度之间的差与计算的方向角度，从而 将具有最小差的视点确定为关于各个3D像素的与感测的空间位置对应的视点。此外，当用 户在最佳观看位置时，可计算感测的位置与至少一个3D像素对应的方向角度，并可比较在 所述至少一个3D像素中产生的所有视点图像的方向角度与计算的方向角度之间的差，从 而将具有最小差的视点确定为与感测的位置对应的计算的视点。在操作巧40，可针对亚像素单位产生计算的视点的视点图像。在该示例中，可将 与邻近于计算的视点的邻近视点对应的亚像素的颜色分量值转换为与计算的视点的视点 图像对应的颜色分量值，从而分别产生计算的视点的视点图像以及邻近视点的附加视点图像，以便计算的视点的视点图像和邻近视点的附加视点图像具有不同的颜色分量但表示确 定的视点的相同图像。在操作1550，可显示产生的视点图像。在该示例中，作为示例，可使用例如具有转 换光的方向的特性的双凸透镜、视差屏障、棱镜排列、全息装置之一以及定向背光，来显示 彼此不同的至少两个视点的视点图像。作为另一示例，可使用按以下方式配置的透镜来显 示彼此不同的至少两个视点的视点图像光轴以基于关于单个3D像素的沿垂直方向的N个 像素的大小和沿水平方向的M个亚像素的大小的比率获得的角度倾斜。在该示例中，N和M 可以是互质的整数。此外，M可以是3的倍数。这些示例可被用来使满足用于高质量主动 亚像素渲染目的的上述条件(1)至条件C3)。例如，为3的倍数的M可被用来使邻近亚像素 具有不同的颜色信息。如上所述，通过使用根据一个或多个实施例的图像显示系统或图像显示方法，可 通过主动亚像素渲染来克服现有的自动立体多视点显示器的低分辨率的缺点，从而可在无 需提高显示面板的分辨率的情况下，或者不需要使用用于时分3D显示的高速面板的情况 下，使用现有的面板来显示增加数量的视点图像，并且在不使用例如高价、高速、高分辨率 的显示面板的情况下，可通过使用相机跟踪用户来实现高质量的3D图像。此外，即使在用户位于最佳观看位置之外，或者在用户为相对于显示器倾斜的姿 势时，也可执行视点渲染来匹配用户的位置或姿势，从而表现高质量的3D图像，并防止发 生基于用户的观看位置而产生的邻近视点图像的色度亮度干扰，从而在没有眼疲劳的情况 下表现3D图像。在一个或多个实施例中，在此描述的设备、系统和单元包括一个或多个硬件处理 元件。例如，除描述的像素或表示组成显示器或将被显示的整个像素的仅一部分的显示单 元的亚像素单位以外，每个描述的单元可包括一个或多个处理机器，需要的存储器和任何 期望的硬件输入/输出传输装置。此外，在所有实施例中，术语设备应该被认为是与物理系 统的元件同义，而不限于单个附件或单个分别的附件中实施的所有描述的元件，而是，根据 实施例，所述术语设备通过不同的硬件元件在不同的附件和/或位置中合并或单独地被实 施。除上述实施例之外，还可通过非瞬态介质(例如，计算机可读介质)中/上的计算 机可读代码/指令来实现实施例，所述计算机可读代码/指令控制至少一个处理装置(例 如，处理器或计算机)来实现任何上述实施例。所述介质可与允许存储和/或发送计算机 可读代码的任何定义的、可测量的、有形的结构对应。所述介质还可包括例如计算机可读代码、数据文件、数据结构等和它们的组合。计 算机可读介质的一个或多个实施例包括磁介质(例如，硬盘、软盘和磁带)、光介质(例如， CD ROM盘和DVD)、磁光介质(例如，光盘)和专门配置为存储和执行程序指令的硬件装置 (例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。计算机可读代码可包括机器 代码(例如，由编译器产生的机器代码)和包含可由计算机使用例如翻译器执行的高级代 码的文件。所述介质还可以是分布式网络，从而计算机可读代码以分布式方式被存储和执 行。此外，仅作为示例，所述处理元件可包括处理器或计算机处理器，并且所述处理元件可 被分布和/或包括在单个装置中。尽管已经参照本发明的不同实施例具体显示和描述了本发明的多个方面，但是应该理解，这些实施例应该仅被认为是描述性的意义，而不是限制的目的。每个实施例的特点 或方面的描述通常应该被认为是可用于剩余实施例中其他类似的特点或方面。如果按不同 的顺序执行描述的技术和/或如果描述的系统、架构、装置或电路中的器件按不同的方式 组合和/或被其他器件或其等同物代替或补充，同样可达到适当的效果。
因此，尽管已显示和描述了一些实施例，另外的实施例也同样是可用的，但本领域 技术人员应该理解，在不脱离本发明的原理和精神的情况下，可以对这些示例性实施例进 行改变，本发明的范围由权利要求及其等同物限定。
权利要求
1.一种图像显示系统，所述图像显示系统包括位置感测单元，感测用户或用户的一个或两个眼睛的位置；视点计算单元，计算与感测的位置对应的视点；渲染单元，设置亚像素以具有来自所述亚像素的视点图像的颜色信息，所述亚像素为 具有多个亚像素的三维3D像素的亚像素，所述亚像素的视点和所述亚像素的视点图像被 确定为与计算的视点对应；设置3D像素的至少一个其他亚像素以具有所述亚像素的视点 图像的附加颜色信息，所述至少一个其他亚像素具有与所述亚像素的视点不同的视点；显示单元，通过所述亚像素显示颜色信息以及通过所述至少一个其他亚像素显示附加 颜色信息。
2.如权利要求1所述的图像显示系统，其中，渲染单元将所述至少一个其他亚像素的 颜色分量值转换为与所述亚像素的视点图像对应的颜色分量值，以便所述亚像素的视点图 像的颜色信息的颜色分量与所述亚像素的视点图像的附加颜色信息的颜色分量不同。
3.如权利要求2所述的图像显示系统，其中，显示单元使用具有转换光的方向的特性 的双凸透镜、视差屏障、棱镜排列、全息装置之一以及定向背光，来从3D像素通过亚像素显 示颜色信息以及通过所述至少一个其他亚像素显示附加颜色信息。
4.如权利要求1所述的图像显示系统，其中，显示单元使用具有转换光的方向的特性 的双凸透镜、视差屏障、棱镜排列、全息装置之一以及定向背光，来从3D像素显示彼此不同 的至少两个视点的视点图像。
5.如权利要求1所述的图像显示系统，其中，显示单元显示3D像素，按以下方式配置显 示单元针对相同视点，通过所述3D像素的第一亚像素和另一3D像素的第一亚像素的光轴 以基于沿所述3D像素的垂直方向的N个像素的大小与沿所述3D像素的水平方向的M个亚 像素的大小的比率获得的角度倾斜，其中，N和M是互质的整数。
6.如权利要求5所述的图像显示系统，其中，M是3的倍数。
7.如权利要求1所述的图像显示系统，其中，视点计算单元计算感测的位置与至少一 个3D像素对应的方向角度，并比较可用于所述至少一个3D像素的所有视点图像的各个方 向角度与计算的方向角度之间的差，从而将具有最小差的视点图像的视点确定为计算的视点ο
8.如权利要求1所述的图像显示系统，其中，位置感测单元包括用户图像产生单元，通过拍摄用户来产生用户图像；位置计算单元，从产生的用户图像计算用户的左眼和右眼的位置。
9.如权利要求8所述的图像显示系统，其中，用户图像产生单元包括单眼相机、立体相 机、多相机和深度相机中的至少一个。
10.如权利要求8所述的图像显示系统，其中，位置感测单元还包括距离测量单元，通过向用户投射补充光源来测量图像显示系统与用户之间的距离，以 产生距离信息。
11.如权利要求1所述的图像显示系统，进一步包括观看位置验证单元，基于感测的位置来确定用户是否在三维3D图像显示器的最佳观 看位置。
12.如权利要求11所述的图像显示系统，其中，当观看位置验证单元的确定指示用户在最佳观看位置时，视点计算单元计算感测的位置与各个3D像素中的至少一个3D像素对 应的方向角度，并比较来自所述至少一个3D像素的所有视点图像的各个方向角度与计算 的方向角度之间的差，从而将具有最小差的视点图像的视点确定为计算的视点。
13.一种图像显示方法，所述图像显示方法包括感测用户或用户的一个或两个眼睛的位置；计算与感测的位置对应的视点；渲染用于三维3D像素的亚像素的颜色信息，包括设置3D像素的亚像素来具有来自所 述亚像素的视点图像的颜色信息，所述亚像素的视点和所述亚像素的视点图像被确定为与 计算的视点对应；设置3D像素的至少一个其他亚像素以具有所述亚像素的视点图像的附 加颜色信息，所述至少一个其他亚像素具有与所述亚像素的视点不同的视点；通过所述亚像素显示颜色信息以及通过所述至少一个其他亚像素显示附加颜色信息。
14.如权利要求13所述的图像显示方法，其中，渲染步骤包括将所述至少一个其他亚 像素的颜色分量值转换为与亚像素的视点图像对应的颜色分量值，以便所述亚像素的视点 图像的颜色信息的颜色分量与所述亚像素的视点图像的附加颜色信息的颜色分量不同。
15.如权利要求14所述的图像显示方法，其中，显示步骤还包括使用具有转换光的方 向的特性的双凸透镜、视差屏障、棱镜排列、全息装置之一以及定向背光，来从3D像素通过 亚像素显示颜色信息以及通过所述至少一个其他亚像素显示附加颜色信息。
16.如权利要求13所述的图像显示方法，其中，显示步骤使用具有转换光的方向的特 性的双凸透镜、视差屏障、棱镜排列、全息装置之一以及定向背光，来从3D像素显示彼此不 同的至少两个视点的视点图像。
17.如权利要求13所述的图像显示方法，其中，计算步骤计算感测的位置与至少一个 3D像素对应的方向角度，并比较可用于所述至少一个3D像素的所有视点图像的方向角度 与计算的方向角度之间的差，从而将具有最小差的视点确定为计算的视点。
18.如权利要求13所述的图像显示方法，其中，感测步骤还包括通过拍摄用户来产生用户图像；从产生的用户图像计算用户的左眼和右眼的位置。
19.如权利要求13所述的图像显示方法，进一步包括基于感测的位置来确定用户是否在三维3D图像显示器的最佳观看位置。
20.如权利要求19所述的图像显示方法，其中，基于指示用户在最佳观看位置的确定， 所述计算步骤计算感测的位置与各个3D像素中的至少一个3D像素的对应的方向角度，并 比较所述至少一个3D像素的所有视点图像的方向角度与计算的方向角度之间的差，从而 将具有最小差的视点确定为与感测的位置对应的视点。
21.—种3D显示系统，所述3D显示系统包括视点计算单元，基于确定的用户相对于显示器的可变方位来计算左视点，并基于确定 的用户相对于显示器的方位来计算右视点；渲染单元，基于左视点来产生左视点图像，基于右视点来产生右视点图像，并通过主动 亚像素渲染，从具有与左视点不同的视点的一个或多个亚像素产生至少一个附加左视点图 像，和/或从具有与右视点不同的视点的亚像素产生至少一个附加右视点图像；其中，产生的附加右视点图像和附加左视点图像中的至少一个、产生的左视点图像、产生的右视点图像的同步显示将用于包括多个亚像素的3D像素的3D图像提供给用户。
22.如权利要求21所述的3D显示系统，还包括显示单元，同步显示产生的附加右视 点图像和左视点图像中的至少一个、产生的左视点图像、产生的右视点图像。
23.如权利要求21所述的3D显示系统，其中，从与左视点邻近的一个或多个视点产生 至少一个附加左视点图像，并从与右视点邻近的一个或多个视点产生至少一个附加右视点 图像。
24.—种3D显示方法，所述3D显示方法包括基于确定的用户相对于显示器的可变方位来计算左视点，并基于确定的用户相对于显 示器的方位来计算右视点；基于左视点来产生左视点图像，基于右视点来产生右视点图像，并通过主动亚像素渲 染，从具有与左视点不同的视点的一个或多个亚像素产生至少一个附加左视点图像，和/ 或从具有与右视点不同的视点的亚像素产生至少一个附加右视点图像；其中，产生的附加右视点图像和附加左视点图像中的至少一个、产生的左视点图像、产 生的右视点图像的同步显示将用于包括多个亚像素的3D像素的3D图像提供给用户。
25.如权利要求M所述的3D显示方法，还包括同步显示产生的附加右视点图像和附 加左视点图像中的至少一个、产生的左视点图像、产生的右视点图像。
26.如权利要求M所述的3D显示方法，其中，在产生附加左视点图像和附加右视点图 像的步骤中，从与左视点邻近的一个或多个视点产生所述至少一个附加左视点图像，并从 与右视点邻近的一个或多个视点产生所述至少一个附加右视点图像。
27.一种图像显示系统，所述图像显示系统包括位置感测单元，感测用户或用户的一个或两个眼睛的位置；视点计算单元，计算关于感测的位置的至少一个三维3D像素的视点；渲染单元，基于计算的视点，通过执行主动亚像素渲染来渲染3D图像，所述主动亚像 素渲染包括渲染具有3D像素的多个视点中与计算的视点最接近的视点的3D像素的第一 亚像素的颜色信息，以具有为第一亚像素定义的视点图像的颜色信息；渲染用于3D像素的 邻近于第一亚像素的至少一个亚像素的颜色信息，以具有用于第一亚像素的视点图像的颜 色信息，与第一亚像素邻近的所述至少一个亚像素具有与第一亚像素的视点不同的视点。
28.如权利要求27所述的图像显示系统，其中，渲染单元沿与第一亚像素和邻近于第 一亚像素的所述至少一个亚像素的各个视点不同的视点，基于与第一亚像素的视点图像不 同的不同亚像素的视点图像，通过进一步渲染3D像素的至少一个不同的亚像素来执行主 动亚像素渲染，所述至少一个不同的亚像素与第一亚像素和邻近于第一亚像素的所述至少 一个亚像素不同。
29.如权利要求观所述的图像显示系统，其中，渲染3D像素由此第一亚像素和与第 一亚像邻近的所述至少一个亚像素具有用于相同视点图像的不同颜色分量信息，并渲染3D 像素由此所述至少一个不同亚像素具有用于不同亚像素的不同视点图像的颜色分量信息。
30.如权利要求27所述的图像显示系统，还包括显示单元，通过除第一亚像素和与第 一亚像素邻近的所述至少一个亚像素之外的3D像素的亚像素，同步显示第一亚像素的视 点图像和至少一个其他视点图像，其中，显示单元基于使用具有转换光的方向的特性的双凸透镜、视差屏障、棱镜排列、全息装置之一以及定向背光来显示3D图像，以提供用于3D像素的每个亚像素的不同视点。
31.一种图像显示方法，所述图像显示方法包括感测用户或用户的一个或两个眼睛的位置；计算关于感测的位置的至少一个三维3D像素的视点；基于计算的视点，通过执行主动亚像素渲染来渲染3D图像，所述主动亚像素渲染包 括渲染用于具有3D像素的多个视点中与计算的视点最接近的视点的3D像素的第一亚像 素的颜色信息，以具有为第一亚像素定义视点图像的颜色信息；渲染用于与第一亚像素邻 近的至少一个亚像素的颜色信息，以具有用于第一亚像素的视点图像的颜色信息，与第一 亚像素邻近的3D像素的所述至少一个亚像素具有与第一亚像素的视点不同的视点。
32.如权利要求31所述的图像显示方法，还包括沿与第一亚像素和邻近于第一亚像 素的所述至少一个亚像素的各个视点不同的视点，基于与第一亚像素的视点图像不同的不 同亚像素的视点图像，来渲染3D像素的至少一个不同的亚像素，所述至少一个不同的亚像 素与第一亚像素和邻近于第一亚像素的所述至少一个亚像素不同。
33.如权利要求32所述的图像显示方法，其中，渲染3D像素由此第一亚像素和与第 一亚像邻近的所述至少一个亚像素具有用于相同视点图像的不同颜色分量信息，并渲染3D 像素由此所述至少一个不同亚像素具有用于不同亚像素的不同视点图像的颜色分量信息。
34.如权利要求31所述的图像显示方法，还包括通过除第一亚像素和与第一亚像素 邻近的所述至少一个亚像素之外的3D像素的亚像素，同步显示第一亚像素的视点图像和 至少一个其他视点图像，其中，同步显示步骤包括，基于使用具有转换光的方向的特性的双凸透镜、视差屏障、 棱镜排列、全息装置之一以及定向背光来显示3D图像，以提供用于3D像素的每个亚像素的 不同视点。
全文摘要
提供一种使用主动亚像素渲染的高密度多视点图像显示系统及方法。所述图像显示系统可使用基于用户的左眼/右眼的位置而变化的视点，来关于像素单位中的视点图像执行渲染。
文档编号H04N13/00GK102056003SQ201010543468
公开日2011年5月11日 申请日期2010年11月4日 优先权日2009年11月4日
发明者南东暻, 成基荣, 朴斗植, 朴柱容, 金允泰, 金昌容 申请人:三星电子株式会社