用于子像素渲染的图像处理设备和方法
【专利摘要】本发明提供了一种用于子像素渲染的图像处理设备和方法。具有图像处理设备的显示器可基于与观看者的眼睛的位置相关的子像素的位置来调整子像素的像素值。图像处理设备可基于子像素的调整后的像素值在光场显示器上显示三维(3D)图像。
【专利说明】用于子像素渲染的图像处理设备和方法
【技术领域】
[0001]一个或更多个实施例涉及一种图像处理设备和方法，更具体地，涉及一种可基于观看者的观看位置来渲染子像素的图像处理设备和方法。
【背景技术】
[0002]用于针对人类的双眼显示不同图像的三维(3D)图像显示设备分为立体型和自动立体型。立体显示器通过时间划分、使用偏振光的图像划分、用于区分原色的波长的波长划分等来过滤期望的图像，以便当观看者佩戴着合理设计的眼镜时向观看者提供3D效果，其中，所述眼镜针对每只眼睛相似地过滤不同地划分的图像。立体显示器可实现使用视差屏障或柱状透镜在预定空间内观看到不同的图像。自动立体显示器具有减轻必须佩戴立体显示器所必需的眼镜的不便的优点。
[0003]具体地，自动立体显示器可包括例如再现呈现多个底层光场的一般光场的显示器，以制造3D效果，其中，所述多个底层光场选择性地再现可从不同的方向观察到的不同的图像。
【发明内容】
[0004]技术方案
[0005]在一个或更多个实施例中提供了一种显示设备，所述显示设备包括:光场确定单元，用于基于观看将要显示在显示器上的内容的观看者的确定的位置来认定将要呈现给观看者的第一光场；光场转换单兀，用于基于观看者的确定的位置将认定的第一光场转换为与将要显示在显示器上的内容相关联的光场。
[0006]在一个或更多个实施例中提供了一种显示设备，所述显示设备包括:代表射线确定单元，用于基于观看者的确定的位置来确定包括在显示器中的子像素的代表射线；参考信息确定单元，用于基于观看者的确定的位置和子像素的确定的位置来确定参考信息；子像素渲染单元，用于基于代表射线和参考信息来调整子像素的信号电平。
[0007]在一个或更多个实施例中提供了一种显示方法，所述显示方法包括:基于观看将要显示在显示器上的内容的观看者的确定的位置来认定将要呈现给观看者的第一光场；基于观看者的确定的位置将认定的第一光场转换为与将要显示在显示器上的内容相关联的光场。
[0008]在一个或更多个实施例中提供了一种显示方法，所述显示方法包括:基于观看者的确定的位置来确定包括在显示器中的子像素的代表射线；基于观看者的确定的位置和子像素的确定的位置来确定参考信息；基于代表射线和参考信息来调整子像素的信号电平。
[0009]实施例的其它方面部分将在随后的描述中被阐述，部分将从所述描述中变得清楚，或者可通过本公开的实践而被获知。
【专利附图】
【附图说明】[0010]通过下面结合附图的对实施例的描述，这些和/或其它方面将变得清楚和更加易于理解，其中:
[0011]图1示出根据一个或更多个实施例的显示设备；
[0012]图2示出根据一个或更多个实施例的图像处理设备；
[0013]图3示出根据一个或更多个实施例的图像处理设备；
[0014]图4示出根据一个或更多个实施例的例如显示设备的沿多个方向输出射线的光场显不器；
[0015]图5示出根据一个或更多个实施例的从显示器的两个3D像素沿水平方向输出且由观看者的左眼和右眼观察到的射线的示例；
[0016]图6示出根据一个或更多个实施例的从显示器的单个3D像素沿水平方向输出且由观看者的左眼和右眼观察到的射线的示例；
[0017]图7示出根据一个或更多个实施例的使用包括在显示器中的3D像素例如沿水平方向调整子像素的信号电平的处理；
[0018]图8示出根据一个或更多个实施例的从子像素输出的中心射线穿过光学过滤器的结果；
[0019]图9示出根据一个或更多个实施例的在从子像素输出的中心射线之中确定代表射线的处理；
[0020]图10示出根据一个或更多个实施例的例如沿水平方向调整显示器的子像素的信号电平的处理；
[0021]图1la至图1ld示出根据一个或更多个实施例的指示子像素的响应特性的可视度图；
[0022]图12示出根据一个或更多个实施例的指示针对诸如图1la至图1ld的可视度图中的每种颜色的呈现相同颜色的子像素的最大值的可视度图；
[0023]图13示出根据一个或更多个实施例的指示诸如图1la至图1ld的可视度图中的呈现相同颜色的子像素之中相邻的子像素的总和的最大值的可视度图；
[0024]图14示出根据一个或更多个实施例的诸如图12和图13的可视度图中的绿色子像素的建模图；
[0025]图15示出根据一个或更多个实施例的通过诸如图14的建模图的建模图来调整子像素的信号电平的处理；
[0026]图16示出根据一个或更多个实施例的图像处理方法；
[0027]图17示出根据一个或更多个实施例的图像处理方法。
【具体实施方式】
[0028]现在将详细参照在附图中示出的一个或更多个实施例，其中，相似的标号始终指示相似的元件。就此而言，本发明的实施例可按照许多不同形式实施，并且不应该被解释为限于在此阐述的实施例。因此，以下仅通过参照附图来描述实施例，以解释本发明的各方面。
[0029]虽然自动立体显示器提供了如上面所讨论的超过立体显示器的优点，但是发现存在对于当缩减自动立体显示器中的分辨率的下降时可拓宽观看区域的渲染技术、以及对于沿所有方向(例如，向前、向后、向左、向右、向上、向下)提供天然视差的选择性的期望。还发现自动立体显示器也具有可能需要大量视点(view)来拓宽观看区域且在确定的最佳观看距离之外的位置图像的质量会显著降低的缺点。
[0030]在此，在一个或更多个实施例中，除了可显示至少三个视点图像(仅作为示例)的多视点显示器之外，显示器可包括可再现一般光场的整体成像显示器。与从对象的表面上的一点沿各个方向产生或反射光的真实对象相似，整体成像显示器可利用时差产生图像沿各个方向再现光射线或光场。整体成像显示器可使自然图像能够在没有观看距离限制的情况下被观看。然而，发现存在可包括当无法确保足够量的沿各个方向的光时整体成像显示器可能无法显示立体的缺点，且发现当方向之间的间隔不足够窄时可能难以提供自然运动视差。
[0031]还发现确保观看区域可能出现问题。在一个或更多个实施例中，射线之间的间隔或者射线的场可小于或等于用于在整体成像显示器中显示自然场景的预定水平。然而，发现用于拓宽观看区域和保持间隔的射线数量的增加可导致分辨率的降低。发现由于分别沿不同方向显示不同视点的射线可被在最佳观看距离或位置外的位置上的观看者观看到，多视点显示器会具有显示图像的局限。关于射线的数量，还发现多视点显示器还会具有下述问题:会期望射线之间的狭窄间隔以用于平滑的图像转换，且扩展观看区域所需的若干条射线会导致分辨率的降低。
[0032]图1示出根据一个或更多个实施例的显示设备。所述显示设备可包括例如传感器101、图像处理设备102和光场显示器103。在此，根据实施例，由于描述的元件可被包括在单个封装中，也可均与一个或更多个描述的元件被包括在多个封装中，因此术语设备应该被认为可与术语系统互换。因此，传感器101可在图像处理设备102内部或外部，且相似地，图像处理设备102可在包括光场显示器103的显示设备内部或外部。
[0033]简要地，关于光场显示器103且仅作为示例，图4展示了这样的光场显示器的输出。图4示出根据一个或更多个实施例的沿多个方向输出射线的光场显示器。以下，将在图1的讨论内简要地讨论图4-图6和图8-图9，以提供下文中所使用的术语的另外的解释。
[0034]参照图4，光场显示器可包括包括多个子像素的面板401。来自各个子像素的光射线可穿过光学过滤器402。在此，光学过滤器402可包括柱状透镜、视差屏障、微透镜阵列等。然而，下面的一个或更多个实施例不局限于光学过滤器402，并且可包括可被布置在显示器前面或后面的所有类型的光学过滤器。在这种情况下，光学过滤器402可包括3D像素，从多个子像素中的每一个子像素输出的射线403穿过所述3D像素。也就是说，当光学过滤器402被布置在显示器前面时，从多个子像素中的每一个子像素输出的至少一条射线403可进入单个3D像素。在实施例中，仅作为示例，可存在诸如图8中所示的多个子像素，所述多个子像素的射线被配置为穿过单个3D像素。从多个子像素中的每一个输出的射线403可通过3D像素发射。当光学过滤器403被布置在显示器后面时，从单个3D像素输出的射线可进入至少一个子像素。穿过至少一个子像素中的每一个的射线可沿预定方向向外发射。通过上面描述的处理，光场显示器可呈现3D图像。
[0035]例如，射线403可沿15X4个方向从包括在光学过滤器402中单个3D像素输出。也就是说，单个3D像素可沿多个方向输出具有不同信息的射线403，且3D像素可呈现3D空间中的点。在实施例中，仅作为示例，15个水平方向可呈现15个沿水平方向的潜在的视差，且4个垂直方向可呈现4个沿垂直方向的潜在的视差，注意替代物同样可用。潜在地，在该实施例中，可由针对该示例单个3D像素的射线403中的每一条射线投影不同的视差图像。
[0036]如图4中所示，射线403可实际上具有随着行进而扩展的各个宽度，使得来自一个或更多个射线403的显示光前面的空间中的特定点可分别被观察到具有各个潜在强度，这取决于在哪里进行观察。在光学过滤器402是柱状透镜阵列的示例中，如果具有特定亮度的子像素产生的光束入射到柱状透镜阵列的特定透镜的中心位置，则光束可穿过具有最小的折射的特定透镜，且保持的亮度比子像素产生的光束入射到特定透镜的周边位置的情况下大，其中，特定透镜的周边位置会更大幅度地折射子像素产生的光束，且具有较小的保持的亮度。在一个或更多个实施例中，诸如当光学过滤器是柱状透镜时，具有所述最小的亮度损失和/或最小的折射的(仅作为示例)穿过/通过光学过滤器402的子像素产生的光束可被称为中心射线，其中，所述光束可代表从子像素输出的最大光强度。
[0037]此外，使用仅作为示例的图8，例如当光学过滤器802是柱状透镜阵列时，存在示出的可从每个子像素穿过光学过滤器802的各个透镜的多个中心射线。在实施例中，仅作为示例，图8示出可存在一组12个子像素，所述子像素的光束均可被认为能够穿过特定的单个透镜或者由光学透镜802呈现的3D像素产生中心射线。仅作为示例，图8还示出来自不同的透镜或3D像素的中心射线即使是相同的颜色，也可取决于其产生的各个亮度水平而潜在地可被观看者的眼睛观察到，这可被用于一个或更多个实施例，诸如在针对图15的讨论中。
[0038]因此，参照回图4，可基于光学过滤器402来预定从包括在显示器的面板401中的子像素输出的中心射线的方向。根据子像素和可观察到中心射线的观看者的眼睛的相对位置，可在方向被预定的中央射线之中确定哪个中心射线与认定的参考信息相同或最相似。在图4中，当从包括在显示器的面板401中的子像素输出的中心射线穿过光学过滤器402的3D像素时，通过3D像素输出的中心射线中的一条射线可被确定为参考射线或代表射线。在这种情况下,在图4中，穿过3D像素的射线403可被称为中心射线，且射线403中的一条射线可基于来自射线403的可观察光与观看者的眼睛的最终接近被确定为代表射线。随后可基于确定的代表射线来执行子像素的渲染。
[0039]简要地，且仅作为另一示例，图5示出根据一个或更多个实施例的从显示器的两个3D像素沿水平方向输出且由观看者的左眼和右眼观察到的射线的示例。
[0040]参照图5，当观看者使用左眼502和右眼503观看3D空间中的对象501时，3D像素504和3D像素505可产生沿多个方向的射线。通过3D像素504和3D像素505输出的射线可被左眼502和右眼503观看到。
[0041 ] 事实上，在通过3D像素504和3D像素505输出的射线中，直接到达观看者的左眼502或到达最邻近于左眼502的位置的射线可被确定为3D像素504和3D像素505的针对左眼502的代表射线。相反地，在通过3D像素504和3D像素505输出的射线中，直接到达观看者的右眼503或到达最邻近于右眼503的位置的射线可被确定为3D像素504和3D像素505的针对右眼503的代表射线。
[0042]作为进一步的示出，且仅作为示例，图8示出根据一个或更多个实施例的来自子像素的中心射线穿过光学过滤器的结果。[0043]参照图8，中心射线可从包括在显示器中的子像素801输出。在从子像素801输出的射线之中，中心射线可沿可由观看者观察到最大亮度水平的方向输出。也就是说，例如穿过光学过滤器802的中心射线的最终行进方向可指示针对子像素801的最佳观看方向。在这种情况下，可从子像素801输出至少一条中心射线。
[0044]从子像素801输出的中心射线可穿过光学过滤器802 (例如视差屏障或柱状透镜)。穿过光学透镜802的中心射线最终可被观看者的眼睛803感知到。以上描述的3D像素可与中心射线穿过光学处理器802的位置相应。
[0045]在这种情况下，基于观看者的眼睛的位置，图像处理设备可在从包括在显示器中的子像素801输出的中心射线之中确定与可由观看者感知到的中心射线相应的代表射线。在此，可基于例如由光学过滤器802预确定的预定中心射线方向再次从中心射线之中确定代表射线。当光学过滤器802未被提供时，可在从子像素801输出的中心射线之中确定代表射线。可针对每个子像素单独地确定代表射线。
[0046]作为进一步的示出，且仅作为示例，图9示出根据一个或更多个实施例的在从子像素输出的中心射线之中确定代表射线的处理。
[0047]参照图9，可从一组子像素之中的红色子像素901输出多个中心射线。在这种情况下，当输出的中心射线穿过显示器的光学过滤器802时，可确定所述中心射线行进的各个方向。在从红色子像素901输出三个中心射线al、a2和a3的情况下，确定将会被观看者感知到的中心射线可与中心射线a2相应。也就是说，从子像素输出的特定中心射线可被观察者的眼睛803观察到，而从子像素输出的其它中心射线不会被观看者的眼睛903观察到。
[0048]如提到的，虽然中心射线a2无法直接到达观看者的眼睛903，但是由于中心射线a2的宽度，观看者可感知到中心射线a2。此外，中心射线可与指示可被观看者感知到最大亮度水平的射线相应，使得虽然中心射线无法直接到达观看者的眼睛903，但是由于中心射线的由此产生的宽度，来自具有降低的水平的亮度的中心射线的一些光实际上可到达观看者的眼睛903。
[0049]因此，图像处理设备可将中心射线a2认定为针对红色子像素901的代表射线。在此，随着观看者移动，观看者的眼睛903的位置改变，红色子像素901的代表射线可再次改变。通过上述处理，图像处理设备可实时追踪观看者的眼睛903的位置，并且可基于追踪到的观看者的眼睛903的位置来针对包括在显示器中的所有子像素确定代表射线。
[0050]参照回图1，传感器101可测量通过光场显示器103观看内容的观看者的眼睛的位置。在这种情况下，传感器101可包括可通过捕捉观看者的眼睛来计算三维(3D)空间坐标(x, Y, ζ)的相机。例如，相机可包括至少一个可见光波段相机、至少一个红外相机和至少一个深度相机中的至少一个。在这种情况下，相机可被插入光场显示器103中，或者可与光场显示器103连接或分离。在一个或更多个实施例中，作为检测眼睛的3D位置的结果，当眼睛被确定为处于可检测到的空间中时，通过自适应地渲染在该3D位置将会观看到的子像素，3D图像可被自由观看，而不论最佳观看距离如何。此外，可防止由与期望的射线邻近的射线导致的射线之间的串扰。
[0051]图像处理设备102可产生为了 3D效果呈现将要例如同时显示给观看者的不同的图像的多个像素信号/值，和/或调整所述产生的多个像素信号/值以呈现与适合检测到的观看者的眼睛的位置的光场相应的视点图像。[0052]仅作为示例，进一步参考图9，图像处理设备可基于代表射线a2和与连接观看者的眼睛903和红色子像素901的虚拟线相应的参考信息904之间的差值来渲染红色子像素901。具体的，可基于参考射线a2的角度和连接观看者的眼睛903和红色子像素901的虚拟线的角度之间的差值来调整红色子像素901的像素值。
[0053]简要地，且仅作为示例，图6示出根据一个或更多个实施例的从显示器的单个3D像素沿水平方向输出且由观看者的左眼和右眼观察到的射线。
[0054]参照图6，当从单个3D像素601输出射线时，与视差主区域相应的部分射线的位置可到达观看者的左眼602。在这种情况下，与视差子区域相应的部分射线可达到观看者的右眼603。也就是说，图6示出具有狭窄的主区域的显示设备，使得通过使用与可被形成为重复地邻近主区域的视差子区域相应的射线配置光场，实际视角得以拓宽。图6还示出在从单个3D像素601输出的射线之中，哪条射线可被观看者的左眼602观看到，哪条射线可被观看者的右眼603观看到。当针对包括在显示器中的所有3D像素确定了可被观看者的双眼观看到的射线时，图像处理设备可确定图像可被观看者的双眼观看到。
[0055]换句话说，当观看者的眼睛的位置被确定时，图像处理设备可认定观看者的眼睛可观看到的射线。图像处理设备可基于眼睛的位置对观看者的眼睛可观看到的射线指定合适的像素值，以使得观看者能够观看到自然的3D图像。
[0056]参照回图1，图像处理设备102可认定哪个光场与观看者的眼睛的位置相应(即，哪个视点图像应该被观看者观看到)。图像处理设备102可将认定的光场转换为可由光场显示器103呈现的光场。在这种情况下，转换光场的处理可指示将要执行的采样处理，以使用较少的可由光场显示器103呈现的光场来呈现较多的光场。在此，在这里的一个或更多个实施例中讨论的调整多个像素信号/值的处理可被合并到产生多个像素信号/值的步骤中，或者可在对将由光场显示器显示以产生3D效果的不同图像进行考虑之前或之后实现。
[0057]最终,转换的光场可被显不在光场显不器103上。观看者可通过光场显不器103来观看期望的3D图像，而不论观看位置如何。也就是说，即使观看者移动到另一位置并观看内容，图像处理设备102也可显示适合观看者的改变的位置的视点图像。
[0058]图2示出根据一个或更多个实施例的诸如图像处理设备102的图像处理设备200。
[0059]参照图2，图像处理设备200可包括例如光场确定单元201和光场转换单元202。
[0060]光场确定单元201可认定哪个光场与观看者的眼睛的位置相应(即，哪个视点图像应该被观看者观看到)。例如，光场确定单元201可使用代表射线来认定光场，其中，如上面所讨论的，代表射线与从包括在显示器中的子像素输出的中心射线之中基于观看者的眼睛的位置可被观看者感知到的中心射线相应。在一个或更多个实施例中，例如，可由诸如图1的传感器101对观看者的眼睛的位置进行连续追踪。
[0061]因此，中心射线可指示从子像素输出的射线之中沿用于最佳观看的方向的射线，且代表射线可指示子像素的中心射线之中基于用户的位置最有可能被观看者的眼睛观察到的中心射线(即使观看者移动到另一位置)。也就是说，从子像素输出的至少一条中心射线可指示针对基于观看者的眼睛的位置确定的代表射线的候选组。当由布置在显示器前面的光学过滤器预定了从子像素输出的中心射线的方向时，可从沿预定方向输出的中心射线之中选择代表射线。当基于从布置在显示器后面的光学过滤器产生的射线的方向将从子像素输出的中心射线确定为沿至少一个方向输出时，可从与所述至少一个方向相应的中心射线之中选择代表射线。
[0062]因此，光场转换单元202可基于观看者的眼睛的位置将认定的光场转换为与将要显示在显示器上内容相关联的光场。例如，光场转换单元202可基于包括在显示器中的子像素的位置和观看者的眼睛的位置来产生子像素的参考信息。光场转换单元202可使用参考信息和代表射线将认定的光场转换为与将要显不在显不器上的内容相关联的光场。由于将要物理地显示在显示器上的光场会受到限制，因此可期望可由观看者感知到的认定的光场被转换为与将要显示在显示器上的内容相关联的光场。在这种情况下，可从将要显示在多个视点图像中的内容之中选择显示的光场。
[0063]具体地，光场转换单元202可基于代表射线的角度和参考信息的角度之间的确定的差值，将认定的光场转换为与将要显不在显不器上的内容相关联的光场，其中，参考信息与连接子像素的位置和观看者的眼睛的位置的虚拟线相应。在这种情况下，子像素的参考信息可包括基于子像素的水平位置和观看者的眼睛的水平位置的参考信息。此外，子像素的参考信息可包括基于子像素的垂直位置和观看者的眼睛的垂直位置的参考信息。
[0064]在这种情况下，可通过渲染子像素来执行转换认定的光场的处理。具体地，可基于参考信息的角度和代表射线的角度来执行转换认定的光场的处理。光场转换单元202可通过将虚拟线的角度和代表射线的角度之间的差值应用于针对每个像素设置的可视度信息来调整每个像素的亮度值。可参照观看者的左眼和右眼两者来实时执行转换认定的光场的处理。
[0065]具体地，代表射线可指示从子像素输出的中心射线中的一条射线，且指示亮度的最佳水平。当基于子像素的位置和观看者的眼睛的位置的参考信息与代表射线不相应时，光场转换单元202可通过增大与每个子像素的最大亮度值相应的可视度信息来渲染子像素。也就是说，当参考信息和代表射线之间的差值增大时，光场转换单元202可增加子像素的亮度值。在此，实际信号值可在有限的范围之内增加。因此，当子像素的亮度值增加至最大值时，
[0066]子像素的原本的亮度值可被保持。当子像素的亮度值被增加至小于最大值的值时，子像素的亮度值可与子像素的亮度值被增加至最大值的情况成比例减小。
[0067]根据一个或更多个实施例，图像处理设备200可校正当第一光场被转换为有限数量的第二光场时会发生的色彩失真。此外，图像处理设备200可校正屏幕上的亮度不均匀，例如，亮度摩尔纹以及类似的当第一光场被转换为有限数量的第二光场时会发生的亮度不均匀。
[0068]图3示出根据一个或更多个实施例的图像处理设备300。
[0069]参照图3，图像处理设备300可包括例如代表射线确定单元301、参考信息确定单元302和子像素渲染单元303。
[0070]代表射线确定单元301可基于观看者的眼睛的位置来确定包括在显示器中的子像素的代表射线。例如，代表射线确定单元301可基于观看者的眼睛的位置，将通过光学过滤器从子像素输出的中心射线之中可被观看者感知到的中心射线确定为代表射线。
[0071]在此，中心射线可从子像素通过光学过滤器沿指示亮度的最大水平的方向输出。代表射线可包括与从子像素的位置到观看者的眼睛的位置的方向相同或最为邻近的中心射线(即，即使不是直接入射到观看者的眼睛，也是最有可能被观看者的眼睛观察到的子像素的中心射线)。
[0072]参考信息确定单元302可基于子像素的位置和观看者的眼睛的位置来确定参考信息。例如，参考信息确定单元302可将连接子像素的位置和观看者的眼睛的位置的虚拟线确定为参考信息。在这种情况下，参考信息确定单元302可使用连接子像素的水平位置和观看者的眼睛的水平位置虚拟线、连接子像素的垂直位置和观看者的眼睛的垂直位置的虚拟线中的至少一个来确定参考信息。
[0073]子像素渲染单元303可使用代表射线和参考信息来调整子像素的信号电平。例如，子像素渲染单元303可基于代表射线的角度和参考信息的角度之间的差值来调整子像素的信号电平。子像素渲染单元303可通过将代表射线的角度和与参考信息相应的虚拟线的角度之间的差值应用于针对每个子像素设置的可视度信息来调整每个子像素的亮度值。可针对观看者的左眼和右眼两者实时执行渲染子像素的处理。
[0074]子像素渲染单元303可基于通过子像素显示的内容是否可被观看者的左眼和右眼中的至少一个观看到，针对观看者的左眼或观看者的右眼调整子像素的信号电平。
[0075]图7示出根据一 个或更多个实施例的使用例如包括在显示器中的3D像素沿水平方向调整子像素的信号电平的处理。
[0076]以下将基于3D像素更加详细地描述考虑到观看者的眼睛的位置来渲染子像素的处理。在这种情况下，渲染子像素的处理可指示调整子像素的信号电平的处理。
[0077]在图7中，可假设3D像素701的坐标与(?, O)相应，且观看者的右眼702的坐标与(x，z)相应。在这种情况下，可基于例如下面的等式I来确定连接3D像素701和右眼702的直线的梯度。
[0078]等式1:
X-a,
[0079](Xi =-
Z
[0080]在等式I中，a i指示连接3D像素701和右眼702的直线的梯度。图像处理设备可使用梯度a i在从3D像素701输出的射线之中确定观看者的右眼702可观看到的射线。图像处理设备可确定呈现观看者的右眼702可观看到的射线的子像素。此外，图像处理设备可基于梯度a i和可被观看者的右眼702观看到的射线的梯度之间差值来确定对子像素指定的值。在此，从3D像素701输出的射线可以是指示3D像素701中的最大亮度水平的保持的中心射线，并且因此可被观看者的右眼702观看到的中心射线可被称为3D像素701的代表射线。
[0081]图像处理设备可基于例如下面的等式2来确定输出与梯度a i最相似的射线的子
像素Pi。
[0082]等式2:
[0083]Pi = ^(Qi)
[0084]在等式2中，fp指示确定子像素Pi的函数。
[0085]可基于例如下面的等式3来确定由于梯度a i和从位于(?, O)的3D像素输出的射线的梯度之间的差值而发生的调整子像素Pi的信号电平的程度。
[0086]等式3:
[0087]rj = fr ( a j)[0088]可基于例如下面的等式4来确定基于梯度a i的显示在显示器上的内容Ci0
[0089]等式4:
[0090]Ci = Kai)
[0091]实际上，基于例如下面的等式5，可基于调整子像素Pi的信号电平的程度&以及与子像素Pi在内容Ci中的位置相应的值来确定包括在显示器中的子像素Pi。
[0092]等式5:
[0093]V (Pi) = Vc (Ci, Pi, Ti)
[0094]针对显示器仅可呈现水平视差的情况提供以上描述。当显示器中呈现水平视差和垂直视差两者时，相似的描述可被应用如下。
[0095]可基于例如下面的等式6来确定连接沿垂直方向布置的显示器中位于(0，bi)位置的3D像素和观看者的右眼702的直线的梯度β it)
[0096]等式6: [0097]
【权利要求】
1.一种显示设备，包括: 光场确定单元，用于基于观看将要显示在显示器上的内容的观看者的确定的位置来认定将要呈现给观看者的第一光场； 光场转换单元，用于基于观看者的确定的位置将认定的第一光场转换为与将要显示在显示器上的内容相关联的光场。
2.如权利要求1所述的设备，其中，光场确定单元基于观看者的确定的位置、基于与从包括在显示器中的子像素输出的中心射线之中被观看者感知到的中心射线相应的代表射线来认定第一光场。
3.如权利要求2所述的设备，其中，中心射线是从子像素沿分别引起输出最大亮度水平的方向输出的射线，且代表射线是中心射线之中被确定为最能够入射到观看者的确定的位置的中心射线。
4.如权利要求2所述的设备，其中，光场转换单元基于子像素的位置和观看者的位置产生包括在显不器中的子像素的参考信息，并基于参考信息和代表射线将认定的第一光场转换为与将要显示在显示器上的内容相关联的光场。
5.如权利要求4所述的设备，其中，子像素的参考信息包括基于子像素的水平位置和观看者的眼睛的水平位置的参考信息以及基于子像素的垂直位置和观看者的眼睛的垂直位置的参考信息中的至少一个。
6.如权利要求2所述的设备，其中，子像素的中心射线通过布置在显示器前面的光学过滤器沿预定方向输 出。
7.如权利要求2所述的设备，其中，子像素的中心射线被预定为沿基于从布置在显示器后面的光学过滤器产生的射线的方向的至少一个方向输出，以便从与所述至少一个方向相应的中心射线之中选择代表射线。
8.如权利要求1所述的设备，其中，光场转换单元通过增大基于针对每个子像素设置的最大亮度值的可视度信息来渲染子像素。
9.如权利要求1所述的设备，其中，当子像素的亮度值增大到最大值时，光场转换单元保持子像素的原始亮度值，或者当子像素的亮度值增大到小于最大值的值时，光场转换单元与子像素的亮度值增大到最大值的情况成比例地降低子像素的亮度值。
10.一种显不设备，包括: 代表射线确定单元，用于基于观看者的确定的位置来确定包括在显示器中的子像素的代表射线； 参考信息确定单元，用于基于观看者的确定的位置和子像素的确定的位置来确定参考信息； 子像素渲染单元，用于基于代表射线和参考信息来调整子像素的信号电平。
11.如权利要求10所述的设备，其中，代表射线确定单元基于观看者的确定的位置将从子像素通过光学过滤器输出的中心射线之中将会被观看者感知到的中心射线确定为子像素的代表射线。
12.如权利要求11所述的设备，其中，中心射线是从子像素沿分别引起输出最大亮度水平的方向输出的射线，且代表射线是中心射线之中被确定为最能够入射到观看者的确定的位置的中心射线。
13.如权利要求10所述的设备，其中，参考信息确定单元将连接子像素的位置和观看者的确定的位置的虚拟线确定为参考信息。
14.如权利要求13所述的设备，其中，参考信息确定单元使用连接子像素的水平位置和观看者的眼睛的水平位置的虚拟线以及连接子像素的垂直位置和观看者的眼睛的垂直位置的虚拟线中的至少一个来确定参考信息。
15.如权利要求10所述的设备，其中，子像素渲染单元基于代表射线的角度和参考信息的角度之间的差值来调整子像素的信号电平。
16.如权利要求10所述的设备，其中，子像素渲染单元基于通过子像素显示的内容是否能够被观看者的左眼和右眼中的至少一个观看到来针对观看者的左眼或观看者的右眼调整子像素的信号电平。
17.如权利要求10所述的设备，其中，子像素的中心射线通过布置在显示器前面的光学过滤器沿预定方向输出。
18.如权利要求10所述的设备，其中，子像素的中心射线被预定为沿基于从布置在显示器后面的光学 过滤器产生的射线的方向的至少一个方向输出，以便从与所述至少一个方向相应的中心射线之中选择代表射线。
19.如权利要求10所述的设备，其中，子像素渲染单元通过增大与针对每个子像素设置的最大亮度值相应的可视度信息来渲染子像素。
20.如权利要求10所述的设备，其中，当子像素的亮度值增大到最大值时，子像素渲染单元保持子像素的原始亮度值，或者当子像素的亮度值增大到小于最大值的值时，子像素渲染单元与子像素的亮度值增大到最大值的情况成比例地降低子像素的亮度值。
21.如权利要求10所述的设备，还包括: 光场确定单元，用于基于观看将要显示在显示器上的内容的观看者的确定的位置来认定将要呈现给观看者的第一光场； 光场转换单元，用于基于观看者的确定的位置将认定的第一光场转换为与将要显示在显示器上的内容相关联的光场。
22.—种显不方法,包括: 基于观看将要显示在显示器上的内容的观看者的确定的位置来认定将要呈现给观看者的第一光场； 基于观看者的确定的位置将认定的第一光场转换为与将要显示在显示器上的内容相关联的光场。
23.如权利要求22所述的方法，其中，确定的步骤包括:基于观看者的确定的位置、基于与从包括在显示器中的子像素输出的中心射线之中被观看者感知到的中心射线相应的代表射线来认定第一光场。
24.如权利要求23所述的方法，其中，中心射线从子像素沿分别引起输出最大亮度水平的方向输出，且代表射线是中心射线之中被确定为最能够入射到观看者的确定的位置的中心射线。
25.如权利要求23所述的方法，其中，转换的步骤包括:基于子像素的位置和观看者的位置产生包括在显示器中的子像素的参考信息； 基于参考信息和代表射线将认定的第一光场转换为与将要显不在显不器上的内容相关联的光场。
26.如权利要求25所述的方法，其中，子像素的参考信息包括基于子像素的水平位置和观看者的眼睛的水平位置的参考信息以及基于子像素的垂直位置和观看者的眼睛的垂直位置的参考信息中的至少一个。
27.如权利要求22所述的方法，其中，子像素的中心射线通过布置在显示器前面的光学过滤器沿预定方向输出。
28.如权利要求22所述的方法，其中，子像素的中心射线被预定为沿基于从布置在显示器后面的光学过滤器产生的射线的方向的至少一个方向输出，以便从与所述至少一个方向相应的中心射线之中选择代表射线。
29.如权利要求22所述的方法，其中，转换的步骤包括:通过增大基于针对每个子像素设置的最大亮度值的可视度信息来渲染子像素。
30.如权利要求22所述的设备，其中，转换的步骤包括:当子像素的亮度值增大到最大值时，光场转换单元保持子像素的原始亮度值；或者当子像素的亮度值增大到小于最大值的值时，光场转换单元与子像素的亮度值增大到最大值的情况成比例地降低子像素的亮度值。
31.一种显不方法，包括: 基于观看者的确定的位置来确定包括在显示器中的子像素的代表射线； 基于观看者的确定的位置和子像素的确定的位置来确定参考信息； 基于代表射线和参考信息来调整子像素的信号电平。
32.如权利要求31所述的方法，其中，确定代表射线的步骤包括:基于观看者的确定的位置将从子像素通过光学过滤器输出的中心射线之中将会被观看者感知到的中心射线确定为子像素的代表射线。
33.如权利要求32所述的方法，其中，中心射线是从子像素沿分别引起输出最大亮度水平的方向输出的射线，且代表射线是中心射线之中被确定为最能够入射到观看者的确定的位置的中心射线。
34.如权利要求31所述的方法，其中，确定参考信息的步骤包括:将连接子像素的位置和观看者的确定的位置的虚拟线确定为参考信息。
35.如权利要求34所述的方法，其中，确定参考信息的步骤包括:使用连接子像素的水平位置和观看者的眼睛的水平位置的虚拟线以及连接子像素的垂直位置和观看者的眼睛的垂直位置的虚拟线中的至少一个来确定参考信息。
36.如权利要求31所述的方法，其中，调整的步骤包括:基于代表射线的角度和参考信息的角度之间的差值来调整子像素的信号电平。
37.如权利要求32所述的方法，其中，调整的步骤包括:基于通过子像素显示的内容是否能够被观看者的左眼和右眼中的至少一个观看到来针对观看者的左眼或观看者的右眼调整子像素的信号电平。
38.如权利要求31所述的方法，其中，子像素的中心射线通过布置在显示器前面的光学过滤器沿预定方向输出。
39.如权利要求31所述的方法，其中，子像素的中心射线被预定为沿基于从布置在显示器后面的光学过滤器产生的射线的方向的至少一个方向输出，以便从与所述至少一个方向相应的中心射线之中选择代表射线。
40.如权利要求31所述的方法，其中，调整的步骤包括:通过增大与针对每个子像素设置的最大亮度值相应的可视度信息来渲染子像素。
41.如权利要求31所述的方法，其中，调整的步骤包括:当子像素的亮度值增大到最大值时，保持子像素的原始亮度值；或者当子像素的亮度值增大到小于最大值的值时，与子像素的亮度值增大到最大值的情况成比例地降低子像素的亮度值。
42.如权利要求31所述的方法，还包括: 基于观看将要显示在显示器上的内容的观看者的确定的位置来认定将要呈现给观看者的第一光场； 基于观看者的确定的位置将认定的第一光场转换为与将要显示在显示器上的内容相关联的光场。
43.一种非暂时性计算机可读介质，包括:用于控制用于实现权利要求22的方法的至少一个处理装置的计算机可读代码。
44.一种非暂时性计算机可读介质，包括:用于控制用于实现权利要求31的方法的至少一个处理装置的计 算机可读代码。
【文档编号】G06T15/00GK103988504SQ201280058535
【公开日】2014年8月13日 申请日期:2012年11月30日 优先权日:2011年11月30日
【发明者】朴柱容, 南东暻 申请人:三星电子株式会社