用于处理图像数据以由显示装置显示的方法和设备的制作方法

专利名称：用于处理图像数据以由显示装置显示的方法和设备的制作方法
技术领域：
本发明涉及用于处理图像数据以由显示装置显示的方法和设备。
背景技术：
已知有源矩阵液晶显示装置可在公共显示模式和专用显示模式之间切换或者其能够把多个不同的图像引导给不同的观看者。在第一(公共)模式中，这样的显示一般作为标准显示。对于所有观看者而言，单个图像以尽可能宽的视角范围、以最佳亮度、图像对比度以及分辨率而被所述装置显示。在第二 (专用)模式中，主图像仅从减小的视角范围内可辨别，所述主图像经常以显示表面的法线为中心。从该减小的角范围外部注视该显示器的观看者将感知使该主图像模糊的第二、掩蔽图像(masking image)，或者感知被如此恶化以致于把它呈现得不清晰的主图像。
在GBM13394 (夏普)中，可切换的私用装置是通过向显示面板添加一个或多个额外的液晶层和起偏振镜来构建的。这些额外元件的内部视角相关性能够通过以已知方式电气切换液晶而变化。利用此技术的装置包括夏普ai851i和》!902i移动电话。
然而，这些类型的显示器仅能够对于减小的可视范围外部的观察者选择性地衰减主图像的亮度，而不能向侧面观看者显示重新配置的、彩色、视频图像。具有此能力的基于视差屏障技术的多视点显示器在US 2007/0296874 Al和US71M653中予以描述。
上面的方法都受困于这样的缺点它们需要向显示器添加额外的设备以提供电气切换视角范围的功能。这增加了成本以及尤其是显示器的体积，这是非常不理想的，尤其是在诸如移动电话和膝上型计算机之类的移动显示应用中。基于视差屏障的显示器还仅能够向每个视区显示显示器中像素的一半，即使在公共模式下也是如此，因此有效图像分辨率是基面板的图像分辨率的一半。
在无添加的显示硬件复杂性的情况下具有私用模式能力的显示装置的一个示例是夏普Sh702iS移动电话。其使用对显示在电话的IXD上的图像数据的操纵、结合在显示器中使用的液晶模式固有的角数据一辉度属性来产生专用模式，在该专用模式中，对于从偏离中心位置观察显示器的观看者来说，所显示的信息是不清晰的。然而，在专用模式中显示给正统的、轴线上的观看者的图像的质量也在某种程度上被恶化。
单独地基于在专用模式中在不需要显示面板上的另外的光学设备的情况下能够提供详细的重新配置的侧图像的图像处理技术的多视点显示器在GBM^152A1中以及GB 专利申请号0804022. 2中予以描述。在这些显示器中，主图像数据是以依赖于第二、掩蔽图像的方式被操纵的，以及因此使得当经修改的图像数据被显示在面板上时掩蔽图像将被轴线外的观看者感知。
如在GB专利申请号0804022. 2中所描述的，应用到主图像以便生成多视点效果的高空间频率调制能够导致不希望的彩色伪影，在主图像中存在某些图像特征的地方此彩色伪影变得明显。上面的应用陈述了把诸如在GB专利申请号0701325.3 (被公开为 GB-A-2445982)中所描述的图像处理过滤器应用到主图像以便使该图像中的细微特征模糊能够基本上改进这些伪影的显现。然而，包括所描述的供诸如上述公开的多视点显示器使用的那些的标准图像模糊过滤器并未被设计成特别地解决与图像数据操纵多视点处理相关联的特定彩色伪影。结果，它们已经被示出在针对所有图像类型去除具有主图像的最小模糊的彩色伪影时是不够有效的。特别地，过滤器不能采用相同的参数集修正黑文本和白文本周围的彩色伪影。
因此，希望的是提供多视点显示器，该多视点显示器相对于等价的标准显示面板具有基本未改变的公共模式，即完全的亮度、分辨率、对比度、可视范围等等，并且其具有基于下述图像处理方法的多视点或者私用模式能力，在所述图像处理方法中，如主观看者所观察的主图像的质量通过包括用以特别地修正多视点图像处理所产生的彩色伪影的类型的图像处理步骤而被优化。

发明内容
根据本发明的第一方面，提供了一种处理图像数据以由显示装置的显示面板显示的方法，包括接收表示图像的图像像素数据；在第一处理步骤中，处理所述像素数据以对观看者产生多视点效果；以及，在第二处理步骤中，对于像素数据的多个子集中的每一个， 其中每个子集包括相同数目的像素组且每个像素组包括至少一个像素，根据子集的像素组中的像素数据的图案导出子集的像素组中的至少之一的新像素数据，以能够区分至少一个该图案与其反图案(reverse)的方式来执行新像素数据的导出。
可以考虑显示面板的属性来执行该第一处理步骤，以便引起轴线上辉度的变化以及轴线外辉度的变化，所述轴线上辉度的变化趋向于通过空间求平均来进行局部平衡且因此不会被轴线上的观看者感知，所述轴线外辉度的变化不通过空间求平均进行局部平衡且因此会被轴线外的观看者感知。
依据本发明的第二方面，提供了一种处理图像数据以由显示装置的显示面板显示的方法，包括接收表示图像的图像像素数据；在第一处理步骤中，考虑显示面板的属性而对像素数据进行处理以便引起轴线上辉度的变化以及轴线外辉度的变化，所述轴线上辉度的变化趋向于通过空间求平均来进行局部平衡且因此不会被轴线上的观看者感知，所述轴线外辉度的变化不通过空间求平均进行局部平衡且因此会被轴线外的观看者感知；以及在第二处理步骤中，针对像素数据的多个子集中的每一个，其中每个子集包括相同数目的像素组且每个像素组包括至少一个像素，根据子集的像素组中的像素数据的图案导出子集的像素组中的至少之一的新像素数据。
在第一处理步骤中，对于一对像素组中的一个像素组而言，通过空间求平均而被观看者感知为具有单一辉度的、在轴线上引起的任何辉度增加可能基本匹配于该对的像素组中的另一个像素组的基本等价的辉度减小。
其可以被布置成或者是该对的像素组中的一个像素组的所得到的辉度接近于最大辉度，或者是该对的另一像素组的所得到的辉度接近于最小辉度。
导出新像素数据可以包括根据像素数据的图案选择过滤器以及把所选择的过滤器应用到子集的像素组中的至少一些像素组以导出新像素数据。
该方法可以包括比较像素数据的图案和多个预定图案以及根据比较步骤的结果导出新像素数据。
预定图案中的每一个预定图案可以与对应的相应过滤器相关联，且该方法可以包括在比较步骤中确定匹配的图案以及选择其相关联的过滤器以供在导出新像素数据中使用。
所述比较步骤可以包括，对于正在针对其导出新像素数据的至少一个像素组中的所述像素组或每个像素组，确定该像素组相对于至少一个紧挨着的邻近像素组的亮度的度量(measure)，该度量在较高和较低亮度之间进行区分。
该方法可以包括，针对子集中的每个像素组，依据其像素数据把像素组分配到预定的一组级别中的一个，以及在比较步骤中比较所分配级别的图案和预定图案。
该方法可以包括基于子集的像素组中的至少一些像素组的像素数据计算度量，以及可以根据所计算的度量来执行把像素组分配到预定级别之一的步骤。
依据本发明的第三方面，提供了一种处理图像数据以由显示装置的显示面板显示的方法，包括接收表示图像的图像像素数据；在第一处理步骤中，处理像素数据以对观看者产生多视点效果；以及，在第二处理步骤中，对于像素数据的多个子集中的每一个子集， 其中每个子集包括相同数目的像素组且每个像素组包括至少一个像素基于子集的像素组中的至少一些像素组的像素数据计算度量；对于子集中的每个像素组，依据其像素数据并根据所计算的度量把该像素组分配到预定的一组级别中的一个；比较所分配级别的图案和多个预定图案；以及根据比较步骤的结果导出子集的像素组中的至少一个像素组的新像素数据。
所述度量可以是平均值。
该方法可以包括基于其像素数据和所计算的度量之间的比较来把像素组分配到所述预定的一组级别中的一个，例如把所计算的度量用作阈值。
该方法可以包括例如基于伽马幂律函数，把像素数据转变成视辉度值(apparent luminance value)以供在导出步骤中使用。
该方法可以包括使用根据子集的像素组的图案所确定的至少一个转变参数。
子集的像素组可以是邻接的，且基本上在一个维度上延伸。
子集的像素组可以包括邻接的二维布置。
多个子集中的每一个子集可以与另一子集间隔开一个像素组。
导出新像素数据的步骤可以使用在第一处理步骤中所执行的处理的知识。
新像素数据可以以这样的方式被导出以便考虑像素数据的图案，其表示图像特征，所述图像特征倾向于引起作为在第一处理步骤中所执行的处理的结果的伪影。
所述导出步骤可以包括确定正针对其导出新像素数据的至少一个像素组中的所述像素组或者每个像素组是否形成像素数据的图案的一部分，其表示图像特征，其倾向于引起作为在第一处理步骤中所执行的处理的结果的伪影。
在导出步骤中，可以不同地对待表示在相对暗的背景上的亮特征的像素数据的图案与表示在相对亮的背景上的暗特征的像素数据的图案。
该导出步骤可以包括根据像素数据的图案确定正针对其导出新像素数据的至少一个像素组中的所述像素组或者每个像素组是否形成下列图像特征中的至少一个图像特征的一部分具有单个像素组的宽度的暗或者亮线；具有单个像素组的宽度的暗或者亮线的相邻像素组；具有两个像素组的宽度的暗或亮线的左边缘；具有一个或两个像素组的间距的暗-亮棋盘格式图案；以及对角线。
第二处理步骤可以在第一处理步骤之前执行。
第二处理步骤可以在第一处理步骤之后执行。
可以针对子集的像素组中的单独的一个像素组导出新像素数据。
每个像素组可以包括颜色组分像素的合成颜色像素组，该方法进而被应用到该颜色组分像素中的每一个。
该合成颜色像素组可以包括红、绿和蓝颜色组分像素。
可以执行第一处理步骤以交织表示不同的相应图像的所接收的像素数据集以便把那些不同的图像呈现给在不同的相应观看位置处的观看者。
依据本发明的第四方面，提供了一种设备，其被布置成执行依据本发明的第一至第三方面中的任何一个方面的方法。
依据本发明的第五方面，提供了一种显示装置，包括依据本发明的第四方面的设备。
依据本发明的第六方面，提供了一种程序，其用来控制用以执行依据本发明的第一至第三方面中的任何一个的方法的设备。该程序可以被承载在载体介质上。该载体介质可以是存储介质或者传输介质。
所考虑的显示面板的属性可以是其对轴线上辉度响应的信号电压，其中在轴线上所引起的辉度变化被设置成以便趋向于通过空间求平均进行局部平衡且因此不会被轴线上的观看者感知。该面板将具有非线性的轴线外辉度对轴线上辉度的关系，从而使得在轴线外的辉度方面所引起的变化不通过空间求平均进行局部平衡且因此会被轴线外观看者感知。
本发明的实施例提供了用于私用和多视点显示器的改进的图像处理方法，其允许下述类型的这样的显示器，所述类型的这样的显示器使用图像数据操纵和LCD面板的固有角观看依赖性以使多个观看者可看到多个图像，从而在不通过多视点数据操纵处理引起不想要的图像伪影的情况下维持高的轴线上图像质量。
在本发明的第一实施例中，当执行多视点图像处理时，采用过滤器处理输入到装置的多个图像数据集中的至少一个，以探测已知会导致图像伪影的特定图像特征。之后，依据特定图像特征的类型、以在保留原始图像的尽可能多的细节的同时防止引起伪影的方式来对该特定图像特征进行操作。
在本发明的第二实施例中，将由多视点图像处理得到的输出图像中的局部像素组和与多个输入图像中的至少一个输入图像的相同区域对应的像素组进行比较。于是探测到差异，且以这样的方式来改变多视点输出图像修正差异或者把差异散布到图像的更宽区域上以便使它不那么显而易见。


图1是液晶显示器的控制电子器件的标准布局的示意图。
图2是标准单视点IXD中的数据处理流的图解。
图3是在专用或者多视点模式中已知类型的多视点LCD的数据处理流的图解。
图4是示出来自对均勻的主和侧输入图像数据的区域进行操作的已知多视点显示处理的输出像素数据的示意图。
图5是示出来自对主输入图像的对角线区域和侧输入图像的均勻区域进行操作的已知多视点显示处理的输出像素数据的示意图。
图6是在具有针对主和侧输入图像添加的另外的预处理过滤器的已知多视点显示装置中的图像数据处理流的示意图。
图7是示出了在第一实施例的第一(分类)步骤中，基于它们的图像数据值而把主输入图像的4X1像素采样窗口中的像素分类成“高”(1)或者“低”(0)的优选方法的图。
图8是示出了在第一实施例的第二步骤中所标识的十种不同的情况下，在第三步骤中所执行的不同操作的表。
图9是示出了第一实施例的可能硬件实现方式的图。
图10是示出了第一实施例的第二示例中的第三(操作)步骤中所使用的计算的图。
图11是示出了图10的计算的结果的图，图10使用用于非线性地预转换和后转换数据值的不同的“伽马”参数作用于两个输入数据集(a)和(b)。
图12是示出了第一实施例的第三示例的第二步骤中所标识的六种不同情况中的每一种的示例的图。
图13是示出了在图12的实施例中所标识的每种情况下，在第三步骤中对输入主图像数据执行的可能操作的图。
图14是示出了第一实施例的可能硬件实现方式的图。
图15是示出了第二实施例的IXD显示装置中的图像数据处理流的图。
图16是示出了在第二实施例中使用的计算的图。
图17是示出了用于根据输出多视点图像中核的位置而不管输入主图像是否均勻来产生不同结果的图16的计算的潜力(potential)的图。
具体实施例方式在优选实施例中，显示器包括具有改变的控制电子器件的标准IXD显示器。IXD显示器通常包括若干组件部分，其包括
1.背光单元，用以为面板供应均勻的宽角度照明。
2.控制电子器件，用以接收每个像素的输出模拟信号电压和数字图像数据，以及所有像素的对电极(counter electrode)的公共电压和定时脉冲。IXD控制电子器件的标准布局的示意图在图1中示出(2001年Wiley和sons有限公司的Ernst Lueder液晶显示器 3. LC面板，用于通过空间光调制显示图像，其包括两个相对的玻璃基板，在基板之一上设置像素电极阵列和用以把从控制电子器件接收的电子信号引导到像素电极的有源矩阵阵列。经常在另一个基板上设置均勻的公共电极和滤色器阵列膜。在所述玻璃基板之间包含有给定厚度(经常为2-6 μ m)的液晶层，其可以通过存在于玻璃基板的内表面上的取向层而被取向。玻璃基板将通常被放置在交叉的偏振膜和其它光学补偿膜之间，以在LC 层的每个像素区域内引起电感应的取向变化，从而产生来自背光单元和周围环境的光的期望的光学调制，以及由此生成图像。
在图2中示意性地表示了在GB专利申请号0804022. 2中公开的发明的实施例，该实施例在公共显示模式下操作。通常，LCD控制电子器件(本文还称为控制电子器件)1将被特别地配置成LC面板2的电光特性，以便以用以优化所显示图像对于从垂直于显示表面的方向(在轴线上)观察的主要观看者3的感知质量(即，分辨率、对比度、亮度、响应时间等等)的这样的方式，输出取决于输入图像数据的信号电压。给定像素的输入图像数据值和从显示器得到的观察到的辉度之间的关系(伽马曲线)通过该数据值对显示驱动器的信号电压映射和该信号电压对LC面板的辉度响应的组合效果来加以确定。
LC面板2将通常被配置成具有每像素多个LC域和/或无源光学补偿膜以便针对所有视角保持显示器伽马曲线尽可能地接近轴线上响应，由此为宽视区5提供基本相同的高质量图像。然而，液晶显示器的固有属性是它们的电光响应是有角度地依赖的，且轴线外伽马曲线将与轴线上伽马曲线不同。只要这不会导致对比度反转或者大的色偏或者对比度减少，则其就通常不会在轴线外观看者4观察到的图像中导致明显的感知错误。
当显示器工作在公共模式下时，在每个帧周期中，构成单个图像的主图像数据6 的集合典型地以串行比特流的形式被输入到控制电子器件1。控制电子器件然后把一组信号数据电压输出到LC面板2。这些信号电压中的每一个信号电压被LC面板的有源矩阵阵列引导到对应的像素电极，且LC层中像素的所得到的集体的电光响应产生图像。于是，轴线上的观看者3和轴线外的观看者4基本上感知到相同的图像，并且可以说该显示器工作在宽视模式下。此情形在图2中予以图示，且可以把此情形说成是LCD的标准操作方法。
在GB专利申请号0804022. 2中所描述的且如图3中示意性地图示的类型的多视点显示装置中，在专用模式下，在每个帧周期中把两个图像数据集输入到控制电子器件1 构成主图像的主图像数据7和构成侧图像8的侧图像数据8。然后，控制电子器件输出一组信号数据电压，如先前那样，一个数据电压针对LC面板中的每个像素。然而，控制电子器件(显示控制器)现在利用扩展的查找表(LUT)，而构成组合图像的用于LC面板中的每个像素的输出信号数据电压取决于主7和侧8图像二者中的对应像素(按照图像中的空间位置) 的数据值。用于每个像素的输出数据电压还可能取决于通过显示器内像素的空间位置确定的第三参数。
来自控制电子器件1的输出电压于是促使LC面板2显示组合图像，当主观看者3 观察时，该组合图像是主图像。然而，由于对于轴线外观看者4而言LC面板的不同的伽马曲线特性的原因，这些轴线外观察者最显著地感知到侧图像，所述侧图像使主图像模糊和/ 或恶化，针对在以显示器法线9为中心的角度的受限锥形之内的观看者保护主图像信息。 此情形在图3中予以图示。通过参考GB专利申请号0804022. 2可以找到其它细节。
如在GB专利申请号0804022. 2的多视点处理中所描述的图像数据压缩和组合处理以及参数可以产生对于轴线上的观看者3而言明显的小的彩色伪影。对于输入主图像中包括单个像素宽度对角线的区域而言，尤其是这样的情况。这是由于该处理常常导致其中交替颜色子像素被设置成黑色的输出图像这一事实，因此叠加在此图案(pattern)上的单个像素宽度黑对角线可以在像素的线的任意侧留有仅一个或两个彩色子像素，所有都沿着其长度。在此情况下，该有色的线对于眼睛变得可见。
此问题在图4和5中予以图示。图4示出了多视点图像处理的结果，该多视点图像处理作用于来自典型RGB条纹显示器中的均勻的主和侧图像的2X2像素组的辉度值。据此能够看出多视点处理输出在子像素级别上被改变的图像数据，但是维持所述2X2组的整体辉度和色平衡。然后，输出像素集将在足够的距离处显现给观察者以仅看见所述组的平均像素辉度，其与输入主图像是相同的。
图5图示了相同的多视点处理，其作用于来自均勻的输入侧图像的2X2像素组， 但是输入主图像区域包括暗对角线。现在可以看出，该多视点处理导致在整体辉度和色平衡两个方面显著不同的输出图像数据。此差异对于轴线上的观察者而言将是可见的，且在此情形下将导致强绿色的伪影外观。
根据对角线相对于亮和暗子像素的图案的位置，图像伪影的外观可以改变。例如，像相对倾斜于图5中所示出的那个的输入主图像中的暗对角线会在输出像素子集中导致整体品红色外观。如果多视点图像处理向一些合成白像素中的所有的颜色子像素增加辉度，且相应地从相邻合成白像素的所有颜色组分中减去辉度(也如在GB专利申请号 0804022. 2中所描述的)，而不是在子像素级别上形成图案(patterning)，则对角线可能完全消失。
GB专利申请号0804022. 2描述了在多视点图像组合过程中添加分别作用于输入主图像数据集和侧图像数据集的预处理步骤10、11，包括图像模糊过滤器以防止这些图像伪影出现。对该显示处理的此改变在附图的图6 (对应于GB专利申请号0804022. 2的图 17)中予以图示。
在本发明的优选实施例中，提供了一种改进的图像预处理方法，其使用由该多视点图像处理方法执行的图像数据操纵的知识和它们生成的图像伪影，以在对输入图像进行最小改变且对计算资源进行最优效率的使用的情况下、以这样的方式改变输入图像数据集以便防止输出图像中的伪影的显现(例如，可以采用下列项中的任何一个或多个来执行处理较少的栅极(gate)；用于缓冲数据的较少的存储器；较少的严格定时(stringent timing)；较低的等待时间；以及较低的功耗)。
在优选方法中，由于输入图像像素数据被另外的图像处理装置10或11接收，所以该输入图像像素数据被多个像素缓冲，这允许相邻像素数据值的子集在图像上的“窗口”或者“核”中被一起采样。每个这样的窗口或者核均被视为包括该像素数据的子集，其中每个子集包括相同数目的像素组，且每个像素组包括至少一个像素。例如，每个像素组可以包括单个像素，或者可以是包括红、绿和蓝像素的合成颜色像素组。为了简明起见，本文有时把像素组简单称为像素。
然后对每个子集应用三步骤处理
第一(分类)步骤，其用于把子集内的像素表示为“高”或“低”值的像素。此分类步骤还可以被视为是基于亮度把像素分配到预定的一组级别中的一个级别的步骤(在此情况中存在两个这样的级别“高”和“低”)。在像素值涉及单个单色或者黑和白像素的情况下，处理邻近像素的像素值。然而，在合成颜色像素组的情况下，它们中的每一个包括红、绿和蓝像素，进而把该处理应用到邻近的合成像素组的颜色组分像素值中的每一个。
在第二(比较，或者情况探测)步骤中，将所得到的高/低图案与一组已知图案进行比较。
在发现匹配的情况下，对子集中的像素中的至少一个像素执行第三(操作)步骤， 且于是在图像内移动采样窗口以采样新的一组像素。在没有出现匹配的情况下，让像素值不改变且继续移动采样窗口(如果未发现匹配，可以至少在概念上把它视为新的像素数据，应用过滤器，其简单地取得现有图像像素数据并使用它而不进行改变)。一旦该窗口已经扫描了主输入图像的全部且对图像数据值执行了任何必要的改变，就把经调整的图像数据从预处理电路输出到多视点电路。
在示例性实现方式中，采样窗口或者“核”是4X1水平像素块。分类步骤包括求所有像素的数据值的平均，并把核内具有高于平均值的数据值的那些像素定义为具有高值， 用“1”表示，而把具有低于平均数据值的那些像素定义为低值或者“0”。在图7中针对一示例性行的像素值图示了此处理。
于是，将0和1值的4X1图案与一组已知图案进行比较，且对从核的左边数第二个像素(Px)执行与当前图案对应的操作。该4X1窗口于是在图像中向右移一个像素并重复高/低分类、图案比较和对第二像素进行操作。此过程继续直到该核已经扫描了图像中所有行的全部宽度。可能是把来自先前步骤的经修改的数据值用在后续步骤中，或者可能是使用原始数据值。例如，在第一阶段中，4X1窗口的像素2可能被修改(从左数第二个像素)，而在第二阶段中那个像素则在4X1窗口内变成像素1。在第一实现方式中，像素1的新值会被用在第二阶段中的计算中，而在第二实现方式中会使用像素1的原始值。在视频显示器中，此处理实时进行，在帧时间内过滤视频序列的每个帧并把经修正的图像输出给显不器。
如先前提及的，在每个像素组由各个颜色组分像素组成的情况下，针对每个颜色组分单独地重复该处理。例如，图7的图解可以被视为表示4X 1窗口中四个邻近像素的只是红颜色组分的相应值，或者绿值或者蓝值。在另一实施例中，对于该窗口而言将可以一起考虑并处理来自一个以上颜色组分的值，从而使得可以解决更复杂的彩色图案。
在示例性实施例中，16个可能核图案中的10个已经被发现需要对从左数第二个像素执行操作以便修正下述图像特征，所述图像特征否则会导致多视点图像中的伪影。这些图案和对应的操作在图8中示出。应当注意，用来计算Px'的像素值，核中从左数第二个像素的新值，是像素Px和其相邻的Pjri和Prt的原始数据值，而不是在该过程的第一步骤中用来表示高/低值的0或1值，也不是在不同位置中采用核从先前步骤得到的新修正的像素值。从图8中的表还应当注意的是，本发明的实施例能够区分每个图案与其反图案 (inverse);例如，图案1与图案1的反图案(其是图案2)是可区分的，而图案3与图案3的反图案(其是图案4)是可区分的。不同的过滤器或者操作被应用到每个图案及其对应的相应反图案。本发明的实施例能够通过着眼于像素数据方面的图案而不是从像素数据导出的绝对差方面的图案(如GB-A-2445982中的情况)来做这些。然而，并不要求对每个图案与其反图案进行区分；情况可能是这样将同一过滤器或者操作应用于特定的图案及其反图案，因此在那种情形下在这两者之间进行任何区分并不是必要的。情况还可能是这样尽管要求区分开一个特定图案与其反图案(例如1101与0010)，过滤器可能仅被应用到这两个中的一个(例如，1101)，而对这两个中的另一个(例如，0010)不应用过滤器；在此情况下，仅要求探测所述图案中的一个图案的存在，而不是这二者。在此上下文中，像素数据的反图案可以被视为是组合以产生基本上均勻的图像的图案，其中亮是暗的相反事物，且反之亦然。
在计算PX’(BN，WN, BL, WL, BE, WE, WC和BC)时使用的参数可以被分配以0和 1之间的任何值，且这些确定了当执行特定操作时，PX的数据值向其相邻像素的数据值移动的量。在使应用到图像的改变量最小化时，为了防止多视点图像中出现任何图像伪影，需要根据显示器的光学特性(亮度、对比度、伽马曲线等)来准确设置这些参数。为了优化过滤处理的效率，希望参数是2n的整数分数，即，m/16或者m/32，其中η和m是正整数，以便允许除步骤是简单的位位移(bit-shift)。
与现有技术的图像模糊过滤器相比，本实施例的优点是多情况探测步骤允许确定要被操作的像素是否是暗的或者亮的单像素宽度线的一部分，暗的或者亮的单像素宽度线的相邻像素，两像素宽度的暗或亮线的左边缘，或者两像素间距的暗-亮棋盘格式图案的一部分。这些是促使由多视点图像处理产生伪影的主要图像特征，且每个要求在每种情况下执行不同的操作以便对否则会出现的伪影进行最优修正。特别地，可以与黑特征不同地对待白特征，而邻近于薄特征(thin feature)的像素可能经受与构成该特征本身的像素不同的改变量。这允许相同的过滤器来加强白和黑线二者的显现，显著地增加多视点处理之后的图像的所感知质量的能力。对于每个图案匹配情况使用不同的操作(每个具有个别地调整的参数)允许达到此目的。
应当注意，尽管上面把该处理描述为使核跨越图像从左到右运动，但是可以使它以其它方式或者垂直地运动，其中在每个步骤处对核内哪个像素的对应变化使其数据值改变，而不会改变该处理的整体性能。
还应当注意，尽管如上描述的分类步骤已经被示出为给出了有效结果，但是与可能同样有效或者更有效的特定情况图案相比，存在用于将输入图像像素数据值分配为0/1 状态的许多其它可能的方法。可以应用简单的阈值数据值，当像素的数据值低于该阈值时其把像素分类为低，而当像素的数据值高于阈值时把它们分类为高。可以应用具有区段 (band)的阈值，关于具有在该区段内的数据值的像素而言，既不把高的又不把低的状态分配给它们。根据它们的相关数据值与它们的相邻像素的比较，可以把子集内的像素分配为高或者低。此方法还可以经受“延展(spread)”，其中如果像素与它们的相邻像素的差小于一定的量，则像素既不被分类为高也不被分类为低。这些方法、这些方法与执行相同分类功能的其它方法的组合也将落入本发明的范围之内。
甚至可以省掉单独的分类步骤，例如使得情况探测步骤将直接对图像数据进行操作；情况探测步骤例如会通过使图像数据(而不是预处理的分类值)作为输入的预定情况探测算法，来决定基于图像数据本身要求什么改变(如果有的话)。在此情况下能够考虑组合第一和第二步骤，其中分类和情况探测被作为一个来执行；此步骤基本是把像素数据归类到若干类别中的一个类别中，每个类别具有相关的过滤器。还可以把所有三个步骤组合成一个步骤；所有必要的是新像素数据是以某方式基于子集的像素的亮度图案而导出的， 使用什么步骤以及使用多少步骤来达到这个目的都没有关系。另一可能性是第一步骤由像素子集数据计算一个或多个“特征指示符”，这些特征指示符反映与某些已知图像特征相关联的一个或多个对应的相应度量(measure)；例如一个这样的特征指示符可能反映在外观上像素是怎样的“棋盘格式的”，其中高值反映高度棋盘格式的外观，而低值反映不是非常棋盘格式的外观。这些“特征指示符”于是将用于在第二步骤中确定实际上存在什么图像特征(或者什么特征是最主导的)以及什么过滤器最适合于用在第三步骤中。
对于有技能的读者将显然的是，包括上面描述的实施例的图像处理方法可以以运行在为显示装置提供数据的处理单元上的软件的形式来实现。该过程也可以实现在硬件、 专用集成电路(ASIC)、现场可编程门阵列(FPGA)中，集成到现有显示控制电子器件中或者其它电子电路中。该实施例的低计算资源实现方式的一个优点是所需要的电路可以连同像素晶体管器件一起被沉积在显示器的玻璃基板上，这节约了成本并允许该电路容易地适合于它被实现在其上的每个显示器。
执行所需要的处理的电路设计的示例在图9中给出。在图9中，上面描述的过程能够被看成是以下列方式执行与核的当前位置对应的图像的像素数据值被存储在缓冲存储器中。这些值被输入到用于第一(分类)步骤的高/低探测器和平均值计算器，并且还被输入到用于第三(操作)步骤的参数乘法过程。通过图案匹配选择器把高/低探测器的输出用在第二 (情况探测)步骤中，以选择可用参数中的哪些(来自寄存器块的输入)以便应用到来自缓冲器的像素值，从而在第三(操作)步骤中计算修正的输出值。可用参数在该图中被示为 WN0/1，BNO/1, WLO/1, BLO/1, WEO/1, BEO/1, WCO/1 和 BC0/1，所述 0/1 后缀取决于它是否是用于应用到Px (当前正被改变的像素)或者其紧挨着的相邻像素之一的参数(例如， 使用图8中给出的值，WNl将等于1-WN0)。
应当注意，尽管图9把输入图像数据描绘为具有每颜色通道6比特的比特深度 (即，每像素18比特)，但是该图仅是示例实现方式，且通过该示的功能性处理可以被应用于任何比特深度的图像。
如所描绘的实现方式还允许把简单的定阈值方案用在第一(分类)步骤中，其中可能输入BT和WT值以确定针对高和低状态的数据级别阈值。这些值还可以结合核平均值而被使用以定义高于和低于核平均值的区段，其中像素数据值必须在外面以便被分类为高或者低。
还应当注意，虽然如上面所描述的处理在经受多视点处理的图像的感知质量方面产生显著的增加且需要非常适度的计算资源，但是在以增加的计算资源为代价的情况下， 能够具有出众的性能的对该处理的变化是可能的。如先前所论述的，输入图像中的对角线是通常引起多视点图像中最显著的图像伪影的特征。因此，希望使用一种这样的处理方法 其能够把对角线和水平及垂直线区分开，并因此在让非对角线相对不改变的同时应用所要求的修正以保持更大的整体图像清晰度。对于单线核而言这是不可能的，但是如果核的面积增加到覆盖2个或更多行，且用于比较和确定要应用哪个操作的特定图案的数目以及可用操作的数目得以增加，则可以使该处理在基本维持如上面所描述的那样的同时优先对对角线进行操作，并由此在输出多视点图像中提供出众的图像质量。在不脱离本发明的范围的情况下，所利用的图像扫描核的形状因此可以是4X2，5X2，3X3像素，或者被发现用以提供最优性能的任何形状。
在此实施例的第二示例性实现方式中，在第一(分类)步骤中，使用4 X 3像素窗口来对主图像的每个像素及其周围像素进行采样。再者，在第二 (情况探测)步骤中，将若干可能情况与窗口内的像素布置进行比较，以及在第三(操作)步骤中，利用基于3X3像素的模糊机制，结合诸如“伽马”幂律转换之类的“像素外观(Pixel appearance)"转换步骤的非线性数据-值。再者，在合成颜色像素组的情况下，所述合成颜色像素组中的每一个包括红、绿和蓝像素，该处理进而被应用到图像的颜色组分像素值中的每一个。在像素值与单个单色或者黑和白像素有关的情况下，处理八个邻近像素的像素值。在此示例中，在第一步骤中使用4X 3窗口而不是例如如在第三步骤中使用的3X 3窗口，这是因为4X 3窗口应该提供区分白文本与黑文本的更可靠的方法。然而，将意识到的是，可以使用任何尺寸的窗口 ；且为了存储目的，更小的两个将更好。
此实现方式中的第一(分类)步骤可以与先前描述的方法的相同，但是可以被扩展以用在4X3像素窗口中，S卩，计算子集的平均像素数据值且具有高于此的数据值的像素被表示为“ 1”像素，而具有低于平均值的数据值的像素被表示为“0”像素。
在第二 (情况探测)步骤中，与水平或者垂直线特征相比，用于自动对对角线特征应用更大程度的改变的3X3像素核的更大功能意味着需要探测较少的个体情况且应用特定于那个情况的操作。已经发现，仅三个通用情况需要探测以及应用特定于每个情况的基于3X3像素的过滤操作。这些可以在暗背景上被描述为亮的薄特征，在亮背景上被描述为暗的薄特征，以及单像素间距棋盘式图案。
用以确定两个细微特征情况的相对简单的方法包括对4 X 3窗口中的“ 1”类型像素的数目求和如果十二像素窗口包含六个或者更多“ 1，，类型像素，则该情况在亮背景上可以被定义为暗特征。如果该十二像素窗口包含小于六个“1”类型像素，则该情况在暗背景上可以被定义为亮特征。
可以由具有交替像素分类类型(例如，1 0 1或者0 1 0)的4X3窗口的中心水平线中的四个像素中的左手三个像素、以及高于或者低于具有相反的交替图案(例如分别为0 1 0或者1 0 1)的那些像素的三个像素来确定存在单像素间距棋盘式图案的情况。
在第三(操作)步骤中，基于其原始数据值和在它周围的八个像素的数据值(即，用在第二步骤中的4X 3子集中的12个像素的最左边的九个像素)，可以把新的数据值写到 4 X 3像素子集的中间行中的从左数第二个像素。所使用的3 X 3像素操作可以是如在GB专利申请号0701325. 3的公开内容中所描述的那样简要地，基于主图像中其数据值的加权和以及其八个紧挨着的相邻像素的数据值来计算每个像素的显现(appearance)的整体度
So 之后对于像素的相同子集计算第二整体显现值，但是其中，紧挨着的并排相邻像素被设置为0，近似于像素子集上多视点处理的效果。对加权和进行归一化，并通过对中心像素数据值的新值P’ (X, y)的计算把所述加权和设置成彼此相等，如果必要的话。此相等性在图10中予以图示。因此给出中心像素的新数据值P’ (x, y)的公式是
公式(1)
其中，ω 、ω2和ω 3是所使用的加权参数，而P (x，y)等是主图像中的各坐标处的像素的数据值。与先前示例一样，一旦已经计算了 3X3窗口中的中心像素的新值，此值就被写入至准备用于输入至多视点图像处理的输出图像，且针对输入主图像中的下一个像素重复整个三步骤处理，直到整个图像已经被该窗口扫描和处理为止。
此方法可以通过像素加权参数的选择来进行优化，以与图像中水平和垂直线特征相比自动地对对角线特征应用更大程度的改变。这减少了需要在第二 (情况探测)步骤中考虑的特定情况的数目，且如先前所描述的，已经发现通过在暗背景上的亮特征、白背景上的暗特征、以及单像素间距棋盘格式图案的这三种情况中仅应用三个不同的基于3X3像素的操作，可以实现改进的图像显现。
在三种情况中，可以通过把3X3子集内的像素的视亮度(apparent brightness) 的2-D高斯分布(Gaussian profile)假设为距它们中心的距离的函数，以及基于此来量化周围像素对该中心像素的影响来确定公式1处理的加权参数，如在GB专利申请号 0701325. 3中所描述的那样。例如，假设具有0. 5像素宽度的标准偏差的2D高斯给出了加权参数 ω 1=0. 0240、ω 2=0. 1070 和 ω 3=0. 4759。
在第三(操作)步骤中，这些相同的加权参数可以用在暗背景上的亮特征的情况和白背景上的暗特征的情况这二者中。然而，在通过基于3X3像素的操作处理得到的值之前，可以通过首先使用伽马幂律函数把主图像数据值变换成视辉度值来控制用以加强薄的 (单个像素)暗特征或者薄的亮特征或者二者的显现的处理的整体趋势以及改变程度，所述伽马幂律函数例如是
￡-(%55)r 公式(2)
其中，L=视辉度，D=数据值(0— 255)而γ (伽马)是幂律系数。
如果用在此变换中的伽马值(变换参数)产生了数据-值对辉度的关系(其准确地描述了该数据值对显示器自身中像素的辉度响应)，则基于3X3像素的操作将保持主图像中暗和亮特征的整体辉度，如在显示器上所观察到的那样，而仍然产生对清晰图像特征的足够的平滑作用以防止通过多视点处理引入彩色伪影。
如果所使用的伽马值低于描述数据值对显示器自身的辉度响应的伽马值，则在公式1中描述的基于3X3像素的操作的整体趋势将是使主图像中的暗特征的显现壮大 (embolden)。这是由于在经受该处理之后，具有亮相邻像素的暗像素继续保持暗，而具有暗相邻像素的亮像素基本上被变暗。
如果所使用的伽马值比描述数据值对显示器自身的辉度响应的伽马值高，则公式 1中描述的基于3X3像素的操作的整体趋势将是使主图像中的亮特征的显现壮大。这是由于在经受该处理之后，具有暗相邻像素的亮像素继续保持亮的，而具有亮相邻像素的暗像素基本上被变亮。
可能是这样的情况如果亮和暗的薄特征二者的显现被基于3X3像素的过滤处理壮大，则在应用了多视点处理之后，主图像的整体显现得以改进，在此情况中，在第二 (情况探测)步骤指示3X3窗口包括在暗背景上包含亮特征的图像区域的情况下，高伽马值可以被用在过滤操作中，而如果第二 (情况探测)步骤指示该3 X 3窗口包括在亮背景上包含薄的暗特征的图像区域，则低伽马值可以被用在过滤操作中，由此在这两种情况中均达到了所要求的效果。
在对经伽马变换的像素数据值应用基于3X3像素的过滤处理之后，可以使用公式2的逆公式来把所得到的输出值变换回它们的等价新数据值，即
权利要求
1.一种处理图像数据以由显示装置的显示面板显示的方法，包括接收表示图像的图像像素数据；在第一处理步骤中，处理所述像素数据以对观看者产生多视点效果；以及在第二处理步骤中，对于所述像素数据的多个子集中的每一个子集，其中每个子集包括相同数目的像素组且每个像素组包括至少一个像素，根据子集的像素组中的像素数据的图案导出所述子集的所述像素组中的至少之一的新像素数据，以能够对至少一个该图案与其反图案进行区分的方式来执行所述新像素数据的所述导出。
2.如权利要求1所述的方法，其中，考虑所述显示面板的属性来执行所述第一处理步骤，以便引起轴线上辉度的变化和轴线外辉度的变化，所述轴线上辉度的变化趋向于通过空间求平均进行局部平衡且因此不会被轴线上的观看者感知，所述轴线外辉度的变化不通过空间求平均进行局部平衡且因此会被轴线外的观看者感知。
3.—种处理图像数据以由显示装置的显示面板显示的方法，包括接收表示图像的图像像素数据；在第一处理步骤中，考虑所述显示面板的属性来对像素数据进行处理，以便引起轴线上辉度的变化和轴线外辉度的变化，所述轴线上辉度的变化倾向于通过空间求平均来进行局部平衡且因此不会被轴线上的观看者感知，所述轴线外辉度的变化不通过空间求平均进行局部平衡且因此会被轴线外的观看者感知；以及，在第二处理步骤中，针对所述像素数据的多个子集中的每一个子集，其中每个子集包括相同数目的像素组且每个像素组包括至少一个像素，根据子集的像素组中的像素数据的图案导出所述子集的所述像素组中的至少之一的新像素数据。
4.如权利要求2或者3所述的方法，其中，在所述第一处理步骤中，对于一对像素组中的一个像素组而言，通过空间求平均而被观看者感知为具有单一辉度的、在轴线上引起的任何辉度增加基本匹配于所述对的像素组中的另一个像素组的基本等价的辉度减小。
5.如权利要求4所述的方法，其中，所述对的像素组中的一个像素组的所得到的辉度接近于最大辉度，或者所述对的另一个像素组的所得到的辉度接近于最小辉度。
6.如前述任何权利要求所述的方法，其中，导出新像素数据包括根据像素数据的图案选择过滤器，以及把所选择的过滤器应用到子集的像素组中的至少一些像素组以导出所述新像素数据。
7.如前述任何权利要求所述的方法，包括比较像素数据的图案和多个预定图案，以及根据比较步骤的结果导出新像素数据。
8.如权利要求7所述的方法，当从属于权利要求6时，其中所述预定图案中的每一个预定图案与对应的相应过滤器相关联，且包括在所述比较步骤中确定匹配的图案，并选择其相关联的过滤器以供在导出新像素数据中使用。
9.如权利要求7或者8所述的方法，其中，比较步骤包括对于正在针对其导出新像素数据的所述至少一个像素组中的所述像素组或每个像素组，确定该像素组相对于至少一个紧挨着的邻近像素组的亮度的度量，所述度量在较高和较低亮度之间进行区分。
10.如权利要求7或者8或者9所述的方法，包括，针对子集中的每个像素组，依据其像素数据把所述像素组分配到预定的一组级别中的一个级别，以及在所述比较步骤中比较所分配级别的图案和预定图案。
11.如权利要求10所述的方法，包括基于子集的像素组中的至少一些像素组的像素数据计算度量，且其中根据所计算的度量来执行把像素组分配到所述预定级别之一的步骤。
12.—种处理图像数据以由显示装置的显示面板显示的方法，包括接收表示图像的图像像素数据；在第一处理步骤中，处理像素数据以对观看者产生多视点效果；以及在第二处理步骤中，对于像素数据的多个子集中的每一个子集，其中每个子集包括相同数目的像素组且每个像素组包括至少一个像素基于子集的像素组中的至少一些像素组的像素数据计算度量；对于子集中的每个像素组，依据其像素数据以及根据所计算的度量把所述像素组分配到预定的一组级别中的一个级别；比较所分配级别的图案和多个预定图案；以及根据比较步骤的结果导出子集的像素组中的至少一个像素组的新像素数据。
13.如权利要求11或者12所述的方法，其中，所述度量是平均值。
14.如权利要求11、12或者13所述的方法，包括基于其像素数据和所计算的度量之间的比较来把像素组分配到所述预定的一组级别中的一个级别。
15.如前述任何权利要求所述的方法，包括例如基于伽马幂律函数来把像素数据转变成视辉度值以供在导出步骤中使用。
16.如权利要求15所述的方法，包括使用根据子集的像素组的图案确定的至少一个转变参数。
17.如前述任何权利要求所述的方法，其中子集的像素组是邻接的，且基本上在一个维度上延伸。
18.如前述任何权利要求所述的方法，其中，子集的像素组包括邻接的二维布置。
19.如前述任何权利要求所述的方法，其中，所述多个子集中的每一个子集与另一子集间隔开一个像素组。
20.如前述任何权利要求所述的方法，其中，导出新像素数据的步骤使用在第一处理步骤中所执行的处理的知识。
21.如前述任何权利要求所述的方法，其中，新像素数据以这样的方式被导出以便考虑像素数据的图案，其表示图像特征，所述图像特征倾向于引起作为在第一处理步骤中所执行的处理的结果的伪影。
22.如前述任何权利要求所述的方法，其中，所述导出步骤包括确定正针对其导出新像素数据的至少一个像素组中的所述像素组或者每个像素组是否形成像素数据的图案的一部分，其表示图像特征，所述图像特征倾向于引起作为在第一处理步骤中所执行的处理的结果的伪影。
23.如前述任何权利要求所述的方法，其中，在导出步骤中不同地对待表示在相对暗的背景上的亮特征的像素数据的图案和表示在相对亮的背景上的暗特征的像素数据的图案。
24.如前述任何权利要求所述的方法，其中，导出步骤包括根据像素数据的图案确定正针对其导出新像素数据的至少一个像素组中的所述像素组或者每个像素组是否形成下列图像特征中的至少一个图像特征的一部分具有单个像素组宽度的暗或者亮线；具有单个像素组的宽度的暗或者亮线的相邻像素组；具有两个像素组的宽度的暗或者亮线的左边缘；具有一个或者两个像素组的间距的暗-亮棋盘格图案；以及对角线。
25.如前述任何权利要求所述的方法，其中，所述第二处理步骤在所述第一处理步骤之前执行。
26.如权利要求114任一项所述的方法，其中，所述第二处理步骤在所述第一处理步骤之后执行。
27.如前述任何权利要求所述的方法，其中，针对子集的像素组中的单独的一个像素组导出新像素数据。
28.如前述任何权利要求所述的方法，其中，每个像素组包括颜色组分像素的合成颜色像素组，所述方法进而被应用到所述颜色组分像素中的每一个。
29.如权利要求观所述的方法，其中，所述合成颜色像素组包括红、绿和蓝颜色组分像素。
30.如前述任何权利要求所述的方法，其中，执行所述第一处理步骤以交织表示不同的相应图像的所接收的像素数据集以便把那些不同的图像呈现给在不同的相应观看位置处的观看者。
31.一种设备，其被布置成用来执行如在前述任一项权利要求中所述的方法。
32.一种显示装置，包括如权利要求31所述的设备。
33.一种用于控制设备以执行如权利要求1-30任一项所述的方法的程序。
34.如权利要求33所述的程序，其被承载在载体介质上，其中，所述载体介质是存储介质或者传输介质。
35.一种方法、设备或者显示装置，其基本上如在上文中关于附图所描述的那样。
全文摘要
提供了一种处理图像数据以由显示装置的显示面板显示的方法。接收表示图像的图像像素数据。在第一处理步骤中，处理该像素数据以便对于观看者产生多视点效果。在第二步骤中，对于所述像素数据的多个子集(核)中的每一个，其中每个子集(核)包括相同数目的像素组(Px-1,Px,Px+1,Px+2)且每个像素组(Px-1,Px,Px+1,Px+2)包括至少一个像素，根据子集(核)的像素组(Px-1,Px,Px+1,Px+2)中的像素数据的图案(Pattern#)导出(操作)该子集(核)的像素组(Px)中的至少一个的新的像素数据(Px’)。新的像素数据(Px’)的导出(操作)以能够对至少一个这样的图案与其反图案进行区分的方式来执行。
文档编号G02F1/133GK102187267SQ20098014130
公开日2011年9月14日 申请日期2009年10月16日 优先权日2008年10月20日
发明者B·J·布劳格顿, A·凯, G·R·琼斯, M·P·塞维斯, 前田健次, 渡边辰雄 申请人:夏普株式会社