专利名称：改善图像的图像处理装置及方法以及包括这种图像处理装置的图像显示装置的制作方法
技术领域：
本发明涉及用于改善图像的图像处理装置，所述图像包括多个像素，每个像素具有亮度值，所述图像处理装置包括-分类单元，用于根据某个特定像素的亮度值与所述特定像素的相邻像素的亮度值之间的差异，为特定像素设置分类值；以及-改善单元，用于根据所述特定像素的分类值通过处理图像的特定像素来改善图像。
本发明还涉及图像显示装置，该装置配置了-接收部件，用于接收表示图像的视频信号；-图像处理装置，用于改善图像，所述图像包括多个像素，每个像素具有亮度值，所述图像处理装置包括-分类单元，用于根据某个特定像素的亮度值与所述特定像素的相邻像素的亮度值之间的差异，为所述特定像素设置分类值；-改善单元，用于根据所述特定像素的分类值通过处理图像的特定像素来改善图像，以及-显示器，用于显示图像。
本发明还涉及改善图像的方法，所述图像包括多个像素，每个像素具有亮度值，所述方法包括-分类步骤，根据某个特定像素的亮度值与所述特定像素的相邻像素的亮度值之间的差异，为所述特定像素设置分类值；-改善步骤，根据所述特定像素的分类值通过处理图像的所述特定像素来改善图像。
开始段落描述的那种图像处理装置和方法从US 5848181得知。
设计用于改善图像的许多改善单元的一个主要缺陷在于它们是全局操作的。但已知装置提供了位置相关的图像改善，即已知装置调整图像的降噪量。下面将先说明此局部降噪的重要性。然后描述已知图像处理装置的原理。之后概述已知图像处理装置的主要缺点。
由于许多降噪单元倾向于去除细节，因此，局部噪声的降低是重要的。很多时候，单调(flat)少细节区域中所需的噪声电平降低对于同一图像中的细节区域来说太高。适用于单调区域的这种高电平降噪可能导致那些细节区域中的信息丢失。它也可能使图像看上去不自然。图像一个区域与另一区域的白噪声量会有所不同，这并没有什么原因。区域是一组连续像素。然而，相同的噪声量在图像的不同区域可见度不同。可能的解决方案是对图像进行降噪量的调整在某些区域中进行相对高的降噪，而在其它区域中进行较低的降噪。为此，需要一种分段或分类，从而将图像分别划分成相对单调的区域或更鲜明的区域。在已知的图像处理装置中，将图像分段成若干区域是根据相邻像素亮度值的差异。亮度值差异与图像的频率分量的频谱相关，但与图像的可视内容并无直接关系。因此，亮度值差异并不足以识别图像中的噪声。其结果是已知图像处理装置将图像中具有比较高频率分量的纹理(texture)的对象归为噪声。将这些对象作为降噪过滤会导致信息丢失。
本发明的第一目的是提供在开始段落中描述的那种图像处理装置，该装置能够鉴别噪声与纹理。
本发明的第二目的是提供在开始段落中描述的那种图像显示装置，该装置包括能够鉴别噪声与纹理的图像处理装置。
本发明的第三目的是提供在开始段落中描述的那种方法，该方法用于鉴别噪声与纹理。
分类单元被设计为通过考虑特定像素的第一颜色值基本等于预定颜色值范围中的第二颜色值来设置分类值，从而实现本发明的第一目的。在分类中加入额外的鉴别器可改善将图像分段成区域。这将通过下面的示例解释。假设每个鉴别器的分类、即频率分量和颜色是二进制式。那么，可识别四种类型的区域。这些区域存在以下情况-相邻像素之间存在比较大的亮度值差异，并且像素的颜色值基本等于预定颜色值范围中的一个值；-相邻像素之间存在比较大的亮度值差异，但像素的颜色值不等于预定颜色值范围中的一个值；-相邻像素之间存在比较小的亮度值差异，并且像素的颜色值基本等于预定颜色值范围中的一个值；-相邻像素之间存在比较小的亮度值差异，但像素的颜色值不等于预定颜色值范围中的一个值。
假设为第一类区域对应于纹理区域，对应于成像的相关对象，而其它类区域却不是如此。不同类型的区域必须以不同方式处理。对于非二进制分类，这同样适用。改善的分段允许调整图像改善量，使其更集中于已在图像中捕捉的场景类型。很明显，需要以不同方式处理单调区和纹理例如，在单调区域中噪声必须充分降低，而纹理必须保留甚至尽可能增强。
在根据本发明的图像处理装置的实施例中，改善单元是降噪单元。上面解释了区域降噪的合理性。分段允许对图像各区域进行降噪量调整。可以实现几种类型的降噪，例如，空间、时间和时空类型。对于时间或时空降噪，要求图像序列。分类和降噪两者都可能使用不止一个图像。
在根据本发明的图像处理装置的实施例中，改善单元是用于增强图像细节的边缘增强单元。细节可以是边缘或纹理。
在根据本发明的图像处理装置的实施例中，预定的颜色值范围包括草的颜色。成像的场景的知识使得提取描述参数成为可能。例如，如果知道成像的是足球比赛，则很显然在图像中将看到草。由于图像处理装置的预定颜色值范围可对应于草的颜色，因此，根据本发明的此实施例可调整为特定类型的场景。具有另一预定颜色值范围的实施例可调整为其它特定类型的场景，例如，蓝天、蓝色的水、棕色的沙、白雪或人体皮肤的肤色。
根据本发明的图像处理装置被设计为降低噪声的一个实施例包括-颜色表征(color masking)部件，用于将图像像素分为第一组像素和第二组像素，其中第一组像素具有的第一颜色值基本等于预定颜色值范围中的第二颜色值，而第二组像素具有的第三颜色值不同于预定颜色值范围中的各个颜色值；-第一直方图生成部件，用于生成第一组像素中的像素的亮度值第一直方图；-第二直方图生成部件，用于在选定像素的亮度值与所述选定像素的相邻像素的亮度值之间的差异大于预定阈值时，生成第一组像素中的像素的亮度值第二直方图；以及-分析器，用于分析第一直方图和第二直方图，以便为图像像素设置分类值。
只有第一组像素中的像素被用于生成第一和第二直方图。假定根据它们的颜色，这些像素位于可能对应于场景的相关对象的区域。成像的这些对象是具有纹理还是具有单调表面是通过比较第一和第二直方图确定的。基本上，第一直方图与第二直方图之间的主要差异在于在第二直方图中，仅考虑到鲜明区域的像素，即单调区域的像素不在考虑之列。通过比较第一和第二直方图可实现区域的分类。下面的分类标准起主要作用-如果第二直方图比第一直方图低得多，则第一组像素位于单调区域；-如果第二直方图基本等于第一直方图，则第一组像素位于纹理区域；
通过分析第一直方图的属性来调整分类标准。换言之，通过检查第一直方图来控制分类为单调还是纹理。第一与第二直方图之间所允许的差量取决于第一直方图的属性-如果第一直方图相对窄小以及对称，则第一组像素对应于纹理的可能性比较高。因此，允许的差异比较高。
-如果第一直方图覆盖在相对大的亮度范围或不对称，则第一组像素对应于纹理的可能性比较低。因此，允许的差异比较低。
分析和比较第一与第二直方图后，分析器对像素进行分类。分类与概率相类似，即对于具有的颜色值基本等于预定颜色值范围中一个颜色值的图像像素，相应的亮度级对应于纹理。换言之，具有相互等同亮度值的第一组所有像素具有相同的分类值。因此，像素可以通过其亮度值分类。无需为处理像素而单独访问像素。
在根据本发明的图像处理装置的实施例中，分析器被设计为单独设置像素的分类值。如果知道像素的空间位置，则可能按像素对概率进行分类。此实施例的优点在于可能精确的识别像素，这在改善单元中是有利的。
在根据本发明的图像处理装置的实施例中，第一直方图和第二直方图是加权直方图。在常规直方图中，认为所有元素的贡献为1。如果使用了常规直方图，则例如第一直方图中每个亮度值应具有等于该值的像素数量。然而，在此实施例中，像素具有与像素的颜色值相关的加权。此加权确定特定像素必须被计算的次数。例如，对于颜色值基本等于预定颜色值范围边界上某种颜色的像素，加权比较低。另一方面，对于颜色值基本等于预定颜色值范围中心某种颜色的像素，加权比较高。此实施例的优点在于分类自动地存在某种模糊，防止在范围边界讨厌的切换。
根据本发明的图像处理装置被设计为降低噪声的一个实施例包括-噪声估计器，用于估计图像的噪声电平并提供到以下单元的输入；-控制单元，连接到第二直方图生成部件并用于根据噪声电平控制预定阈值；以及-改善单元，被配置为根据像素的分类值降低图像中的噪声。
本发明的基本方面是控制预定阈值。此控制基于估计的噪声电平。如果估计的噪声电平比较高，则预定阈值也比较高。许多噪声估计器被设计为通过收集有关相邻像素的亮度差信息来估计噪声计算与其相邻像素相比，其亮度值超出噪声阈值的像素数量。此原理基本上与分类单元使用的原理相同。这种情况下，噪声估计器的噪声阈值电平确定了分类单元的预定阈值电平。例如，分类单元的预定阈值电平被设置为高于噪声估计器的噪声阈值电平。结果是由于纹理细节造成的像素亮度值差异会考虑在内，而由于噪声造成的差异却未列入考虑之列。此实施例的优点在于图像处理装置在不同条件下均保持正常工作。
图像显示装置包括图像处理装置，其中具有的分类单元被设计为通过考虑特定像素的第一颜色值基本等于预定颜色值范围中的第二颜色值而设置分类值，从而实现本发明第二目的。
通过考虑特定像素的第一颜色值基本等于预定颜色值范围中的第二颜色值而在分类步骤中设置分类值，从而实现本发明第三目的。
参照下述实现和实施例并参考附图，可明白根据本发明的图像处理装置、改善图像的方法及图像显示装置的这些和其它方面，并且参照下述实现和实施例及附图来描述这些和其它方面，其中
图1用示意图显示了图像处理装置的第一实施例；图2用示意图显示了图像处理装置的第二实施例；以及图3用示意图显示了图像显示装置的组件。
图1用示意图显示了图像处理装置100的第一实施例，用于局部优化带有草的图像。图像处理装置100被设计为降低图像中的噪声，同时保持草的纹理。视频信号表示必须降噪的图像，在输入连接器120将此视频信号输入到图像处理装置100。校正之后，即应用降噪后，在输出连接器122提供视频信号。图像处理装置100包括-分类单元102，用于为图像不同区域设置分类值。分类单元102包括-颜色表征部件124，用于将图像像素分为第一组像素和第二组像素，其中第一组像素具有的第一颜色值基本等于预定颜色值范围中的第二颜色值，而第二组像素具有的第三颜色值不同于预定颜色值范围中的各个颜色值；-微分器130，用于确定第一组像素中相邻像素亮度值差异，以便为图像像素设置分类值；以及-改善单元104，用于通过分类值，降低由分类单元102控制的噪声。
下面将解释图像处理装置100的工作情况。图像像素被分成两组一组中假定其像素可能对应于草，而第二组像素中假定其像素不对应于草。这两个组通过执行两个测试形成首先，各像素的颜色值与包括草的颜色的颜色值范围相比较，然后在预选范围内比较相邻像素亮度值差异。根据这些测试，将图像像素分类。这是通过根据颜色值及相对于相邻像素的像素亮度值差异，为每个像素设置分类值，即表示草的概率而进行的。由于在图像上亮度和颜色倾向于逐渐变化，因此连续像素组被分为基本相等的概率比较大。因此，图像区域分类为表示草或不是草。用于降噪的改善单元104按这些分类值进行调整。结果是草的纹理得以保持，而噪声区域，即不是草的区域中的噪声被降低了。
图2用示意图显示了图像处理装置200的第二实施例，用于局部优化带有草的图像。图像处理装置200用于降低图像中的噪声，同时保持草的纹理。视频信号表示必须降噪的图像，在输入连接器120将此视频信号输入到图像处理装置100。校正之后，即应用降噪后，在输出连接器122提供视频信号。图像处理装置100包括-分类单元102，用于为图像不同区域设置分类值。分类单元102包括-颜色表征部件124，用于将图像像素分为第一组像素和第二组像素，其中第一组像素具有的第一颜色值基本等于预定颜色值范围中的第二颜色值，而第二组像素具有的第三颜色值不同于预定颜色值范围中的各个颜色值。此预定颜色值范围可以借助于控制输入端226进行调整；-第一直方图生成部件210，用于生成第一组像素的像素的亮度值第一直方图212；-第二直方图生成部件206，用于在选定像素的亮度值与所述选定像素的相邻像素的亮度值之间的差异大于预定阈值时，生成第一组像素中的像素的亮度值第二直方图；以及-分析器214，用于分析第一直方图和第二直方图，以便为图像像素设置分类值；-改善单元104，用于通过分类值，降低由分类单元102控制的噪声。
-噪声估计器216，用于估计图像的噪声电平并为以下单元提供输入；-控制单元218，连接到第二直方图生成部件206并用于根据噪声电平控制预定阈值。
下面将解释图像处理装置200的工作情况。从输入图像估计噪声电平。接着，图像像素被划分成两组一组中假定这些像素根据颜色值可能对应于草，而第二组像素中假定其像素不对应于草。从第一组像素形成两个直方图。第一直方图将像素数量表示为亮度值的函数。第二直方图将像素数量表示为亮度的函数，但仅考虑其亮度值与相邻像素相比，差异足够大的像素。分析这两个直方图以便将图像像素分类。这是通过根据像素的颜色值及亮度值，为每个像素设置分类值，即表示草的概率而进行的。由于在图像上亮度和颜色倾向于逐渐变化，因此连续像素组分类为基本相等的概率比较大。因此，图像区域分类为是草或不是草。用于降噪的改善单元104按这些分类值进行调整。结果是草的纹理得以保持，而噪声区域，即表示不是草的区域中的噪声被降低了。
图3显示根据本发明的图像显示装置300的组件。图像显示装置300具有接收部件302，用于接收表示要显示图像的视频信号。信号可以是通过天线或电缆接收的广播信号，也可以是来自象VCR(盒式录像机)或DVD(数字化通用盘)等存储装置的信号。图像显示装置300还具有处理视频信号的图像处理装置100和显示由改善视频信号表示的图像的显示器306。图像处理装置100如图1或图2所述实现。图像处理装置100可由外部控制。预定的颜色值范围可通过控制输入端226调整。接收部件302可得知或具有从视频信号提取有关成像场景类型的信息，以便设置图像显示装置300的适当颜色值范围。例如，在足球比赛中，预定颜色值的范围应匹配草的颜色。
应注意，上述实施例只是为了说明而不是限制本发明，并且在不背离所附权利要求书范围的情况下，本领域的技术人员将能够计备选实施例。在权利要求书中，括号之间的任何标号不应被视为限制权利要求。“包括”一字并不排除存在权利要求中未列出的元件或步骤。元件前的“一”并不排除存在多个此类元件。本发明可通过包括几个分立元件的硬件实现，也可通过适当编程的计算机实施。在列举几个装置的装置权利要求中，几个这些装置可实施为同一个硬件。
权利要求
1.一种用于改善图像的图像处理装置(100)，所述图像包括多个像素，每个像素具有亮度值，所述图像处理装置包括-分类单元(102)，用于根据某个特定像素的所述亮度值与所述特定像素的相邻像素的所述亮度值之间的差异，为所述特定像素设置分类值；以及-改善单元(104)，用于通过根据所述特定像素的所述分类值处理所述图像的所述特定像素来改善所述图像，其特征在于所述分类单元(102)被设计为通过考虑所述特定像素的第一颜色值基本等于预定颜色值范围的第二颜色值而设置所述分类值。
2.如权利要求1所述的图像处理装置(100)，其特征在于所述改善单元(104)是降噪单元。
3.如权利要求1所述的图像处理装置(100)，其特征在于所述改善单元(104)是边缘增强单元。
4.如权利要求2所述的图像处理装置(100)，其特征在于所述预定颜色值范围包括草的颜色。
5.如权利要求1所述的图像处理装置(100)，其特征在于所述分类单元(202)包括-颜色表征部件(124)，用于将所述图像像素分为第一组像素和第二组像素，其中所述第一组像素具有的第一颜色值基本等于所述预定颜色值范围中的第二颜色值，而所述第二组像素具有的第三颜色值不同于所述预定颜色值范围中的各个颜色值；-第一直方图生成部件(210)，用于生成所述第一组像素的所述像素的亮度值第一直方图(212)；-第二直方图生成部件(206)，用于在选定像素的亮度值与所述选定像素的相邻像素的亮度值之间的差异大于预定阈值时生成所述第一组像素的所述像素的亮度值第二直方图(208)；以及-分析器(214)，用于分析所述第一直方图(212)和所述第二直方图(208)，以便为所述图像像素设置所述分类值。
6.如权利要求5所述的图像处理装置(100)，其特征在于所述分析器(214)被设计为单独设置所述像素的所述分类值。
7.如权利要求5所述的图像处理装置(100)，其特征在于所述第一直方图(212)和所述第二直方图(206)是加权直方图。
8.如权利要求5所述的图像处理装置(100)，其特征在于包括-噪声估计器(216)，用于估计所述图像的噪声电平并被设计为向以下单元提供输入；-控制单元(218)，连接到所述第二直方图生成部件(206)，并被设计为根据所述噪声电平控制所述预定阈值；以及所述改善单元(104)，被配置为根据所述像素的所述分类值降低所述图像中的噪声。
9.一种图像显示装置(300)，配置了-接收部件(302)，用于接收表示图像的视频信号；-图像处理装置(100)，用于改善图像，所述图像包括多个像素，每个像素具有亮度值，所述图像处理装置包括-分类单元(102)，用于根据某个特定像素的所述亮度值与所述特定像素的相邻像素的所述亮度值之间的差异，为所述特定像素设置分类值；-改善单元(104)，用于通过根据所述特定像素的所述分类值处理所述图像的所述特定像素来改善所述图像；-显示器(306)，用于显示所述图像，其特征在于所述分类单元(102)被设计为通过考虑所述特定像素的第一颜色值基本等于预定颜色值范围的第二颜色值而设置所述分类值。
10.如权利要求9所述的图像显示装置(300)，其特征在于所述分类单元(202)包括-颜色表征部件(124)，用于将所述图像像素分为第一组像素和第二组像素，其中所述第一组像素具有的第一颜色值基本等于所述预定颜色值范围中的第二颜色值，而所述第二组像素具有的第三颜色值不同于所述预定颜色值范围中的各个颜色值；-第一直方图生成部件(210)，用于生成所述第一组像素的所述像素的亮度值第一直方图(212)；-第二直方图生成部件(206)，用于在选定像素的亮度值与所述选定像素的相邻像素的亮度值之间的差异大于预定阈值时生成所述第一组像素的所述像素的亮度值第二直方图(208)；以及-分析器(214)，用于分析所述第一直方图(212)和所述第二直方图(208)，以便为所述图像像素设置所述分类值。
11.如权利要求10所述的图像显示装置(100)，其特征在于所述分析器(214)被设计为单独设置所述各个像素的所述分类值。
12.如权利要求10所述的图像显示装置(300)，其特征在于所述第一直方图(212)和所述第二直方图(206)是加权直方图。
13.如权利要求10所述的图像显示装置(300)，其特征在于包括-噪声估计器(216)，用于估计所述图像的噪声电平并为以下单元提供输入；-控制单元(218)，连接到所述第二直方图生成部件(206)并根据所述噪声电平控制所述预定阈值；以及所述改善单元(104)，被配置为根据所述像素的所述分类值降低所述图像中的噪声。
14.一种改善图像的方法，所述图像包括多个像素，每个像素具有亮度值，所述方法包括-分类步骤，根据某个特定像素的亮度值与所述像素的相邻像素的亮度值之间的差异，为所述特定像素设置分类值；以及-改善步骤，根据所述特定像素的所述分类值来处理所述图像的所述特定像素，从而改善所述图像，其特征在于在所述分类步骤中，通过考虑所述特定像素的第一颜色值基本等于预定颜色值范围中的第二颜色值，从而设置所述分类值。
全文摘要
用于改善图像的图像处理装置(100)包括分类单元(102)和改善单元(104)，其中分类单元(102)用于为图像的不同区域设置分类值，而改善单元(104)用于根据区域的分类值改善图像。分类单元(102)仅考虑颜色值基本等于预定范围颜色值中的一个颜色值的那些图像像素。根据这些像素，分类单元(102)通过比较两个直方图来确定像素属于纹理还是单调区域，两个直方图中，一个直方图考虑具有预定颜色值范围中的颜色的所有像素，而另一直方图只考虑亮度值与相邻像素相比差异大于给定阈值的这些像素。
文档编号H04N1/60GK1539119SQ02802096
公开日2004年10月20日 申请日期2002年4月11日 优先权日2001年4月20日
发明者M·M·P·尼科拉斯, M M P 尼科拉斯 申请人:皇家菲利浦电子有限公司