专利名称：数字成像的制作方法
技术领域：
本发明涉及数字成像技术，更具体地说，涉及在静止和运动的成像时增强对比度和边缘。
数字成像与传统的模拟技术相比，有很多优越性，它可以支持诸如可视电话和多媒体应用。所以，数字成像技术成为当今最热门的研究课题。
数字成像的一个特殊的研究领域是图像增强技术。图像需要增强是因为图像通常要遭遇到各种类型的退化作用，例如缺乏锐度、压缩假像、对比度和亮度变差。目前正在开发的移动成像产品特别对这类退化作用敏感，这是因为目前的数字摄像机的性能较差以及在移动通信网中所能获得的数据传输带宽比较窄、要求使用高的压缩比的缘故。在数字摄象机产品中，图像质量差的原因是由于基础传感器的低性能所造成的。对比度差的原因通常在于传感器本身，而锐度差一方面是由于光学部件质量差、另一方面来自于传感器的分辨率低。在将要到来的第一代具有图像显示和处理功能的移动通信终端的成像系统中，非常可能使用低分辨率的传感器。因此，需要有一种方法来增强图像的对比度和锐度。在当今数字图像增强技术中，上述问题通常通过隐蔽假像、重构图像中的退化部分来解决。
图像增强本质上在于强调图像的某些特征，如边缘、边界、或对比度，使更容易观察到图像的细节，使图像主观上看起来玲珑浮突，边缘清晰而不会不自然，进而使图像显示成为展示分析的有用手段。图像增强过程并没有增加数据中内含的信息，它没有增加所选特征的动态范围，所以数据更容易被检测。
图像增强技术可以粗略地被分为三个子类点、空间和变换操作。
点操作是针对孤立的像素进行的，这种操作与周围的像素值无关。像素映射操作是点操作的一个例子。像素映射就是通过一个函数将一个像素值映射为一个新值。作为函数的示例有yi，j＝f(xi，j)，这里，i，j＝像素的坐标值y＝输出像素x＝输入像素而f是关于x和y的函数空间操作是针对一组像素进行操作。某些图像平滑和滤波功能就是空间操作，例如，在这些操作中某像素的值可以修改为取它周围像素值的平均值。
变换操作将图像数据从像素值转换成其它形式，如空间频率分量。离散余弦变换(DCT)和小波变换是在图像处理应用中通常使用的变换操作。
在上面所列的子类中的增强技术的例子包括灰度和对比度处理、降噪声、边缘轮廓加重和锐化、滤波、插值和放大以及伪彩色等。
在实际应用中，用数字相机所摄取的图像无论像素分辨率高低，都存在平滑作用问题。这就意味着需要使用图像锐化技术进行处理。图像锐化可以使用各种形式的对比度增强(拉伸/收缩)和边缘增强技术来完成。对比度增强是点操作，它可以用来增强在光亮度低或不均匀的条件下所摄取的、或者使用小的动态范围的成像传感器所摄取的图像。对比度操作也有改变边缘可见性的效果，因为它改变了图像的感观锐度。边缘增强技术通常属于空间操作，它有增强经受过整体平滑作用的图像的功效。一种通常叫做钝化掩模法就是边缘增强技术的例子。
首先谈一谈对比度增强。一种非常出名的增强对比度的方法是基于直方图的像素映射。这种方法使用的像素映射函数是使用图像或图像的一部分的直方图来生成的。直方图包含了在输入信号范围的每一个灰度值的像素出现的数目。映射函数从累积直方图导出，对应直方图中的数值越高其斜率越高。累积直方图通常使用如下方程形成Ci=Σk=0iHk]]>这里，Ci＝累积直方图的仓室iHk＝直方图的仓室k注意，仓室是像素值范围，它可以覆盖单一的像素值，也可以覆盖多于一个的像素值。
基本方法的映射函数是f(x)＝Cx映射函数或累积直方图通常都要进行比例缩放，使函数能精确地覆盖实际的动态范围，这就是，f(L)＝L这里L＝可获得动态范围的最大值例如使用以下的方程就可以得到缩放比例f(x)=LCxCL]]>在许多数字信号处理教科书中都可以找到上述方程的少许变形的形式。例如，将该方法变换一下，在对累积直方图运算过程中或之前，可以从直方图各值中减去第一个非零仓室的值。如果不进行上述减运算，图像中最黑的像素值就不会被映射为零。(C0≠0)。还存在其它修改方式。
上述方程实际上只有当仓室的数目和信号电平的数目相等时起作用，例如，对于每个样值作8比特量化的信号而言，需要256个仓室。如果仓室的数目少于此数，每个仓室所包含的像素就属于一定的信号值范围。上述方程提供了在仓室的边界的映射函数值。更多的数值需要通过插值运算来得到。直方图、累积直方图和相应的映射函数的示例由
图1给出。
使用基于直方图的像素映射技术，图像的对比度可以通过下述方法得到增强利用斜率(即导数)大于1的线性函数将输入像素值映射到输出像素值。而斜率小于1的映射则会降低对比度。映射函数也可以是非线性的，即斜率可变的函数。在这种情况下，映射在某些像素值附近的对比度将增大，而在另一些像素值附近的对比度将减小，而在某些像素值附近对比度完全没有改变。非线性映射的示例之一由图2给出。
已知基于直方图的像素映射的局限性是，它会使噪声和其它假像的干扰越发明显。因为增强对比度的同时也增强了输入信号的变化，如果输入信号中存在噪声，它的明显度也会增加。所以，基于直方图的像素映射对自然图像的对比度增强常常是不令人满意的。
虽然如此，基于直方图的像素映射还是大多数对比度增强算法的基础。这样，当这些算法构造基于直方图的函数时，常常在基本算法的基础上进行修改、或附加一些操作的办法来减轻不想要的效果。例如，这些修改包括直方图再整形，映射函数再整形，对图像、直方图或映射函数进行滤波和限定直方图的最大值。
现在转到边缘增强问题。具体地说，就钝化掩模法而言，这是一种用以改善边缘可见性的空间滤波技术，由此可以改善图像的观感质量。在具体实现时，钝化掩模法通常采用高通滤波器与可调整增益模块串联的形式，如图3所示。在所示的布局中，经过高通滤波和比例缩放的图像信号被加入到原图像信号中，如图4a所示。这样，通过强调高频率分量，就获得了所需的图像质量改进。具体地说，高通滤波器的输出代表了原始信号的二阶导数。如图4b所示。将经过高通滤波的信号加入到原始信号之后，在图像的边缘处造成下冲和过冲，如图4c所示。人的视觉系统也同样产生类似的下冲和过冲。这种现象通常叫做马赫带效应(Mach band effect)。它揭示了人类的视觉系统是以非线性的方式感受边缘的。而且这种感受不但取决于照明，而且取决于图像的结构。因为这个原因，人类视觉系统感觉到带有附加下冲和过冲的边缘，诸如通过钝化掩模法产生的锐化的边缘。
钝化掩模法还会产生一些不想要的效果。高通滤波器的存在使系统对噪声和压缩假像敏感。这样，钝化掩模法通常会产生一些可感觉到的假像，在图像的均匀一致的区域，这种假像特别地显眼。
因此，业界已经达成共识，为了改善图像的质量，最好适当修改输入到高通滤波器的信号，特别是当图像中含有噪声成分时更应如此。业界已知的一种修改信号方法是在进行钝化掩模法处理之前用一个标准的、预先定义的、或固定的像素映射函数进行处理。使用传统的固定像素映射函数就有可能在强调某些边缘的同时，限制不想要的噪声增强。图5画出了钝化掩模法处理的方案。该方案在进入高通滤波之前先经像素映射处理。在所示的配置中，先对图像进行像素映射处理然后再进行钝化掩模法处理，目的是限制不需要的噪声成分的增强，后者是高通滤波所产生的结果。
图6给出了两条可供使用的像素映射曲线，它们适合于在进行钝化掩模法处理之前用来对图像进行处理。曲线1用来抑制高电平和低电平的信号而拉伸中值范围的像素值。因而在高通滤波器中，高值和低值的边缘受到抑制，而中值的边缘被增强。在曲线2中，抑制中值边缘而增强高低值边缘。这样，在进行高通滤波之前使用像素映射的效果就是会降低噪声。
如图6所给出的曲线1这样的函数的作用效果由图7解析显示。它给出了针对含有单一“边缘”的图像施用常规固定的像素映射函数的效果。这里所讲的“边缘”指的是从黑暗到光亮的过渡，也就是说，从非常低亮度的像素值过渡到非常高亮度的像素值。换句话说，图像只包含两个区域，一个具有低亮度值，另一个具有高的亮度值，如图7(a)所示。图7(b)表示从左到右扫描一行像素所得到像素值图。假定原本是亮度均匀的两个区域，显现出某种程度的噪声。噪声体现在像素值的微小变化(如在图7(b)中所看到的“纹波”)。应用图7(c)所示的固定的像素映射函数，图7(b)图像中的噪声能够受到有效的抑制。图7(d)中示出固定的像素映射函数作用的效果。通过仔细检查像素映射函数，就可以理解噪声被抑制的方式。应该指出，像素映射函数描述了将原图像的像素值(由图7(b)所示)转换为对比度被增强了的(被调整过的)图像的像素值。它们的像素值变化曲线如图7(d)所示。首先考虑在图像的低亮度区域的噪声降低，像素映射函数的相关部分在图7(c)中用“A”标示。像素映射函数的这一部分决定了如何将原图像中的低亮度像素值映射到经过对比度增强的图像中的低亮度像素值。这里像素映射函数的梯度小于1，表示经过函数作用后，像素值的变化方向是减小(或称为压缩)。同样的道理对图7(c)的像素映射函数的区域“B”也是对的。曲线的这部分决定了如何将原图像中的高亮度像素值映射变换到经过对比度增强的图像中的高亮度像素值。这样，在亮度范围高低两端的噪声都得到了降低。现在来看看在本示例中像素映射函数是如何转换中等亮度像素值的，函数中具有标号“C”的部分的梯度大于1，所以，在这个区域中的像素值变化范围实际上是被增大了(扩张或延伸了)，进而改变了高低像素值之间的过渡曲线形状。但是，这种效果不应被认为是真正使过渡过程锐化，诸如通过钝化掩模法所提供的那样。对比度扩张具有增大原先近乎相等的中等亮度的像素值之间的差别的效果，同时不可避免地将在过渡区周围的像素值的噪声影响增大了。
在进入钝化掩模法操作之前利用传统的固定像素映射函数对图像进行处理有一定的局限性，这可以参照图8来说明，这个图是用来阐明针对第二个样值图像进行上面所介绍的像素映射函数处理所得到的效果。正如第一个示例所讲的那样，图8所考虑的是非常简单的图像，包括两个均匀亮度的区域，一个比另一个黑暗(图8a)。只是两个区域亮度值的差异较先前示例的小，虽然存在同样类型的噪声(图8b)。固定像素映射函数作用的效果由图8d表示。在黑暗区域噪声受到抑制的同时，在光亮区域的噪声实际上是被增强了。产生这种效果的原因是由于光亮区域的像素值对应像素映射函数中梯度大于1的区域。这样，微小的像素值的差别被增强，而不是被抑制，因而增大了噪声。
图像同时使用(固定或直方图的)像素映射对比度算法和钝化掩模法边缘增强算法进行处理是很普遍的。参见图9，实现基于直方图的像素映射和钝化掩模法边缘增强算法的组合的方式可以是在边缘增强之前(选项A)、在边缘增强之后(选项C)或边缘增强并行(选项B)地对原始图像信号分支进行基于直方图的像素映射。一般说来，图像处理的应用，例如市场上销售的软件包，都是取选项A或C，形成级联的结构。但是，已经发现，最佳的选项是B。这个选项就是将基于直方图的像素映射单元置于钝化掩模法单元之内，就是说，对原始图像信号分支来说，是与高通滤波器并联，而不是像选项A和C那样级联。选项B中，任何被对比度增强处理放大了的无用噪声成分不能通过高通滤波，因而不能被进一步增强。而选项A和C，级联结构的第二次操作会进一步增强由第一次操作所带来的噪声假像。这里所讲的第二次操作指的是末级操作，就是说，对选项A，第二操作就是钝化掩模法操作；而在选项C，第二操作就是基于直方图的像素映射。因此，级联方案的缺点就是噪声被双倍地增强。这会造成非常令人恼火的噪声结构，尤其在对原始源图像采用基于JPEG或DCT混合编解码时更是如此。例如，假定用选项A，起初对比度增强操作引起噪声像素值某种程度的增加，然后进一步被后续边缘增强的步骤(如钝化掩模法)放大。对选项C的情况，由于钝化掩模法操作在加重边缘的同时也加重了噪声，噪声的幅度进一步被基于直方图的对比度增强操作所增大。而且，其它由钝化掩模法操作引起的毛病，例如振铃现象也变得更加明显。另一方面，由选项B所表示的方案避免了双倍的噪声放大。在那里，对比度增强和边缘增强是同时进行的，经过高通滤波的图像与经过对比度增强的图像相加(由图9的加号表示)。
尽管如此，图9所示的组合图像增强选项仍然会遇到先前讲过的与对比度和边缘增强有关的问题。
针对这种情况，本发明的一个方面在于一种用于包括像素组的数字图像的图像增强的方法，该方法包括把基于倒置直方图的映射函数应用于所述各像素。
基于倒置直方图的像素映射函数可以单独使用，也可以与上述选项A、B和C连用。在本特定的最佳实施例中，基于倒置直方图的像素映射函数是与选项B连用的。
另一方面，基于倒置直方图的像素映射函数与任何图像处理功能连用。最好是将基于倒置直方图的像素映射函数与倾向于增强噪声明显度的图像处理功能连用。最佳的做法是，将基于倒置直方图的像素映射函数作为预处理步骤在图像处理功能之前与倾向于增强噪声明显度的图像处理功能连用。
在本发明这方面的最佳形式中，把基于倒置直方图的像素映射步骤与边缘增强步骤相结合，如与钝化掩模法步骤相结合。在这样一种方案中，基于倒置直方图的像素映射改善了钝化掩模法的性能。将对比度增强与钝化掩模法技术结合还可以有如下好处。
正如先前所讲到的，钝化掩模法技术通过把过冲和下冲分量加到图像边缘来增加图像的主观锐度。基于倒置直方图的像素映射的效果就是根据像素出现的频度来改变像素值。在将基于倒置直方图的像素映射与诸如钝化掩模法等边缘增强步骤相结合的实施例中，基于倒置直方图的像素映射扮演着边缘增强单元内部的高通滤波预处理单元的角色。它在改变像素值的同时又抑制了后续边缘增强处理所带来的噪声放大效应。
这种安排的作用是将所需的信号分量增强的同时将对噪声分量的放大作用降到最小。更具体地说，基于倒置直方图的像素映射降低拥有大量像素的信号范围的对比度，同时增加其余地方的对比度。这样，在如均匀区域一类的区域中的噪声受到了抑制，噪声在这类区域是最易被观察到的。已经发现，在对下列区域施加基于倒置直方图的像素映射时，其效果实质上是一样的a)大面积的均匀区域；b)包含着大量其灰度值相差很小的像素的区域(例如有小斑点的区域)。
根据本发明的第一方面，提供了一种设备，诸如便携式无线电通信设备，它包括用于执行所述图像增强方法的装置。
根据本发明的第一方面，还提供一种软件程序，它包括由于使处理器单元执行所述图像增强方法的机器可读指令。本发明的第一方面还扩展到存储在某种介质上、配置成执行所述图像增强方法的软件程序产品。
根据本发明的第二方面，提供一种用于包括像素组的数字图像的图像增强的方法，该方法包括在与原图像分支平行的边缘增强单元分支中，在对该分支实施高通滤波之前，对所述像素组应用基于直方图的像素映射函数。
正如先前所说，在高通滤波之前配合钝化掩模法使用固定的像素映射函数是众所周知的，如图5所示。这种做法的缺点是，这种功能只能选择用来增强某些像素值范围的对比度。而且，其对图像噪声分量的影响随着图像的性质而改变。这一点从关于图7和图8的说明中可以看得很清楚。据此，本发明人已经注意到，因为图6所示的函数是人为地构造的，所以不能改变它来适应于图像的内容，所以它不是对所有的图像最佳的。
相反，本发明人认识到，由于基于直方图的像素映射函数是根据图像本身构造的，所以它对图像的内容是自适应的。因而，使某些与噪声有关的问题得以缓解。
在将直方图与边缘增强联用时，可以修改直方图、使得一旦图像像素值的直方图确定之后，可以改变该直方图的分布，以便改变根据该直方图创建的像素映射函数的性质。
现在参考附图，图1至图9用于与先有技术的说明结合，附图中图1表示直方图及其对应的映射函数；图2表示非线性映射函数；图3表示钝化掩模法方案的方框图；图4表示钝化掩模法方案应用于图像信号边缘的效果；图5表示钝化掩模法方案，在进行该钝化掩模法方案的高通滤波之前使用固定像素映射单元；图6表示图5的像素映射函数的两条可能的曲线；图7表示应用于第一噪声图像边缘的固定像素映射函数；图8表示应用于第二噪声图像边缘的固定像素映射函数；图9表示对比度增强单元的可能位置；下面将参考仅仅作为实例的附图来说明本发明，附图中图10表示本发明第一方面的一个实施例；图11表示根据图10实施例构造的倒置直方图；图12、13和14a-e表示本发明的第一方面的可供选择的配置；以及图15表示本发明第二方面的实施例。
本发明的第一方面在于提供用于增强数字图像的基于倒置直方图的像素映射技术。众所周知，数字图像包括像素阵列。对于单色图像，每一个像素有一个在一定范围(例如，0-255)内的像素值，该像素值用以表示该像素的亮度。对于彩色图像，像素值可以用多种不同的方式表示。常用的一种表示方式叫做RGB色彩模型，每个像素用三个数值描述，一个对应于红色分量的数值，另一个对应于绿色分量的数值，第三个对应于蓝色分量的数值。还有许多其它的色彩模型，可以替换来表示颜色。其中一种替换模型叫做YUV色彩模型，像素用亮度和两个色度或称色差分量表示，它们中的每一个都有与之相联系的像素值。一般说来，采用亮度和色差分量的色彩模型较之RGB模型能更有效地表示彩色图像。人们还知道，这种色彩模型中的亮度分量总体上提供了人们对该图像的视觉结构的大部分信息。所以，在应用本发明时将根据用来表示具体图像的色彩模型而作出变化。例如，在一幅用RGB色彩模型表示的图像中，根据本发明所的方法可以应用于一个、两个或所有三个彩色分量。另一方面，如果某幅图像用YUV模型表示，则例如把本发明的方法只应用于Y分量可能更有效。然而，一般地说，根据本发明的方法可以应用于所有分量，或特定色彩模型的分量的任何组合(包含只有一个分量)。应当指出，色彩模型的选择在本质上对应用本发明是不重要的，因为用于构造基于倒置直方图的映射函数的基本原理能够应用于包含任何分量数目的任何色彩模型。
虽然本发明可以单独地对图像起作用，但是，实践证明，将本发明与任何会增加噪声明显度的图像处理功能一起使用时，其优点和好处更为突出。本发明的思路，同时作为一种方法，还在于包括一种设备，后者包括用于将基于倒置直方图的像素映射函数应用于数字图像的装置。更具体地说，该设备可以是移动电信终端，例如移动电话，该设备具有普通移动电话所要求的传统的无线电频率、硬件和软件装置，而且具备图像处理能力和/或图像摄取和显示装置。另一方面，所述设备还可以简单地是一台装备有用来实现根据本发明的方法的图像处理装置的计算机。对于前者，移动终端可以在传送所摄取的图像之前利用本发明进行处理，和/或用于处理所接收的图像然后显示到移动终端上。
先来看图10，这里显示了一个基于倒置直方图的像素映射单元的实施例。它是作为钝化掩模法单元内部高通滤波器的前置处理单元提供的。基于倒置直方图的像素映射单元设置成与高通滤波器串联，后者位于边缘增强单元的内部，并且二者都处在与原图像信号分支并联的分支或环路中。
例如，可以通过将图像直方图倒置、然后从原直方图最大值中减去倒置后的直方图来形成基于倒置直方图的像素映射函数。这方法如图11所示。先从图像获取标准的直方图并确定直方图的最大值。然后从该最大值中减去直方图的每一个值。下一步是创建累积直方图。最后从累积直方图导出基于倒置直方图的像素映射函数。将该直方图倒置之后，构造映射函数的方式类似于传统的基于直方图的像素映射函数的方式。应当指出，从严格的数学意义上说，基于倒置直方图的像素映射函数不是一个逆函数(即finv(x)≠f1(x))这样，在某种意义上，构建基于倒置直方图的映射函数包括如下步骤建造图像像素值的直方图；任选地处理该直方图；从该直方图出发建造倒置直方图；从该倒置直方图出发构造累积倒置直方图；任选地处理该累积倒置直方图；从该倒置直方图出发构造基于倒置直方图的像素映射函数；任选地处理该逆映射函数；以及利用基于倒置直方图的映射函数映射像素值。
可以对累积直方图做“倒置”处理，或换句话说，可将“倒置”处理施加到映射函数上。例如，基于倒置直方图的像素映射函数的形成可以包括如下步骤建造关于图像像素值的直方图；任选地处理该直方图；建造累积直方图；任选地处理该累积直方图；从该累积直方图出发建造映射函数；任选地处理该映射函数；建造逆映射函数；任选地处理该逆映射函数；以及利用基于倒置直方图的映射函数映射像素值。
在构造直方图的过程中，可以利用区域性的直方图，也就是代表图像某块区域的直方图。先对区域性的直方图进行处理和修改，然后再建造倒置直方图。修改也可以针对倒置后的直方图。而且，根据从原始直方图导出的映射函数也能够建造逆映射函数。同样应当指出，基于倒置直方图的映射函数可以应用于图像中的所有像素，或像素组，例如对应于图像中特定区域的像素。
因为基于倒置直方图的像素映射函数是从倒置直方图出发、经由倒置的累积直方图导出的，而传统的(非倒置的)的基于直方图的像素映射函数是从直方图出发、经由累积直方图导出的，基于倒置直方图的映射函数和传统的基于直方图的像素映射函数互相之间共享一种关系，所以，如上所述，有许多方法可以从传统的基于直方图的像素映射函数或是从累积直方图出发建造基于倒置直方图的像素映射函数。例如，如果对传统的基于直方图的映射函数求导数，则将该导数倒置(在本文中倒置意味着从最大值减去)，然后将其结果积分，所获得的映射函数就是基于倒置直方图的像素映射函数。
在可供选择的方法中，基于倒置直方图的像素映射函数可以用下述方法产生，即从一个大于直方图最大值的值减去累积直方图(以传统的方式获得)的每一个值得到。而且，在最大值上面加上一个偏置值可以防止最大值动态范围抑制(无零斜率)。在形成基于倒置直方图的像素映射函数之前也可以对倒置直方图进行其他修改。应该注意的是与原直方图相比较的倒置直方图的主形状。原直方图的尖峰被转换成倒置直方图的凹槽，反过来也一样。从映射函数的角度看，这意味着高梯度的区域变换成低梯度的区域，反过来也一样。
因此，基于倒置直方图的像素映射函数的高斜度区对应于图像直方图的低值区(即出现机会较小的像素值范围)，而低斜度区对应于图像直方图的高值区(即出现机会较大的像素值范围)。使用这种函数将输入像素值映射为输出像素值的效果就是包含大量像素的信号值范围的对比度降低，而其它地方则增强。此类对比度处理方式降低了统计上最重要的信号范围内的噪声和小信号变化的可见度。例如，包含大量像素的像素值通常对应于图像中灰度或色彩基本上均匀的区域。更准确地说，在这些区域中，噪声即像素值的微小变化是特别容易被肉眼察觉的。
已经发现，通过在钝化掩模法程序块的边缘增强单元之前把从图像的倒置直方图建造的像素映射函数应用于图像，钝化掩模法所引起的放大噪声问题明显减小。在基于JPEG或DCT混合编解码方法对源图像进行压缩时，噪声放大是特别令人困扰的问题，已经发现，本发明特别适合于用来处理这一类图像。
由于基于倒置直方图的像素映射函数降低了在统计上重要的信号范围内的对比度和噪声明显度，所以这些信号范围内钝化掩模法所产生的噪声增强问题也减小了。当图像含有相对宽阔而又平滑的区域时，这样的结果有好处。例如，这种宽阔平滑的区域在图像直方图中形成高值集中。基于倒置直方图的像素映射具有降低后继钝化掩模法处理对噪声的放大作用的效果，在这类大范围平滑区域内更是如此。在其它地方，钝化掩模法能够令边缘锐化，无须受到限制。这样，在动态范围的一部分，例如表示大而平滑区域的像素值部分，边缘受到抑制，而在动态范围的其它部分则得到增强。所以各区域之间的“真正的边缘”得到了无限制的增强。
正如先前所解释的那样，图像处理操作常常既包括钝化掩模法又包括基于直方图的像素映射算法，以增强对比度。在这种情况下，根据本发明的方法能够显著地改善结果图像质量。基于倒置直方图的像素映射降低了被对比度增强算法所强调的图像区域的噪声放大量。由于这个特征，两种算法都不会令噪声增强。
图12是实现本发明的一个示例。在这个例子中，基于倒置直方图的像素映射与传统的基于直方图的像素映射对比度增强以及钝化掩模法联用。传统的基于直方图的像素映射的对比度增强放在钝化掩模法单元的原图像分支的位置上，而基于倒置直方图的像素映射单元与钝化掩模法单元的组合放在与原图像分支的分支并行的分支中。并行分支的输出与基于直方图的像素映射对比度增强单元的输出相加。
图13表示一种修正了的方案，其中，在对比度增强操作之后，在原图像分支中添加附加的(低通)滤波程序块(加入上方路径)。滤波块的作用是减少由传统的基于直方图的对比度增强所引入的噪声图15中示出本发明的第二方面，其中，在图像增强配置分支中，在钝化掩模法单元之前和旁边，设置基于直方图的像素映射单元。所述分支与原图像分支并行。所述并行分支的输出加到原图像上。使用这种方案，由于映射函数适应于图像内容，所以已经发现减弱了噪声增强的效应。
本发明还可以应用于数字视频序列的增强，在这种情况下，最好是对直方图进行时域(temporal)处理。视频信号由一系列数字图像组成。每一幅图像可以单独地被增强，但同一直方图不能应用于两幅内容不同的图像。这意味着最好针对每幅图像单独采集直方图。但是单独处理视频图像序列会产生令人生厌的闪烁现象，因为甚至是两幅图像十分难以察觉的差异都会产生根本上不同的直方图。所以，例如对直方图的低通滤波的时域处理是需要的。通常这类处理适合于图像特征的突然的大幅度的变化，例如由于场景切换的缘故。
本发明可以以其它特定的形式体现，而不会脱离它的本质特征。上面介绍的本发明的基于倒置直方图像素映射函数是作为边缘增强的预处理器给出的。本发明本身还可以单独或者以各种不同的形式使用。图14给出了基于倒置直方图映射函数单元的许多不同的应用。图14a表示基于倒置直方图映射函数单元自己单独应用于一幅图像。图14b表示基于倒置直方图映射函数单元作为边缘增强单元的后处理单元使用。图14c表示基于倒置直方图映射函数单元作为边缘增强单元的前导处理单元使用。图14d表示基于倒置直方图映射函数单元与边缘增强单元并行使用。图14e表示两个基于倒置直方图映射函数单元，一个在原图像分支中用作低通滤波器的预处理单元，而另一个在并行分支中用作边缘增强单元的前导处理单元使用。其它基于倒置直方图映射的配置也是可能的，在所有这些方式中，所用的方法都是将与图像统计数据相联系的像素映射函数作用于图像的像素，使得包含大量像素的信号范围内的图像对比度减小，而在其它信号范围内对比度增加。
因此，应该参阅后附的权利要求书以及本文中的一般性陈述，而不是只参考先前特定的说明来理解本发明的涉及范围。
还有，在本说明书(此术语包含权利要求书)中公开的和/或附图中示出的每一个特征可以与其它公开的和/或示出的特征无关地被包含在本发明中。在这一点上，本发明包含任何此处明显地或任何笼统地公开的新颖的特征或特征的组合，无论是否与权利要求所述的发明有关，或是否缓解了所处理的任何问题或问题的全部。
本说明书中包含同时提交的摘要，供参考。
权利要求
1.一种包括像素组的数字图像的图像增强方法，所述方法包括将基于倒置直方图的映射函数应用于所述像素。
2.一种包括像素组的数字图像的图像增强方法，所述方法包括将基于倒置直方图的映射函数应用于所述像素组。
3.如权利要求2所述的方法，其特征在于所述像素组包括所述数字图像的所有像素。
4.如权利要求2所述的方法，其特征在于所述像素组包括所述数字图像的所有像素中的一部分。
5.如权利要求2所述的方法，其特征在于所述基于倒置直方图的映射函数的建立过程包括根据所述像素中至少一部分构成像素值的直方图，根据所述直方图导出倒置直方图，根据所述倒置直方图构造累积倒置直方图，从所述累积倒置直方图导出逆映射函数。
6.如权利要求5所述的方法，其特征在于所述构造像素值直方图的步骤包括定义一组像素值的范围；对每一个像素值范围，计算所述像素中具有所述范围内像素值的所述最少一部分的像素数目。
7.如权利要求6所述的方法，其特征在于根据所述直方图建立倒置直方图的所述步骤包括如下步骤标识具有最大像素数目的像素值范围，对每一个像素值范围，从所述最大数目中减去所述范围内的像素数目，从而修改每一个像素值范围内的像素数目。
8.如权利要求6所述的方法，其特征在于根据所述直方图建立倒置直方图的所述步骤包括如下步骤定义一个参考值；对每一个像素值范围，从所述参考值中减去所述范围内的像素数目，从而修改每一个像素值范围内的像素数目。
9.如权利要求6所述的方法，其特征在于根据所述直方图建立倒置直方图的所述步骤包括如下步骤标识具有最大像素数目的像素值范围，定义一个大于所述最大数目的参考值；对每一个像素值范围，从所述参考值中减去所述范围内的像素数目，从而修改每一个像素值范围内的像素数目。
10.如权利要求7、8或9所述的方法，其特征在所述构成累积倒置直方图的步骤包括如下步骤对每一个像素值范围，将在建立倒置直方图的所述步骤中修改后的、包括像素值小于所述范围像素值的所有像素值范围的像素数目，加入到在建立倒置直方图的所述步骤中修改后的、所述像素值范围内的像素数目中。
11.如权利要求10所述的方法，其特征在于所述逆映射函数是利用所述累积倒置直方图的每一个像素值范围内的像素数目，从所述累积倒置直方图导出的。
12.如权利要求11所述的方法，其特征在于所述逆映射函数是通过在所述累积倒置直方图的像素值之间进行插值，从所述累积倒置直方图导出的。
13.根据上述任何一个权利要求所述的方法，其特征在于所述逆映射函数按比例缩放到预先确定的最大值。
14.如权利要求5到13中任何一个所述的方法，其特征在于在所述建立倒置直方图的步骤之前，处理所述像素值直方图以形成修改后的直方图。
15.如权利要求5到14中任何一个所述的方法，其特征在于在所述建立累积倒置直方图步骤之前，处理所述倒置直方图以形成修改后的倒置直方图。
16.如权利要求5到15中任何一个所述的方法，其特征在于在所述导出逆映射函数的步骤之前，处理所述累积倒置直方图以形成修改后的累积倒置直方图。
17.如权利要求2所述的方法，其特征在于形成所述基于倒置直方图的映射函数的过程包括从所述像素值中的至少一部分像素值构成像素值的直方图，根据所述直方图构成累积直方图，从所述累积直方图导出映射函数，从所述映射函数形成逆映射函数。
18.如权利要求17所述的方法，其特征在于从所述映射函数形成逆映射函数的所述步骤包括如下步骤对所述映射函数求微分，形成微分的映射函数；找出所述微分的映射函数的最大值；从所述微分的映射函数中减去所述最大值，然后将所述结果积分
19.如权利要求17所述的方法，其特征在于所述构成像素值直方图的步骤包括如下步骤定义一组像素值范围；对于每一个像素值范围，计算所述像素中具有所述范围内的值的所述至少一部分像素的像素数目。
20.如权利要求19所述的方法，其特征在于所述形成累积直方图的步骤包括如下步骤对于每一个像素值范围，将包括其像素值小于所述范围内的像素值的所有像素值范围中的像素数目加入到所述范围内的像素数目中。
21.如权利要求20所述的方法，其特征在于利用所述累积直方图的每一个像素值范围内的像素数目、从所述累积直方图导出所述映射函数。
22.如权利要求21所述的方法，其特征在于通过在所述累积直方图的各像素值范围之间进行插值、从所述累积直方图导出所述映射函数。
23.如权利要求17到22中任何一个所述的方法，其特征在于在所述建立累积直方图的步骤之前，处理所述像素值直方图以形成修改后的直方图。
24.如权利要求17到23中任何一个所述的方法，其特征在于在所述导出映射函数的步骤之前，处理所述累积直方图以形成修改后的累积直方图。
25.如权利要求17到24中任何一个所述的方法，其特征在于在所述形成逆映射函数的步骤之前，处理所述映射函数以形成修改后的映射函数。
26.如上述任何一个权利要求所述的方法，其特征在于修改所述逆映射函数以便形成修改后的逆映射函数，以及将所述修改后的逆映射函数应用于所述像素组。
27.如权利要求5到26中任何一个所述的方法，其特征在于所述直方图是根据所述数字图像的所有像素构成的。
28.如权利要求5到26中任何一个所述的方法，其特征在于所述直方图是根据所述数字图像的所有像素中的一部分构成的。
29.如上述任何一个权利要求所述的方法，其特征在于在应用其它图像处理功能之前或以后，将基于倒置直方图的映射函数应用到所述像素组。
30.如权利要求29所述的方法，其特征在于所述其它图像处理功能具有增加像素值变化范围的效果。
31.如上述任何一个权利要求所述的方法，其特征在于在应用边缘增强功能之前或以后，将基于倒置直方图的映射函数应用于所述像素组。
32.如上述任何一个权利要求所述的方法，其特征在于将基于倒置直方图的映射函数应用于原信号分支，而将边缘增强单元应用于与所述原信号分支并行的分支。
33.如上述任何一个权利要求所述的方法，其特征在于将所述基于倒置直方图的映射函数应用于原信号分支以及平行于所述原信号分支并且具有边缘增强单元的分支中。
34.一种用于增强包括像素组的数字图像的图像处理装置，所述处理装置包括用于把基于倒置直方图的映射函数应用于所述各像素的装置。
35.一种用于增强包括像素组的数字图像的图像处理器，其中，所述图像处理器包括用于把基于倒置直方图的映射函数应用于所述像素组的装置。
36.如权利要求35所述的图像处理器，其特征在于所述图像处理器包括从所述像素的至少一部分构成像素值直方图的装置，从所述直方图导出倒置直方图的装置，从所述倒置直方图形成累积倒置直方图的装置，从所述累积倒置直方图导出逆映射函数的装置。
37.如权利要求36所述的图像处理器，其特征在于所述图像处理器包括用于从所述像素值直方图形成修改的直方图的装置。
38.如权利要求36或37所述的图像处理器，其特征在于所述图像处理器包括用于从所述倒置直方图形成修改的倒置直方图的装置。
39.如权利要求36到38中任何一个所述的图像处理器，其特征在于所述图像处理器包括用于从所述累积倒置直方图形成修改的累积倒置直方图的装置。
40.如权利要求35所述的图像处理器，其特征在于所述图像处理器包括从所述像素值的至少一部分构成像素值直方图的装置，从所述直方图形成累积直方图的装置，从所述累积直方图导出映射函数的装置，从所述映射函数形成逆映射函数的装置。
41.如权利要求40所述的图像处理器，其特征在于所述图像处理器包括用于从所述像素值直方图形成修改的直方图的装置。
42.如权利要求40或41所述的图像处理器，其特征在于所述图像处理器包括用于从所述累积直方图形成修改的累积直方图的装置。
43.如权利要求40到42中任何一个所述的图像处理器，其特征在于所述图像处理器包括用于从所述映射函数形成修改的映射函数的装置。
44.如权利要求35到43中任何一个所述的图像处理器，其特征在于所述图像处理器包括用于从所述逆映射函数形成修改的逆映射函数的装置。
45.一种便携式无线通信设备，它包括用以增强包括像素组的数字图像的图像处理装置，所述图像处理装置包括用于把倒置直方图映射函数应用于所述各像素的装置。
46.一种具有计算机可用媒体的计算机程序产品，所述计算机可用媒体具有嵌入其中的计算机可读程序代码，所述计算机程序产品用以增强包括像素组的数字图像，所述代码包括把基于倒置直方图的映射函数应用于所述各像素。
47.一种增强包括像素组的数字图像的方法，该方法包括在边缘增强单元的平行于原图像分支的分支中，在把高通滤波器用于所述分支之前，把基于直方图的像素映射函数应用于所述象素组。
48.一种增强包括像素的数字图像的方法，该方法包括在平行于原图像分支的信号分支中，在应用具有增大像素值变化的效果的图像处理函数之前，把基于直方图的像素映射函数应用于一组所述象素。
49.一种增强包括像素的数字图像的方法，在应用具有增大像素值变化的效果的图像处理函数之前，把基于直方图的像素映射函数应用于一组所述象素。
全文摘要
本发明提供了方法和相关的设备，其中将基于倒置直方图像素映射步骤与诸如钝化掩模法的边缘增强步骤相结合。在这样一种配置中，基于倒置直方图的像素映射步骤改善了钝化掩模法步骤的性能，有助于在所需的信号分量被锐化的同时、将噪声分量被增强的副作用减至最小。
文档编号G06K9/00GK1434961SQ00819095
公开日2003年8月6日 申请日期2000年12月21日 优先权日1999年12月22日
发明者P·内诺宁, M·韦维莱宁 申请人:诺基亚有限公司