图像增强方法和设备的制作方法

专利名称：图像增强方法和设备的制作方法
技术领域：
本发明一般涉及图像处理，尤其涉及图像改善。本发明可用于以数字和模拟的形式实现图像的动态范围压缩和色感一致性。一方面，本发明涉及图像数据压缩。
背景技术：
动态范围是指图像或画面的最亮和最暗的可记录部分的强度比值。一般认为其范围从明亮阳光到深阴影的画面具有高的动态范围，而低对比度的室内画面具有低的动态范围。值得注意的是，用数字摄像机能或不能捕捉到全部的范围，这取决于该画面的对比度。在记录具有很高动态范围的画面时，数字摄像机将做折中处理，即允许只捕捉画面中最重要的那部分。这种折中是必要的，因为没有任何一种摄像机或输出设备(包括人眼)能够再现实际生活中存在的几乎无限的动态范围。
在含有一定程度的背景噪声的输入图像中，出于动态范围的考虑，噪声水平定义了该图像中最暗的部分。增强含有噪声的图像的最暗部分的亮度会减小动态范围，这是因为由噪声水平所定义的图像的最暗的有意义部分的亮度增加了。
基于CCD检测器阵列的电子摄像机能够在象2500∶1这样宽的动态范围内捕获图像数据。这个范围适于处理画面(如在阳光明媚时拍摄的高对比度画面)内的大部分亮度变化。可是，一般来说，当图像被数字化处理、被有损压缩算法(如JPEG或MPEG)压缩、或遇到动态范围更窄的打印和显示介质时，前述动态范围就丢失了。例如，大多数图像被数字化成8比特/色带(256灰度级/色带)，并且大多数显示和打印介质甚至更是限于50∶1的动态范围内。
虽然希望保留所转换图像的自然外观，但有必要设法得到某种转换，其能够压缩图像的动态范围，使原始图像(其可是彩色的或非彩色的、静止的或视频的)中更多的细节可以再现。我们把这种转换称为“图像改善转换”。
因为能够实时改善图像(视频)是很重要的，所以计算效率是图像改善系统中的重要参数。为了降低集成电路(IC)或其它实现图像改善算法的设备的能耗、减小其尺寸并降低其成本，有必要提供一种图像改善算法的模拟实现(implementation)。图像改善算法的模拟实现的另一个优点在于其可以避免引入由模数转换(ADC)所导致的数字化噪声。
还有必要改善数据有损压缩算法，如JPEG，以允许处理更多的压缩/解压图像。
我们来看看当前流行的图像增强算法。
同态滤波(homomorphic filtering)是一种图像增强技术，其使用下述算法Iout＝exp[HPFΩ(log(I))]＝exp[log(I)-LPFΩ(log(I))]，式中HPF是高通二维(2D)空间滤波函数。
美国专利5,991,456描述了名为RetinexTM的图像增强算法系统。其使用下述算法Iout=Σi=0NWi(log(I)-log(LPFΩi(I))),]]>式中Wi为常数。
这种算法的缺点在于不能优化图像的高频(空间)部分(具有高于 的频率)，因而在转换后的图像上存在图像的暗区和亮区之间的明显过渡。因此，Retinex算法的一个缺点在于图像中小块高对比度细节的过分对比。更深一层的缺点在于其计算能力需求。一般来说，在传统的计算机工作站上进行图像处理需要若干小时。因此，Retinex不适合大多数的实际应用。
称为直方图修正(histogram modification)(或均衡化)算法的技术也是周知的。现在有多种直方图修正算法。这些算法修正整个图像的转换函数H(..)Iout(x，y)＝H(I(x，y))。
尤其是，直方图均衡化(基于累积直方图(cumulative histogram))和其它基于直方图修正的算法可用下式来描述Iout=1MCumHistogram(I)=Σi=0Nθ(I-I1)⟨δ(I-I1)⟩≡Σi=0Nθ(I-I1)1MΣk,lδ(I(k,l)-Ii(k,l))]]>式中，M是图像I中像素的数目，Ii是灰度级(如在灰度图像N＝255的情况下，I0＝0，I1＝1，……，I255＝255)， 是像素坐标。平均处理<..>可以认为是具有截止频率Ω＝0的低通滤波LPFΩ，于是Iout=Σi=0Nθ(I-Ii)LPF0(δ(I-Ii)).]]>直方图均衡化算法限于在整个图像的直方图均匀的情况下使用，但是，在图像的某些部分太亮而其它部分又太暗。在这种情况下，需要对图像的不同区域使用不同的转换函数。
局部直方图均衡化(也称作自适应直方图均衡化)技术也是周知的。为均衡各个特定区域的直方图，在图像的不同区域使用不同的转换，从这种意义上来说，该技术是自适应的。现已有许多应用，其可用下面的公式表示Iout=Σi=0Nθ(I-I1)LPFΩ(δ(I-Ii)),]]>式中，Ω是空间频率，其与均衡化直方图的区域尺寸有关(若“窗口”的大小为r，图像尺寸为L，则Ω=Lr]]>)。
但是，已知的局部直方图均衡化(自适应直方图均衡化)技术具有高的计算强度且难以实现实时处理。此外，在很多情况下使用各个像素周围的矩形窗口来进行此窗口中的直方图均衡，因此，这种转换不能认为是空间平滑的。这种转换的非平滑性将增大所转换图像的噪声和人工痕迹。

发明内容
本发明一个或多个方面的一个目标在于提供一种改善图像的方法。该图像优选由数字数据或模拟数据生成。该方法优选适用于彩色和非彩色图像。
本发明一个或多个方面的另一个目标在于提供一种在动态范围压缩、独立于画面照明光谱分布的颜色、以及颜色/亮度再现的方面改善图像的方法。
本发明一个或多个方面的另一个目标在于提供所建议的图像改善算法的模拟实现。这种实现通常尺寸小且能耗低，这是许多图像捕捉设备期望的特性。
本发明的一个或多个方面的另一个目标还在于改善有损图像压缩过程，以便使图像在压缩-解压后能保持相对宽的动态范围，如果还要进行某种后加工处理，这一点很重要，例如在医用图像处理技术(如在x射线和磁共振成像(MRI)扫描中所用的那些技术)或者在使用图像编辑软件的照片图像的处理中都很重要。
根据本发明的一个方面，提供了一种图像处理方法，其包括处理输入信号以生成调节后的输出信号的步骤，其中，根据下式调节图像中不同位置(x，y)的强度值I(x，y)以生成调节后的强度值I’(x，y)Iout=Σi=0Nai(I)LPFΩi[Pi(F(I))]·Qi(F(I))+β(I),]]>式中，Pi(γ)是定义在0＜γ＜1范围内的γ的函数的正交基(orthogonalbasis)；Qi(..)是Pi(..)的不定积分Qi(F(I))=∫0F(I)Pi(η)dη]]>或其近似，LPFΩ[..]是低通空间滤波的运算符；Ωi是低通滤波器的截止频率，及F(..)是加权函数。
由上述算法表示的可能的转换系列在这里称为正交Retino-Morphic图像转换(ORMIT)。
函数Qi(..)可以是Pi(..)的不定积分在25％，优选10％范围内变化的近似值。Ω优选为非0。F(..)优选以不对称方式随I变化，β(I)优选不等于0。Ωi优选随i的不同而不同，使得不同亮度域内的转换具有不同程度的空间不均匀性。
该图像改善算法优选在亮度域内不对称，使得该算法在图像的黑暗区域比相对亮的区域具有更大的效果。这种算法优选执行动态范围压缩，把图像中强度值范围内的相对暗的部分变动比相对亮的部分更高的程度，从而实现这种不对称。优选的，暗区的图像对比度也增加比亮区更高的程度。这种做法的效果在于模仿人眼的行为，通过在再现图像的较亮区内再现这些暗区，人眼在原始图像的暗区也具有相对高的动态范围。另外，当与如下将更详细描述的标准有损压缩技术一起使用时，该动态范围压缩会增加保留在图像暗区中的有用数据量。因为人眼具有非常高的动态范围(约105∶1)，而视觉神经的动态范围约为100∶1，很明显肉眼进行了强烈压缩动态范围的转换。
优选地，根据本发明这一方面的算法在施加给图像的转换函数中包括空间不均匀性的元素。也就是说，如同局部直方图均衡化的情况一样，转换函数可在图像内变化。
此外，所施加的转换函数的形状优选地在空间域内非线性地自适应。也就是说，施加给图像的不同部分的转换函数在形状上不需要相互联系，以改善对原始图像中的对比度的处理。该转换优选地使用正交函数，从而可以提高计算效率。在一个实施例中该正交函数是Legendre多项式，在另一个实施例中是分段线性映射函数。这些转换优选地在模拟域中执行。
这种算法优选在亮度域和空间域内都是平滑的。
这种算法的另一个优选特性是可逆性。
根据本发明的另一个方面，提供了一种压缩图像信号的方法，其包括使用可逆动态范围压缩算法来把图像信号转换为增强的图像信号，并且使用有损压缩算法来压缩所述增强的图像信号以生成压缩图像数据。
该方法优选包括生成与动态范围压缩算法相关的参数，以及把这些参数与压缩图像数据一起存储。
根据本发明的另一个方面，提供了一种对压缩图像数据进行解压的方法，其包括使用与有损压缩算法相应的解压算法，以及使用反向动态范围压缩算法以提供解压图像信号。
在一个实施例中，在解压图像时，结合标准有损压缩技术(例如JPEG)，运用与压缩图像数据附在一起的描述图像改善转换的参数，反向地使用动态范围压缩算法以实现逆转换。从这种意义上说，如果描述该逆转换的数据量并不显著大于标准图像压缩数据的量，则认为该算法是“可逆的”。优选地，转换数据的量显著少于，即少于标准图像压缩数据量的一半。在一个实施例中，转换数据插入在压缩图像文件的头部。
在一个优选实施例中，根据下式调节灰度图像的各个位置(x，y)的强度值I(x，y)以生成各个位置的强度值Iout(x，y)(改善图像)Iout=α·Σi=0NLPFΩ[Pi(F(I))]·Qi(F(I))+(1-α)I]]>这里，α是转换的“强度”，其在图像增强情况下优选介于0到1之间。通常，α可在0.5的区域内取值。非均匀性参数Ωi可对不同的i取不同的值，以实现最佳增强同时保留自然外观。把所有参数Ω都设为一个常数值是很方便的。
适当选择α(转换“强度”)、由Ω表示的转换的空间非均匀性(转换的“窗口”)、加权函数F(..)和基函数Pi(..)可提供良好质量的图像改善，例如动态范围压缩。
图像最初是以电子格式(模拟或数字形式)出现的。所提出的算法可对彩色和灰度图像进行处理。在彩色图像的情况下，所提出的算法能够修正图像的强度(而色调和饱和度不变)或图像的各个颜色通道(从而提供颜色校正)。还提出了不同的图像颜色校正办法。
提出了逆转换过程。该过程允许从转换后的图像中恢复出原始图像。
提出了一种新颖的图像压缩过程。该过程包括作为第一阶段的图像转换(压缩图像的动态范围)以及作为第二阶段的标准有损图像压缩算法，例如JPEG或JPEG2000。在解压和逆ORMIT转换后，图像暗区的质量大大好于JPEG压缩-解压后该区的质量(压缩文件大小相同)。因此，经所提出的过程压缩后的图像的动态范围得到了增大。
提出了实现该图像改善系统的模拟硬件实现的不同方法。第一个原理基于多项式方法，而第二个原理基于多段线性映射函数方法。还提出了ORMIT的简化方案，其中空间非均匀性参数Ω被设为0，其在模拟电路中的实现更为简单。
在这种情况下，ORMIT公式简化为I′=Σi=0∞⟨Pi(I)⟩∫0IPi(η)dη,]]>式中，I(t)是输入(视频)图像信号，I’(t)是输出信号，Pi(x)定义了正交函数的基，运算符<..>表示图像的算术平均值(或数学期望值)。该方案很好地适应了视频图像的实时增强。
在从图像传感器(例如CCD)捕获视频信号后立即在模拟电路中进行图像增强的动机是其能够提供整个图像处理系统(例如视频捕获系统，图像传输或记录系统以及视频输出系统)的输出图像的最宽的动态范围。这使得图像的细节可见，否则其将低于传输、记录和再现所引起的噪声水平(在模拟视频摄像机的情况下)，或低于由模-数转换器(ADC)或有损压缩(如MPEG)所引起的数字化噪声。
对于实时应用，优选地根据先前帧，最好是紧接在前面的帧的信息来处理后续的视频-帧的图像。这是合理的，因为根据统计，视频图像在帧与帧之间一般只有微小的变化。
该增强器优选以异步方式运行，以使该设备能够容易地安装进数字和模拟摄像机内。
优选地，由该增强器执行的视频信号的校正转换是平滑的，从而减小可见噪声的放大效果，这是标准直方图均衡技术的一个缺点(见William K.Pratt，“Digital Image Processing”，John Wiley andSons，1978，pp.307-318)。
与数字实现相比，基于所提出的技术的模拟设备的优点包括尺寸小以及大大降低的能耗。
因为非线性处理发生在数字化之前，所以对非线性图像处理使用模拟技术可以允许动态范围最大化。
所述模拟系统可进行实时视频处理。
所提出的算法可以单片模拟集成电路(IC)实现；这样的芯片可安装进数字和模拟视频摄像机内。与数字系统相比，执行直方图均衡化的模拟IC的尺寸相对较小且能耗相对较低。这种IC可用于象保安摄像机(security camera)这类成本和能耗要求苛刻的摄像机内。其他应用是数字图像处理系统不够快的高速摄像机，或应最大限度地保留CCD的宽动态范围(可高于2500∶1)的最高质量的摄像机内。在这种情况下，使用模拟均衡器是合理的，因为其允许避免出现ADC所引起的数字化噪声。


图1是示意图，显示了本发明中所用的计算过程。
图2显示了加权函数F(I)的实例，其表示了人眼对于暗(小I)和亮(大I)在感觉上的不对称。参数Δ越小，则不对称的程度越高。
图3显示了合适的正交基函数Pi(x)及其不定积分Qi(x)的实例；图3(a)显示了Legendre多项式基(polynomial basis)；图3(b)显示了分段式基(piecewise basis)。
图4是彩色图像增强的计算过程的示意图。
图5是Legendre多项式Pi(x)的模拟合成器的示意图。
图6示意性显示了使用模拟电路生成各个函数。图6(b)显示了生成图6(c)所示Qi(x)，即图6(a)所示Pi(x)的不定积分的模拟电路。
图7是图像处理器的模拟硬件实现的分段转换函数方案中使用的函数的合成器的示意图。
图8是二维(2D)空间低通滤波器的示意图。
图9是二维(2D)正交函数的合成器的示意图。
图10是图9的合成器中所用的正交一维(1D)函数的模拟合成器的示意图。
图11显示了余弦基函数和Legendre多项式。
图12显示了不同图像转换后的图像对比效果；图12(a)是原始图像，12(b)是局部直方图均衡化之后的图像，及12(c)是ORMIT转换后的图像。
图13是低通滤波器的快速软件实现的示意性框图。
图14显示了Sigmoid函数。
图15显示了一个流程图，其表示(a)ORMIT-JPEG联合压缩的过程，(b)和(c)是解压的过程。在(c)情况下，在解压阶段中预先设置ORMIT的新参数。
图16示意性说明了在图像处理的不同阶段的动态范围和亮度分布。
图17显示了多项式直方图均衡器的示意图。该系统能够实时处理模拟视频信号。
图18显示了分段直方图均衡器的示意图。该系统能够实时处理模拟视频信号。
图19显示了图18所示同步选择器所生成的“保持”和“复位”信号的实例。
具体实现方式在本发明的各种实施例中，数据处理设备实现了一种新的图像改善转换，其由下述公式描述Iout=Σi=0Nai(I)LPFΩi[Pi(F(I))]·Qi(F(I))+β(I),]]>式中Pi(γ)是定义在0＜γ＜1范围内的γ的函数的正交基；Qi(..)是Pi(..)的不定积分，即，Qi(F(I))=∫0F(I)Pi(η)dη]]>或其近似，LPFΩ[..]是低通空间滤波的运算符；Ωi是低通滤波器的截止频率，F(..)是加权函数，β(I)优选不等于0。Ωi优选随不同的i而不同，这样，这种变换在不同亮度域具有不同程度的空间不均匀性。
在一个实施例中，根据下式调节灰度图像的各个位置(x，y)的强度值I(x，y)，生成各个位置的强度值Iout(x，y)(改善后的图像)Iout=αΣi=0NLPFΩ[Pi(F(I))]·∫0F(I)Pi(η)dη+(1-α)I----(0.1)]]>即，Iout=α·Σi=0NLPFΩ[Pi(F(I))]·Qi(F(I))+(1-α)I,]]>式中Qi(F(I))=∫0F(I)Pi(η)dη.]]>这里，α是转换的“强度”。
元素α表示完全均衡的图像(转换的第一阶段)和原始图像的混合比例。因此，选择合适的转换强度提供了动态范围压缩和图像自然外观之间的折中。在许多情况下，可以增大图像的暗区的对比度而不会明显丢失整个转换图像的自然外观。同时，α可以是常数，也可根据强度变化为α(I)。
在一个实例中使用了下面α(I)和β(I)的表达式α(I)=12-12tanh(4log(IΔ+1)log(1Δ+1)-2),β(I)=I·[12+12tanh(4log(IΔ+1)log(1Δ+1)-2)];]]>
或α(I)=A[12-12tanh(4log(IΔ+1)log(1Δ+1)-2)];]]>β(I)=I·((1-A)[12-12tanh(4log(IΔ+1)log(1Δ+1)-2)]+·[12+12tanh(4log(IΔ+1)log(1Δ+1)-2)]);]]>强度函数α(I)和β(I)的函数形式优选选定为使得在图像的黑暗部分(I小)中的转换更强(α更大)且在明亮部分中逐渐弱化。这允许更强地增强阴影而不影响明亮区域。
在算法中使用加权函数F(I)，以考虑人眼的特性，这可以用下面称为对数传递函数(logarithm transfer function)的函数来近似F(I)=log(I+Δ)-log(Δ)log(1+Δ)-log(Δ)-------(0.2)]]>式中，0＜I＜1，Δ是“暗”和“亮”的“不对称”的参数，其向图像的亮度域中的暗部分提供了比亮部分更强的适应能力(因此，这种算法在图像的暗区中比在亮区中更“有效”)。暗区可定义为包含小于最大强度的一半的那些区域，优选小于1/4强度的那些区域。为了提供一定程度的动态范围压缩，我们选择Δ＜1。减少Δ产生了更强的动态范围压缩。实际上，优选范围是0.001＜Δ＜0.1。图2显示了在Δ＝1到Δ＝0.001范围内的对数传递函数。
需要注意的是，除了对数函数之外的另外的函数也可以用来近似人眼的特性。通过适当选择α(转换强度)、由Ω表示的转换的空间非均匀性(转换“窗口”)、加权函数F(..)和基函数Pi(..)，可以提供良好质量的图像改善，即，与“自然”外观的转换图像结合的动态范围压缩。
图1显示了对输入图像中坐标(x，y)给定的各个像素求出方程(0.1)的值的计算过程的示意图。这里，F(I)是由方程(0.2)定义的不对称加权函数；Pi是Legendre多项式或分段函数的基的第i个成员(如本说明书所述)；Qi是Pi的不定积分；LPF是说明书中所述的二维低通滤波器。这可由熟练程序员在软件中直接编码，或使用已知的元件在模拟硬件中实现。在后一种情况下，是乘法器元件，∑是加法器；非线性单元F(I)可以通过使用标准电路和其他的别处描述的元件来实现。
提出了ORMIT转换的不同实现方法。第一种方法基于正交多项式Pi(γ)。在一个实施例中特别选择了Legendre多项式(见图3(a))。第二种实现方法基于分段函数(见图3(b))。在图像处理应用中可以生成计算机软件实现方法；下面描述ORMIT转换的这些实现方法的模拟硬件实现。
模拟硬件实现在这里我们考虑图像改善系统的可能的模拟实现，如图所示。
这里，x(t)指图像信号，并表示在一帧视频信号期间(0＜t＜T)对强度的相关性。
ORMIT转换的模拟实现的“多项式”和“分段”方案都可基于低通滤波器的模拟实现，如图8所示。图8显示了使用模拟电路的二维空间低通滤波器(LPF)的示意图。它把信号Pi(I)作为输入，其可以是Legendre或分段基的成员。该图中，∫是积分元素，SAMPLE/HOLD是标准采样/保持放大器，且合成器可如图9所示来配置。这个滤波器使用正交函数∏ij(x，y)的二维基。二维正交函数∏ij(x，y)可在一维正交函数∏i(x)和∏j(y)的基础上生成(见图9)。在图9中，一维Legendre多项式或余弦(cosine)函数(见图11)∏i是从输入信号x，y中生成的。它们被结合为图8所示LPF发生器中使用的对应的Φij(x，y)。图5和图10显示了一维正交函数∏i(x)(自适应并具有固定系数)的合成器。正交函数的自适应合成器可以生成1.Legendre多项式，前提是x(t)是锯齿波形信号，即，信号x(t)＝SAW(t)＝2REM(t/T)-1，式中，REM(..)是除法余数，t是时间，T是锯齿信号的周期(关于正交函数的模拟合成器的更多信息可以在[1]中找到)；2.函数的余弦基，前提是x(t)＝sin(πSAW(t))。
Legendre多项式的“固定”合成器可基于下述递归关系(见K.B.Datta和B.M.“Orthogonal Functions in Systems and Control”，Advanced Series in Electrical and Computer Engineering，Mohanpublisher，World Scientific Pub Co，1995)P(x)＝1，Pi(x)＝x，Pi(x)＝aiPi-2(x)+bixPi-l(x)，(0.3)式中，αi=-i-1i,]]>bi=2i-1i.]]>图5显示了这种合成器的配置。下面的表1显示了第一组5个系数ai和bi。
表1

对于各个函数的余弦基，适用相同的递归关系(0.3)。在这种情况下，对于任意的i，系数ai＝-1，bi＝2。
余弦基可替代模拟低通滤波器中的Legendre多项式。在使用本说明书所述方法的模拟电路中它们都可以有效地合成。余弦基具有转换更加空间均匀的优点(没有“边缘效应”)。
ORMIT转换的多项式方案这个ORMIT转换方案把Legendre多项式不仅用于低通滤波器，还作为用于计算ORMIT转换函数的基函数Pi(x)(见图1和图3(a))。用于构建ORMIT转换函数的其它基函数是Qi(x)。图6显示了Qi(x)多项式的合成器。这里，是差分放大器。另一种方案把Legendre多项式用于ORMIT转换函数中所用的基函数Pi(x)，并把余弦函数用于低通滤波器。图13显示了低通滤波器的快速软件实现的框图。这种算法包括1)图像尺寸调节；2)二维离散余弦变换(DCT2)；3)变迹(Gauss)函数，其把尺寸调节后的图像的高阶光谱部分设为0；4)逆DCT(IDCT2)，其给出了尺寸调节后的图像的平滑近似；5)双线性插值过程，其给出了输入图像(尺寸X，Y)的平滑近似，即低通滤波器的输出。
ORMIT转换的混合多项式-分段方案这种ORMIT转换方案使用图3(b)所示的基函数Pi(x)和Qi(x)。图7显示了生成这些函数的合成器。在图7的右边部分显示了不同元件生成的函数。图7中，这些函数是非重叠的，但另一方面，也可以使用相互正交的、重叠的多个函数的两个子集。在图7中，下部显示了图中主体部分所示结构中的放大器元件输出的信号。低通滤波器可以使用Legendre多项式函数或余弦函数，如上所述。
模拟实现的进一步细节为显示在Legendre多项式情况下如何构建实际的模拟硬件实现，请参看下文。
在模拟专用集成电路(ASIC)的制造阶段，就可以把系数ai和bi存储在激光修整电阻器中。这里需要注意的是，在制造含有Legendre多项式合成器的模拟ASIC时可以采用调节ai系数的自适应系统，这由V.Chesnokov在“Analog Synthesizer of Orthogonal Signals，IEEETransactions on Circuit and Systems-IIAnalog and Digital SignalProcessing，47(2000)，No.2，pp.125-132”中提出(亦如图5所示)。这可以通过使用乘法器、加法器以及，例如，提供参数ai和bi的修整电阻器来直接实现为模拟电路。
现在我们来考虑Q多项式合成的过程。由递归关系(0.3)所定义的Legendre多项式满足下述关系(见K.B.Datta and B.M.“OrthogonalFunctions in Systems and Control”，Advanced Series in Electricaland Computer Engineering，Mohan Publisher，World Scientific PubCo，1995) 在(-1，x)范围内对方程(0.4)进行积分，并考虑Legendre多项式(见方程(0.3))的特性对任意的i，有Pi(1)＝1，Pi(-1)＝(-1)i(见图6(a))，则有Qi(x)=12i+1(Pi+1(x)-Pi-1(x))----(0.5)]]>这里，我们把Q多项式定义为Qi(x)=∫-1xPi(x)dx.]]>图6显示了Q多项式合成的过程。这里需要注意的是，由递归关系(0.3)定义的Legendre多项式没有被归一化。图3(a)(其显示了归一化了的Legendre多项式和相应的Q多项式)和图6(a)分别显示了归一化的和未归一化的Legendre多项式。因此为了实现图7所示的这种方案，该设备应该对图6的结构中显示的Legendre多项式和Q多项式的合成器所生成的信号进行归一化处理。这些归一化系数可由图1 7所示积分器的积分常数实现，于是，不同的积分器应该具有不同的积分常数μi，即，Fi=μi∫0Tfi(t)dt.]]>同步选择器的任务是提取垂直同步脉冲。“保持”信号应该在垂直同步脉冲的开始阶段生成，而“复位”脉冲应该在下一帧开始之前且紧接“保持”信号之后生成(见图19)。这种安排(以及多项式直方图均衡器)根据从先前帧上获取的信息来均衡化后续帧。
我们也提出了简化的实现方法，其中，ORMIT转换的非均匀性参数即Ωi都被设为0。图17和18中显示了不同实施例中的相应电路。需要注意的是，在图18中，下部显示了图的主体部分所示结构中所用的放大器元件输出的信号。简化电路是因为并不需要出现低通滤波器。虽然图像的改善并不象完全ORMIT转换那样有效，但在许多情况下足以对图像流进行良好的增强。
在一个实施例中，一个目的在于提供一种空间均匀的连续(在时间和幅值上都连续)视频信号的直方图均衡。Legendre多项式被用作正交函数的基(虽然可以使用其它正交函数)，因为它们可在模拟硬件(见图5)中实现，这可以实现直方图均衡器的完全模拟实现。
一般结果是y=Σi=0∞⟨Pi(x)⟩∫0xPi(x)dx----(0.6)]]>式中，y是输出信号的强度，运算符<..>是整个图像的算术平均值(或数学期望值)。在视频信号x(t)的情况下，算术平均值为⟨Pi(x)⟩=1T∫0TPi(x)dx]]>若把Pi(x)的不定积分表示为Qi(x)Qi(x)=∫0xPi(x)dx,]]>则有y=Σi=0∞⟨Pi(x)⟩Qi(x)]]>若N→∞，则输出视频信号的y(t)亮度直方图将是均匀的。然而，实际上N应该有限制，首先降低过程的计算强度，第二提供平滑直方图均衡。计算机模型已经表明即使N小到3图像也可以被显著改善。这里需要注意的是，可能出现近似于累积直方图H(x)的转换函数y(x)不是单调递增函数的情况。这造成了不自然的图像，且在大多数情况不应该出现。这可以通过引入转换强度系数α来达到上述目的Iout＝αI′+(1-α)I，式中，0＜α＜1。
输出图像在效果上是输入图像x和均衡化图像y的混合。减小α可以避免转换函数∂xout∂x<0]]>带来的负面影响。通常来说把α减少到0.5就够了。转换系数α的“强度”可以由视频摄像机的使用者手动调节(以得到合适的图像)或由自适应过程自动调节，该过程可在帧与帧之间的那段时间执行。
上述算法的直接实现假设对于每一帧计算积分∫0xPi(2x(t)-1)dt]]>以建立转换函数，以改善当前帧。这使直接模拟实现很困难，除非使用了“记住”整个帧的模拟信号延迟线。不过，在统计上帧与帧之间只有微小变化的这一事实使得可以实现该算法的实时模拟实现。在这种情况下，使用由先前帧得到的统计信息(由上述积分表示)来改善后续的帧。对于后面描述的均衡器方案(见图17)，在这个处理中对结果进行积分并把其放入采样保持放大器中。
一种重要的其它具体情况是如图3(b)所示平方函数Pi(x)的基。这种基函数也适用于这种直方图均衡器的模拟实现。
标准直方图均衡器技术的一个典型缺点在于其增加了图像的可见噪声(参见William K.Pratt，“Digital Image Processing”，John Wileyand Sons，1978，pp.307-318)并使图像看起来不自然。非线性图像转换导致的噪声(数字化噪声加上CCD本身的噪声)放大是一种众所周知的现象。因为通常图像的累积直方图(从而也就是转换函数)可能具有非常大的导数(即直方图的非均匀性)。
与标准直方图均衡化的转换函数不一样，本发明的设备(多项式直方图均衡器)的转换函数非常平滑，因为其由低阶多项式(如第三阶)组成。这样导致了如下的事实与用标准直方图均衡化过程处理的图像相比，所处理的图像显得噪声少并更自然。
所提出的设备提高图像质量的可能性很大，而恶化图像的可能性非常小。
事实上，诸如能够改善任何种类图像的这种特性对于安装在视频摄像机中的图像增强系统并非是绝对必须的(虽然是期望的)，因为任何效果(尤其是所提出的平滑直方图均衡化算法)具有可调节的强度(或可由使用者关闭)。
软件实现需要注意的是，通过ORMIT的软件实现处理数字视频图像基本上与上述的模拟硬件实现相同，使用功能软件模块代替以上结合附图所述的电路。
彩色图像的处理处理彩色图像可以使用不同的方案。图4(a)显示了最简单的情况。“ORMIT”元件执行图像增强过程。对于任何给定的像素，R(R′)是红色通道的输入(输出)强度，对其它颜色类推。I(I′)是总的输入(输出)强度，或亮度。表示乘法，∑表示加法。W参数是标准加权因素。在第一种情况下，在第一阶段根据下述公式为图像的各个像素生成强度信号II＝WRR+WGG+WBB(也可以是相应的均方根和)，式中，R、G和B是红、绿和蓝的值。
接下来的阶段是强度信号的ORMIT转换，生成改善的强度信号Iout。最终阶段是根据与强度修正相同的比例来修正各个颜色通道R′=IoutTR,]]>G′=IoutIG]]>和B′=IoutIB.]]>这种方案提高了图像的强度分布而不改变色调和饱和度。
图4(b)显示了使用ORMIT的另一种方案。该方案提供了对不同颜色通道的空间均衡化，因此，不仅整个图像具有平衡的颜色，而且图像的任何区域(尺寸大于“窗口”的尺寸lΩ=1Ω,]]>其中，Ω是ORMIT转换中使用的低通滤波器的截止频率)都是颜色平衡的。宽范围的颜色校正过程可以使用ORMIT转换。
ORMIT转换的可逆性由于ORMIT转换是平滑转换，其可用很少的参数(通常，整套参数小于1KB，优选小于100字节)来描述。
在许多情况下，尤其在ORMIT转换的分段方案的情况下，可以在转换参数和ORMIT转换后的图像的基础上来恢复原始图像。
我们考虑ORMIT转换的分段方案Iout=α·Σi=0NLPFΩ[Pi(F(I))]·Qi(F(I))+(1-α)I,]]>其中，图3(b)显示了Pi(..)和Qi(..)。描述ORMIT转换的参数有1.Δ，其定义所选的F(I)，2.Ω，即“非均匀性参数”，对本实施例来说对于所有的i其都被设定为常数，以及3.不同基函数Pi(I(x，y))的光谱成分Ckl(i)的幅值，在低通滤波期间其被计算出来，并是二维余弦变换和后来的Gauss加权函数的结果Ckl(i)=DCT2(Pi(F(I))){k,1}·exp{-(k2X2+l2Y2)Ω2·min(X2,Y2)}]]>(见图13)，其中，X和Y是图像的尺寸，Ω是空间非均匀性参数，其是“窗口”尺寸lΩ(与图像中尺寸大于lΩ的任何区域相关的直方图都将被均衡化)与图像尺寸的最小值之间的关系。非均匀性参数可以是0＜Ω＜10，但在大多数情况下不到3。由于Gauss函数随k或l的最大而迅速减小，仅有少量参数Ckl(i)(0≤k，l＜3÷10)具有非0值并因此被用来定义该转换。
因此，分段ORMIT转换可表示为Iout=α·Σi=0NIDCT2[Ckl(i)]·Qi(F(I))+(1-α)I,]]>或Iout=α·Σi=0NWi(x,y)·Qi(F(I))+(1-α)I,]]>式中，Wi(x,y)=IDCT2[Ckl(i)].]]>ORMIT的分段方案的逆转换可由下述方程定义F(I)=Σi=1NSigmoid(Iout-IiαWi+1-αN),]]>其中，图14显示了Sigmoid(x)函数；I1＝0；Ii由下式定义Ii+1=Σ1iα·Wi+i1-αN;]]>
由于函数F(I)单调递增，考虑到F(I)的定义(0.2)我们能够获得逆表达式I(F)。因此，对于逆向分段ORMIT转换，我们得到I＝exp(F.(log(1+Δ)-log(Δ))+log(Δ))-Δ。
可逆ORMIT转换的多项式实现(以及利用其它基函数的大多数其它可能的实现)没有确切(解析)的表示方法，但也能够生成用于ORMIT转换的多项式方案的逆转换的快速近似实现。
有损压缩算法的增强这部分描述诸如(但不限于)ORMIT转换的动态范围压缩算法和诸如JPEG这样的有损压缩算法的结合。
图像的有损压缩被广泛使用着。这是因为压缩图像的存储尺寸可以比原始图像尺寸小10到100倍，而压缩图像和原始图像事实上难以从外观上区分开来。
但是，经过有损压缩的图像不适于后处理，诸如用于医用图像的分析(X射线，MRI等)及在计算机上进行照片图像的处理。这种后处理放大了压缩图像中的噪声，导致处理后的图像中出现难以接受的不自然。因此，使用无损格式(如TIFF、BMP、PNG、无损JPEG)。但是这些格式具有文件体积大的缺点，这在传输和存储中的成本很高。
这里提出了一种新方法，其结合了动态范围压缩和标准有损图像压缩以生成与标准有损格式的文件尺寸近似相等的图像，但保持了高质量后处理所需的重要信息。
图15(a)和15(b)概要地显示了这些过程S1.捕捉源图像S2.进行动态范围压缩(如ORMIT转换)S3.进行有损压缩(如JPEG压缩)S4.向JPEG图像的头部附加描述步骤(S2)的信息S5.传输图像S6.解压JPEG图像S7.解码头部并反向执行步骤(S2)动态范围扩展(逆ORMIT)S8.输出图像现在描述一个显示出ORMIT转换优点的实例。源图像的尺寸为401KB。源图像的有损压缩导致文件尺寸变为22KB。压缩图像的后处理(在此是亮度放大)在图像中原来的暗区中生成亮区。显然，图像的上部被很好地保留下来了，而下部的质量较低。
接下来，首先对源图像进行ORMIT转换。以JPEG压缩该图像到相同的质量设定，可生成具有28KB文件尺寸的图像，即与仅JPEG压缩文件的尺寸相似。为了传输该图像，我们添加了含有ORMIT转换参数的100字节的头文件。随后使用这些参数进行JPEG解压和逆ORMIT转换，生成了恢复的图像。恢复图像的后处理(在此是在所选原始暗区进行亮度放大)在暗区中提供了更高质量的图像。
比较所得到的图像，我们发现ORMIT预处理后的图像在暗区中包含的有用信息要远远多于简单JPEG图像，而两种图像的文件尺寸相当。
即使利用更高的JPEG质量因子对源图像进行仅JPEG压缩，效果也不是很好。该更高质量因子文件的尺寸为53KB，几乎是ORMIT增强图像的两倍，且即使在这种质量水平上在暗区(在下部的亮度放大中)中所保留的信息也少于ORMIT预处理的图像。
这种结果是因为JPEG(或JPEG2000)使用了一种质量标准，其基于输入图像和压缩图像之间的均方根偏差，并不区分暗区(人眼对对比度最敏感的地方)和亮区(眼睛对对比度最不敏感的地方)。通过保留暗区中的信息，动态范围压缩提高了JPEG或其它有损压缩的效率。
因此，进一步的应用在于使用动态范围压缩来减少JPEG或相似图像的文件尺寸，同时保持相同的视觉外观。
强动态范围压缩的进一步的重要应用如下。标准图像格式使用8比特/颜色，而图像捕捉设备能够记录如16比特/颜色。通过使用动态范围压缩，如ORMIT转换，接下来转换到8比特/颜色，然后在图像重建时反向执行该转换，这样就可以使用8比特的图像格式传输16比特的图像。一个实例是数字照相机Agfa ePhoto1280。这生成了(在CCD和ADC之后)10比特/颜色的图像，后续的JPEG压缩仅从中保持了8比特/颜色。因此，动态范围压缩，尤其是ORMIT转换，允许这种照相机完全利用高精度硬件的所有潜力。
为使上述过程具有高的效率，用于动态范围压缩的算法优选使用少量参数(即，逆转换需要少量参数)来描述。由于ORMIT转换使用正交函数，所以满足了这种标准。
重构图像时的动态范围优化ORMIT转换的进一步的特征在于，假定转换的参数已经被附加到图像上(见图15(c))，则转换强度，然后是动态范围压缩的程度能够根据显示设备的性能而改变。在ORMIT转换的情况下，这可由较少的额外计算(远少于执行最初转换所用的计算)来完成。
一个实例是JPEG编码图像的传输，其使用ORMIT转换进行预处理并且被附加了如图15(a)所示的ORMIT转换参数。这些可根据标准文件规范包含在文件头部中。输出图像时有多种选择，例如CRT屏幕、LCD屏幕、低质量打印机、高质量打进机。每种输出设备具有不同的有效动态范围。可如图15(b)那样使用类似的方案，除了在再生阶段添加了进一步的步骤S7A之外，其中，逆ORMIT转换的参数随输出设备的参数而在输出设备中改变，以根据输出设备的动态范围优化图像的动态范围。图16显示了图像处理不同阶段的动态范围和亮度分布——通过在输出设备上使用可变ORMIT转换可以改变输出设备的动态范围。
另一个实例是图像的传输，其没有任何有损压缩，但也附加了ORMIT参数以允许根据显示/再生设备的特性而优化图像。另一个实例是在数字视频的有损压缩(例如MPEG)之前使用ORMIT转换。如果在例如LCD这样的动态范围比CRT屏幕窄的屏幕上放映电影，这一点就会尤其有用。另一个实例是把电影院放映的电影转换为DVD或视频，在这里ORMIT转换能够用来把电影的(很宽的)动态范围压缩到CRT或LCD屏幕的窄得多的范围。转换强度可在放映时实时控制。
负的转换“强度”具有负转换强度α＜0的ORMIT转换能够用作有效的抑噪算法。例如这种算法可用来实时润饰人脸的图像，例如，使皱纹更加不明显。
应用和优点
ORMIT转换的可能应用包括用于数字静止图像(独立软件、扫描仪软件、打印机软件)的软件和视频的改善、数字静止和视频摄像机、电视机和液晶显示器、打印机。模拟领域的应用包括模拟视频摄像机、超高速视频摄像机、高质量数字视频摄像机、保安摄像机(例如小、便宜且能耗低)、X射线和夜视增强设备。该算法的其它应用包括模糊屏幕的增强、用于巨大动态范围景象的基于多重曝光的图像合成、高级颜色校正过程、电视和显示器的通用图像改善。
ORMIT转换的优点包括1.它是一种把有效的动态范围压缩与转换图像的自然外观结合起来的高质量的图像改善算法(在空间和亮度域内都是平滑的)；2.该算法的数字实现非常快(上面描述了基于双线性插值和离散余弦变换的LPF的快速实现)3.该算法可在纯模拟硬件上实现。
上面描述了ORMIT转换的其他特征(它的可逆性和描述转换的少量参数，负转换强度的情况等)。
ORMIT在局部直方图均衡化(自适应直方图均衡化)上的优点包括1.计算效率。
2.空间域的平滑度(ORMIT转换的多项式方案在亮度域内也是平滑的)，但是在许多情况下，使用各个像素周围的矩形窗口来进行该窗口内的直方图均衡化，因此不能认为这种转换是空间平滑的。转换的非平滑性会增加已转换图像的噪声和人工迹象。
在图像的暗区和亮区中的自适应性方面转换的不对称性。ORMIT转换在暗区的作用要比在亮区的作用高得多，这一点与人眼的行为比较接近，从而使得转换后的图像比局部直方图均衡化(自适应直方图均衡化)过程增强的图像看起来更自然(见图12)。图12显示了不同图像转换的图像比较结果；图12(a)是原始图像，12(b)是局部直方图均衡化后的图像，12(c)是ORMIT转换后的图像。ORMIT是一种对于图像的不同部分自适应地调节其自身映射函数(不是仅仅延伸强度范围，例如象在RetinexTM算法的同态滤波的情况一样)的算法。因此ORMIT转换是一种空间非均匀性转换。这是该算法与由公式I’＝Θ(I)所描述的直方图改善算法系列的不同之处。
ORMIT转换映射函数可用下面的公式描述I’(x，y)＝Θ(I(x，y)，x，y)，式中， 是可以在空间(x，y)和亮度I域内连续(甚至平滑)的函数，即∂Θ∂x|y,l<Cx,∂Θ∂y|x,y<Cy,]]>∂Θ∂I|x,y<Cl,]]>式中Cx、Cy和CI是某些常数。这是ORMIT转换与其它通常在亮度和/或空间域内不平滑的局部直方图均衡化算法的一个差异。这导致在转换图像中出现人工迹象。
另一个差异是ORMIT转换是正交转换，因此其可以实现相对较高的计算效率，而低的计算强度是先前存在的局部直方图均衡化算法的已知缺点。
ORMIT转换的一个特征是转换强度的可调节性，即输出图像是最大均衡化图像和输入图像的混合，从而可由使用者建立转换图像的自然外观与动态压缩之间的折中。ORMIT与局部直方图均衡化算法的另一个差异是ORMIT可以对于图像的不同亮度区域具有不同的空间不均匀性。例如，图像亮区的转换具有比暗区的转换更低的空间不均匀性。这为算法提供了高得多的灵活性并且允许生成很高质量的图像改善算法。
ORMIT的另一个优点是它的可逆性。此外，ORMIT转换可由少量的数据来完全描述(一般少于100字节)。
其它实施例上述实施例应理解为仅是本发明的说明性实例。本发明还可以有其它的实施例。需要明白的是关于一个实施例的所述任何特征也可用于其它的实施例。另外，在不脱离所附权利要求所限定的本发明范围的情况下，也可以采用上面没有描述的等价物和修改。
权利要求
1.一种图像处理方法，包括处理输入信号以生成调节后的输出信号的步骤，其中根据下式调节图像的不同位置(x，y)的强度值I(x，y)以生成调节后的强度值I’(x，y)Iout=Σi=0Nai(I)LPFΩi[Pi(F(I))]·Qi(F(I))+β(I),]]>其中Pi(γ)是定义在0＜γ＜1范围内的γ的函数的正交基；Qi(..)是Pi(..)的不定积分Qi(F(I))=∫0F(I)Pi(η)dη]]>或其近似，LPFΩ[..]是低通空间滤波的运算符；Ωi是低通滤波器的截止频率，F(..)是加权函数。
2.根据权利要求1所述的图像处理方法，其中，β(I)不等于零。
3.根据权利要求1或2所述的图像处理方法，其中，Ωi对不同的i取值不同，使得在不同的亮度域中所述的转换具有不同程度的空间不均匀性。
4.根据权利要求1、2或3所述的图像处理方法，其中Iout=α·Σi=0NLPFΩ[Pi(F(I))]·Qi(F(I))+(1-α)I]]>式中的α是转换的强度，在0＜α＜1内取值。
5.根据权利要求4所述的图像处理方法，其中所述的函数的正交基是多项式函数。
6.根据权利要求5所述的图像处理方法，其中所述的函数的正交基是Legendre多项式函数。
7.根据权利要求4所述的图像处理方法，其中所述的函数的正交基是分段线性映射函数。
8.根据权利要求4、5、6或7所述的图像处理方法，其中，选择所述的加权函数F(I)以为暗区提供比亮区更大的转换强度。
9.根据权利要求8所述的图像处理方法，其中所述的加权函数根据下式变化F(I)=log(I+Δ)-log(Δ)log(1+Δ)-log(Δ),]]>式中Δ＜1。
10.根据以上权利要求中任何一项所述的方法，其中，所述的转换可由形状在空间域中非线性变化的转换函数表示。
11.一种压缩图像信号的方法，包括在图像数据压缩过程中进行可逆动态范围压缩和有损数据压缩以生成压缩图像数据。
12.根据权利要求11所述的方法，包括进行可逆动态范围压缩算法，然后进行有损图像数据压缩算法。
13.根据权利要求11或12所述的方法，包括生成与所述动态范围压缩算法相关的参数，并且将其与压缩图像数据存储在一起。
14.一种对压缩图像数据进行解压的方法，包括组合地进行与有损压缩相对应的解压以及反向动态范围压缩，以提供解压的图像信号。
15.根据权利要求14所述的方法，包括从与所述压缩图像数据一起的数据中读取关于所述动态范围压缩算法的参数，并且在所述反向动态范围压缩算法中使用上述参数。
16.根据权利要求14或15所述的方法，包括使用根据将要采用的图像显示方法而选择的一个或多个参数来进行所述的反向动态范围压缩。
17.根据权利要求11到16中任何一项所述的方法，其中所述动态范围压缩算法包括权利要求1到10中任何一项所述的方法。
18.一种计算机程序，用于实现权利要求11到17中任何一项或多项的方法。
19.一种图像处理方法，包括处理输入信号以生成调节后的输出信号的步骤，其中根据下式调节图像中不同位置的强度值(I)以生成调节后的强度值(I’)I′=Σi=0∞⟨Pi(I)⟩∫0IPi(η)dη,]]>式中Pi(..)定义了正交函数的基，运算符<..>表示图像的算术平均值(或数学期望值)。
20.根据权利要求19所述的视频信号处理方法，其中输入信号由I(t)表示且所述的算术平均值是⟨Pi(I)⟩=1T∫0TPi(I)dt.]]>
21.根据权利要求19或20所述的信号处理方法，其中所述正交函数包括平方函数的基或其近似。
22.根据权利要求19或20所述的信号处理方法，其中所述的正交函数包括Legendre多项式或其近似。
23.一种图像处理设备，其具有处理器，所述处理器执行上述所有权利要求的方法或计算机程序。
全文摘要
一种图像处理方法，其包括处理输入信号以生成调节后的输出信号的步骤，其中，根据下式调节图像中不同位置(x，y)的强度值I(x，y)以生成调节后的强度值I′(x，y)I
文档编号G06T5/00GK1507604SQ02809290
公开日2004年6月23日 申请日期2002年4月10日 优先权日2001年5月2日
发明者瓦切斯拉福·切斯诺科夫, 瓦切斯拉福 切斯诺科夫 申请人:顶级公司