专利名称：生成多尺度对比度增强的图像的方法
技术领域：
本发明涉及用于增强由数字信号表示的图像的图像质量的方法。
背景技术：
通常，由数字信号表示的图像(诸如医学图像)在显示或者硬拷贝记录期间或者 之前须经图像处理。灰度值像素到适合用于再现或者显示的值的转换可以包括多尺度图像处理方法 (也被称为多分辨率图像处理方法)，图像的对比度借助于该方法而被增强。根据这种多尺度图像处理方法，通过应用以下步骤来处理由像素值的阵列表示的 图像。首先，原始图像被分解为多个尺度的细节图像的序列以及偶尔的残留图像。接着，通 过将至少一个转换函数应用于这些像素值来修正所述细节图像的像素值。最后，通过将重 构算法应用于所述残留图像以及所述被修正的细节图像来计算被处理的图像。存在对所述转换函数的性能的限制。如果所述转换函数过度地非线性，则图像中 的灰度值转变可能被扭曲到外观变得不自然的程度。所述扭曲在显著的灰度级转变的附近 更加明显，其可能导致阶跃边缘处的过冲(overshoot)以及面向强阶跃边缘的低变化的区 域中的均勻性的损失。产生假象的风险对于CT图像变得更加显著，因为它们具有更急剧的 灰度级转变，例如在软组织与造影剂的交界处。人们必须小心地在CT图像上使用多尺度技 术。产生对比度增强的图像同时保持边缘转变的形状的多尺度对比度增强算法已经 在2006年12月11日提交的共同待定的欧洲专利申请06125766. 3中被描述。在该方法的一个实施例中，以一个或者多个尺度创建所述图像的至少一个近似图 像的转换差图像。，非线性地修正转换差图像。随后，特定尺度的至少一个增强的中心差图 像通过合并该尺度的或者更小尺度的被修正的转换差图像来计算。从所述图像获得的空间 局部化现象可以被用于创建增强的中心差图像。最后，通过将重构算法应用于所述增强的 中心差图像来计算增强的图像。一般而言，各向同性的滤波器被用在分解和重构过程中并且全方向的增强被应用 于细节图像中的系数。各向同性的设计概念在其中图像统计是平稳的(stationary)那些 情况下是合理的，意思是图像中的每个小块(patch)都通过与图像的每个其他小块相同的 随机过程而被生成。然而，如果观看图像的如下区域即其中边缘或者线或者均勻区域可能 是明显的，则如下是清楚的基本过程不是平稳的并且从小块到小块变化。本发明的目的是克服现有技术的限制。这种限制是没有能力促进对图像特征选择性的检测和增强，例如染色体图像，其 中对于指定的DNA分析人们想要以特定尺度并且在某一方向和位置上增强染色体带。
发明内容
通过具有权利要求1所提出的特定的特征的方法来实现上述方面。用于本发明的优选实施例的特定的特征在从属权利要求中被提出。在本发明的上下文中，特定的术语定义如下多尺度分解机制图像的多尺度(或者多分辨率)分解是以多个尺度计算所述图像的细节图像的过 程。多尺度分解机制一般涉及用于计算所述细节图像的滤波器组。众所周知的技术举例 来说有拉普拉斯金字塔(Iaplacianpyramid)、伯特金字塔(Burt Pyramid)、拉普拉斯堆 (Laplacian stack)、小波分解、QMF 滤波器组...。近似图像近似图像是以相同或者更大的尺度，或者以相同或者更低的分辨率表示原始灰 度值图像的灰度值图像。特定尺度的近似图像与其中该尺度的所有细节已被省略的原始 灰度值图像等同(Mallat S. G.，“多分辨率信号分解理论小波表示〃，IEEE模式识别 及机器智能学报，1989 年 7 月，卷 11，编号 7(" A Theory for Multisolution Signal Decomposition :The Wavelet Representation " , IEEE Trans. On Pattern Analysis andMachine Intelligence, Vol. 11, no. 7, July 1989))。细节图像细节图像被定义为表示某一尺度的近似图像与更小尺度的近似图像之间的差的 像素图。转换算子转换算子是生成所述细节像素值的按像素的修正的算子，作为创建所述灰度值图 像的对比度增强的形式的中间步骤。举例来说，这样的算子已经在欧洲专利EP 527 525中 被描述。由转换函数定义所述修正并且可以例如将所述修正实现为查找表或者实现为乘法 放大。转换差图像尺度s的转换差图像是尺度s的近似图像的每个像素中的基本对比度 (elementary contrast)的测量。可以通过求该尺度s的近似图像与经转换的形式之间的 差来计算它们。对基本对比度的其他计算是可能的，例如像素与相邻像素的比可以被用于 在处理步骤之前是指数变换并且在所述处理步骤之后是对数变换的情况中。中心差图像通过将合并算子(例如求和)应用于所述转换差图像来计算中心差图像。所述合 并算子可以是所述转换差图像中对应的像素值的线性或者非线性函数。方向图特定尺度的方向图是对典型地与显著的图像结构相关联的突出的或者局部主导 的方位的图像内的每个像素的表示。方向图的可能的表示是向量图、极坐标表示(每个像素中的优选方位的角度和幅 度)、笛卡尔坐标表示(每个像素中的优选方位的水平和垂直分量)。(在更简单的表示中， 只有角度被定义并且方位向量的幅度被除去)。计算方向图的许多实现已经被描述，从诸如第η阶计量坐标(then-th order gauge coordinate)、等照度线(在图像中连接相等强度的点的线)的方位的复杂机制到诸 如水平和垂直梯度图像的合并的更直接的实现变化。
所述方向图也可以从细节图像而被计算出。例子是通过边缘小波生成的细节信 息，其中所述细节信息以不同尺度表示边缘的局部化。基于被增强并且被合并到中心差中的转换差图像的多尺度图像处理产生如下的 可能性调节对存在于所述数字图像中的方位的增强。各向异性的多尺度图像处理基于如上定义的方向图，其在特定尺度上为每个像素 定义所关心的优选的局部方位。可以从所述近似图像以及从所述细节图像来计算出所述方向。进一步，实现所述各向异性的多尺度图像增强的两个方法被描述转换差图像的 可控制的增强以及增强的转换差图像的各向异性的加权。两种实现可以独立于彼此而被应 用或者一起被应用以从所述转换差图像来产生增强的中心差。本发明一般地被实现为计算机程序产品，当其在计算机上被运行时，所述计算机 程序产品适用于执行权利要求中的任意一项权利要求所述的方法并且被存储在计算机可 读介质上。本发明的方法可以被应用于增强医学图像(诸如乳房摄像图像、通过计算层析成 像得到的图像等)的图像质量。本发明的另外的优点和实施例从以下的描述及附图将变得显而易见。
图1示出多分辨率图像处理方案，其中从相同尺度的近似图像来计算出中心差图 像，图2是图1的高阶(advanced)增强功能块的细节图，图3和5示出根据本发明的多分辨率图像处理方法的不同实现，图4示出图3所示的多分辨率图像处理方法的图像增强步骤，图6示出图5所示的多分辨率图像处理方法的图像增强步骤，图7是关于用在上述图像中的符号的图列，图8示出通过使转换差的增强依赖于它们的方向的对增强的中心差的计算，图9示出通过使其权重方向非独立的对增强的中心差的计算。
具体实施例方式本发明的对比度增强算法适用于所有多尺度细节表示方法，通过应用逆变换可以 根据其来计算原始图像。其对于可以被计算为转换差图像的加权和的可反转多尺度细节表示是适用的。所述转换差图像的加权因子和转换偏置可以以如下方式从所述多尺度分解中被 减除使所述转换差图像的最终的加权和与所述细节像素值一致。对于这些多尺度细节表示，可以通过在所述加权和被计算之前将转换算子应用于 所述转换差来增强对比度。为计算转换差图像的加权和，相同尺度(或者分辨率水平)的近似图像或者更小 尺度(或者更精细的分辨率水平)的近似图像可以被使用。现有技术状况的多尺度对比度增强算法将图像分解为多尺度表示，所述多尺度表
6示包括以多个尺度表示细节的细节图像以及残留图像。一些重要的多尺度分解是小波分解、拉普拉斯_高斯(或者LoG分解)、高斯差分 (或者DoG)分解以及伯特金字塔。通过应用随后是子采样步骤的高通及低通滤波器级联来计算所述小波分解。高通滤波器从特定尺度的近似图像中提取细节信息。在所述伯特金字塔分解中，通过减去尺度k+Ι的近似图像的过采样(upsampled) 形式从尺度k的近似图像提取出细节信息。在如EP 527 525中所公开的一个现有技术状况的方法中，通过随后是多尺度重 构的细节图像中的像素值的转换来创建图像的对比度增强的形式。多尺度分解的所有上述实现具有共同的特性。通过合并滑动邻域中的像素值可以 从近似图像计算出细节图像中的每个像素值。在上述情况中，合并函数是加权求和。对于小波分解，尺度k的细节图像中的像素值被计算为dk+1 =丨(hd*gk)gk+1 = I (ld*gk)其中hd是高通滤波器，、是低通滤波器，*是卷积算子并且丨是亚采样 (subsampling)算子(艮口省去每第二行禾口列(every second row andcolumn))。对于小波重构，尺度k的增强的近似图像被计算为hk=lr*( hk+1)+hr*( f(dk+1))其中、是高通滤波器，Ir是低通滤波器并且丨是过采样算子(即在任两行和列 (any two rows and columns)之间插入具有0值的像素)。对于伯特分解，尺度k的细节图像中的像素值被计算为dk = gk-4g* ( gk+1)或者dk = gk-4g* ( ( I (g*gk)))或者dk = (l_4g*( ( I g))) *gk其中g是高斯低通滤波器并且1是恒等算子。对于伯特重构，尺度k的增强的近似图像被计算为hk = 4g*( hk+1)+f(dk)其中f (χ)是转换算子。作为加权和的多尺度细节像素值假如在伯特多尺度分解中具有系数Wu的5X5高斯滤波器被使用，其中k =-2，. . . 2并且1 = -2，. . . 2，所述亚采样算子去除每第二行和列并且所述过采样算子在 任两行和列之间插入具有值0的像素。在近似图像gk+1中处于位置i，j的像素被计算为 在过采样的图像Uk中处于位置i，j的像素被计算为
在过采样的、经平滑的图像guk中处于位置i，j的像素被计算为 最后，在细节图像dk中处于位置i，j的像素被计算为 一般而言，在细节图像d、中处于位置i，j的像素可以被计算为相同或者更小尺度k，k—l，k一2，…的近似图像中的像素的加权和
其中l E{0，．．．，k}并且r一亚采样因子”一k’
因为
所以在细节图像d、中处于位置i，j的像素可以被计算为
其表示了近似图像中的中心像素和相邻像素之间的像素值的差。它是局部对比度的测量。
所述转换差的加权和被称为中心差C、(i，j)。
同样地，对于小波分解，细节图像中的像素值可以被计算为近似图像中的像素的 加权和。通过将具有滤波器系数hm,n的高通滤波器h应用于近似图像&来计算细节图像 dk+1中的像素值。该滤波操作之后是去除每第二行和列的亚采样算子。 在细节图像dk+1中处于位置i，j的像素被计算为 所以在细节图像dk+1中处于位置i，j的像素可以被计算为 dk+l (i, j) = Kn (st (2O) — gk O· + + n))JSgk(2i,2j)-gk(2i+m,2j+n)表示转换差。以相似的方式，可以被证明的是其他多尺度分解方法中的细节图像也可以被表 示为转换差图像的合并。转换操作在像EP 527 525中所公开的一个现有技术状况的方法中，通过将转换算子f (χ) 应用于细节图像dk来获得对比度增强，或者，等同地为 这样的转换算子的例子是S形函数(sigmoid function)。这样的转换算子的另一 个例子是像在EP 525 527中所公开的一个对比度增强函数。所述转换算子的形状取决于 对增强的特定需求，其意图是与高值细节像素相比更多地放大低值细节像素。转换步骤可能在被重构的、对比度增强的图像中引起边缘转变的形状的变形 (deformation)。原因是所述转换函数的非线性。—般而言，下列各项适用于非线性函数f(x+y) ^ f(x)+f(y)现有技术状况的算法首先将细节图像dk中的像素值计算为加权和并且此后应用 所述转换步骤。通过将细节图像dk中的像素值重写为转换差的加权和，有可能在求和之前而不是 之后应用所述转换步骤。因为对于高通滤波器，滤波器系数的和等于O=°或者=
9
现在通过将所述转换步骤应用于所述转换差来得到对比度增强/fe (“ 力)=Σ Σrj) - Si (ri + m, rj + η))
m η以此方式，所述边缘转变的形状在对比度被增强的、重构的图像中更好地被保持。如果对于每个尺度k，从满分辨率图像g(l计算出该尺度的细节图像，并且增强被应 用于所述中心差，则所述边缘转变的形状在重构之后最佳地被保持。本发明的不同实现在图1、3和5中被示出，其中对应的增强步骤在图2、4和6中 被示出。图1示出多尺度图像处理方案，其中从相同尺度的近似图像计算出所述中心差图 像。该图示出配备有控制路径的用于多分辨率图像处理的扩展方案。从不同尺度的近似图 像，所述中心差图像被计算出并且在受控的增强块E中被增强。块E的输出经受重构过程。图2示出利用从近似图像获得的方向图的受控的增强块E。功能块Ak这些滤波块可以被用于增强近似图像或者从所述近似图像计算出某些特性，典型 地为水平和垂直梯度图像。这些特性可以被用于计算所述方向图。在特定的实施例中，所述近似图像在方向图从其被计算出之前被增强。举例来说， 这可以通过对所述近似图像进行额外的平滑以减少噪声及不相关的小的图像结构对方向 图计算的影响来执行。同样地，其他特性可以从所述近似图像计算出，例如水平和垂直梯度图像。在下一 个步骤中，即在方向图生成器中(将在下文中被描述)，两个图像可以被合并以计算所述方 向图。方向图生成器(g M特定尺度的方向图对于图像内的每个像素是显著的图像结构的突出的或者局部 主导的方位的表示。方向图的可能表示已经在上文中被描述。各向异性增强各向异性增强通过(1)所述转换差图像的受控的增强，由此所述控制取决于所述 方向图的内容，或者(2)通过增强的转换差图像的各向异性的加权(系数Wj)来执行。两 种实现可以独立于彼此被应用或者可以一起被应用于从所述转换差图像来创建出增强的 中心差。转换差图像的可控制的增强每个增强的中心差被计算为增强的转换差图像的合并。转换差是近似图像中中心像素与在其局部邻域中的像素的像素值的差。通过使用这两个像素相对于彼此的空间方向，可以将所述增强用于根据所关心的 预先定义的方向更多或者更少地修正转换差。例子(参见图8-3D图像中的不同的层表示不同的值)假定噪声边缘存在于所述图像内的所关心的区域中。为了合并边缘的增强而同时减小噪声的影响，可以增强具有与边缘方向垂直的方 向的转换差并且衰减平行于所述边缘的转换差。
后一种差图像表示不想要的噪声图像结构，而第一种表示在所述边缘上的局部对 比度。具有在这两者之间的方向的转换差图像将经历中间的增强。从近似图像gk_m开始，通过合并图像gk_m的水平和垂直梯度来计算方向图Μ。为了 减小噪声对梯度计算的影响，使用例如中值滤波器对所述近似图像gk_m进行滤波，产生被滤 波的图像Ak(gk_m)。使用水平和垂直方位上的核(kernel) {1,-1}来计算所述图像内的垂直 和(en)水平一阶梯度。如果所述方向图M表示例如显著的图像结构的局部方位(或者垂直于其)，所述图 被计算为垂直和水平梯度的比的反正切函数 该方向图M被用作所述LUT算子的控制输入。LUT算子具有两个输入，转换差以及方向图，并且生成增强的转换差作为输出。这 种可控制的LUT算子LUT(dk，M(i，j))的例子是转换算子f(dk)与附加的依赖于方向的放 大函数Απιρ(θ)的合并，其中θ是方向图M(i，j)的函数。所述转换算子f(dk)的例子是S形函数以及像在EP 525 527中所公开的一个对 比度增强函数。所述转换算子的形状取决于所述增强的特定的要求，其意图是与高值转换 差相比更多地放大低值转换差。取决于方向的放大函数典型地返回沿优选方位的最大放大因子、用于垂直于优选 方位的最小放大因子以及用于中间的方向的逐渐变化的放大因子。这种依赖于方向的放大函数的例子是与常数放大因子b相乘的余弦函数。作为该 函数的输入，可以求由所述方向图M(i，j)规定的所关心的局部方位和处于位置(m，n)的转 换差相对于所关心的中心像素的方向之间的差Amp ( θ ) = bcos ( θ )其中θ = M (i，j)-angle (dk(i+m，j+n)并且 angle (dk(i+m，j+n) = tan-1 (n/m)可控制的LUT算子的更高阶的实现是多维度的查找表。所述LUT算子的结果是增强的转换差以及所述转换差沿由M(i，j)所规定的方位 的附加的增强(在图8中由增强的转换差em,n的灰色背景的暗度来指示)。接着使用各向同性的权重wm,n合并增强的转换差来计算处于位置i，j的增强的中心差。权重wm,n被计算使得未增强的转换差的加权和刚好匹配将通过伯特分解的直接应 用所生成的细节像素值。增强的转换差图像的各向异性加权为从处于每个位置(X，y)的转换差图像计算出中心差，求所述转换差的加权和。 在2006年12月11日提交的欧洲专利申请06 125 766. 3中，权重是各向同性的并且没有 定义优先的方位。通过根据它们相对于中心权重的空间方向来改变权重，可以在总的和中改变沿预 先定义的方向的转换差的重要性。例子(参见图9-3D图像中的不同的层表示不同的值)
假定噪声边缘存在于所述图像内的所关心的区域中。如果在减小噪声的同时希望得到该边缘的增强，则可以将相对较高的权重应用于 具有与所述边缘方向垂直的方向的增强的转换差并且将相对较低的权重应用于平行于所 述边缘的增强的转换差。后一种转换差表示不想要的噪声图像结构，而第一种表示在所述 边缘上的局部对比度。具有在这两者之间的方向的增强的转换差将以中间的权重被考虑在 内。根据近似图像點’对方向图M的计算在第一实施例中详细地被解释。代替将所述方向图M用作所述LUT算子的控制输入，所述方向图M也可以被用作 控制参数来产生各向异性的权重n。在该实施例中，LUT算子仅取决于未增强的转换差，例如像上文所规定的转换算子 f(dk)。对于图像内的每个位置i，j各向同性的权重wm,n相对于它们到如所述方向图M(i， j)规定的所关心的局部方位的方向而被修正。作为修正算子，放大函数的机制如在第一实施例中所解释的那样被使用。所述各向同性的权重wm, n被乘以依赖于方向的放大函数，其典型地返回沿优选方 位的最大乘法因子、用于垂直于所述优选方位的方向的最小乘法因子以及用于所述中间的 方向的逐渐变化的乘法因子(在图9中用权重wm,n的灰色背景的暗度来指示)。这种依赖于方向的放大函数的例子是余弦函数。作为该函数的输入，可以求由所 述方向图M(i，j)规定的所关心的局部方位和处于位置(m，n)的权重相对于所述中心位置 (0,0)的方向之间的差Amp ( θ ) = cos( θ )其中θ = M (i, j) -angle (wk (m, η)并且 angle (wk (m, η) = tarT1 (n/m)此外，所述各向异性的权重被归一化使得所述权重的和等于1。在最后一个步骤中，通过使用所述各向异性的权重合并增强的转换差来计算中心 差。这为沿由所述方向图M(i，j)规定的所关心的局部方位被定向的增强的转换差产生相 对较高的权重。图8和9所示的增强方法的合并也是可能的。
权利要求
一种增强由数字信号表示的图像的对比度的方法，其中-通过将多尺度分解算法应用于所述图像来创建一个或者多个尺度的至少一个近似图像，在表示所述图像的灰度值的尺度的近似图像中该尺度的所有细节已被省略并且由对应的细节图像表示，-通过按像素将尺度s的近似图像的值与所述近似图像的经转换的形式的值相减来创建转换差图像，-非线性修正被应用于所述(一个或者多个)转换差图像的值，-特定尺度的至少一个增强的中心差图像通过合并该尺度的或者具有权重wi，j的更小尺度的所述被修正的转换差图像而被计算，其中根据所述分解算法来选择所述权重wi，j以便如果通过非线性修正的所述增强没有被执行，则所述图像的多尺度分解的等同物将被获得以便所述至少一个中心差图像等于所述特定尺度的细节图像，-通过将反转所述图像分解算法的图像重构算法应用于所述图像分解来计算增强的图像，所述图像分解在所述特定尺度的所述细节图像已被所述至少一个增强的中心差图像替代之后产生，其特征在于所述转换差图像的值的所述非线性修正由方向图的值控制，所述方向图在特定尺度上为每个像素包括所关心的局部方位。
2.一种增强由数字信号表示的图像的对比度的方法，其中_创建一个或者多个尺度的至少一个近似图像，在表示所述图像的灰度值的尺度的近 似图像中该尺度的所有细节已被省略，-通过按像素将尺度s的近似图像的值与所述近似图像的经转换的形式的值相减来创 建转换差图像，-非线性修正被应用于所述(一个或者多个)转换差图像的值， -特定尺度的至少一个增强的中心差图像通过合并该尺度的或者具有权重Wy的更小 尺度的所述被修正的转换差图像而被计算，-通过将重构算法应用于所述增强的中心差图像来计算增强的图像， 其特征在于，通过用由所述方向图控制的权重对被修正的转换差图像的值进行各向异 性的加权来计算所述增强的中心差图像中的至少一个。
3.根据权利要求1或者2所述的方法，其特征在于，其中所述转换差图像的值的所述非 线性修正由方向图的值控制，所述方向图在特定尺度上为每个像素包括所关心的局部方位 并且所述被修正的转换差图像中的至少一个经受由所述方向图控制的各向异性加权。
4.根据权利要求1或者2所述的方法，其特征在于，其中特定尺度的转换差图像从相同 尺度的近似图像被计算出。
5.根据权利要求1或者2所述的方法，其特征在于，其中所有所述转换差图像从所述原 始图像被计算出。
6.根据权利要求1或者2所述的方法，其特征在于，其中尺度k的转换差图像从尺度m 的近似图像被计算出，其中m表示尺度1和尺度k-Ι之间的尺度。
7.根据权利要求1或者2所述的方法，其特征在于，其中所述中心差图像与所述多尺度细节图像一致。
8.根据前述权利要求中任意一项权利要求所述的方法，其特征在于，其中所述图像是 乳房摄像图像。
9.根据前述权利要求中任意一项权利要求所述的方法，其特征在于，其中所述图像是 CT图像。
10.一种计算机程序产品，当其在计算机上被运行时，所述计算机程序产品执行前述权 利要求中任意一项权利要求所述的方法。
11.一种计算机可读介质，所述计算机可读介质包括计算机可执行的程序代码，所述计 算机可执行的程序代码适用于执行前述权利要求中任意一项权利要求所述的步骤。
全文摘要
一个或者多个尺度的图像的至少一个近似图像被创建。通过按像素将尺度s的近似图像的值与所述近似图像的经转换的形式的值相减来创建转换差图像。非线性修正被应用于所述(一个或者多个)转换差图像的值并且特定尺度的至少一个增强的中心差图像通过合并该尺度的或者具有权重Wi，j的更小尺度的被修正的转换差图像而被计算。通过将重构算法应用于所述增强的中心差图像来计算增强的图像。所述转换差图像的值的非线性修正由方向图的值来控制，所述方向图为每个像素包括所关心的局部方位。另外地或者可替代地，通过用由所述方向图控制的权重对所述增强的转换差进行各向异性的加权来计算至少一个增强的中心差图像。
文档编号G06T5/00GK101889295SQ200880120038
公开日2010年11月17日 申请日期2008年10月2日 优先权日2007年10月8日
发明者P·武伊尔斯特克, T·伯滕斯 申请人:爱克发医疗保健公司