专利名称：全局异常信号环境下基于联合显著图的鲁棒图像配准方法
技术领域：
本发明涉及的是一种图像处理技术领域的方法，具体是一种全局异常信号环境下基于联合显著图的鲁棒图像配准方法。
背景技术：
图像配准是计算机视觉、模式识别、图像分析等应用领域的一项基础而重要的工作，它通过优化图像相似性测度目标函数进而搜索图像匹配的最优几何变换参数，使多幅图像能够消除在空间时间上的差异性，集成到统一的坐标框架中，从而便于图像信息之间的互补理解。配准不同模式不同时段采集的图像在医学成像应用、遥感、计算机视觉、国防成像等领域都非常重要。由于不同成像传感器的物理特性差异和不同时间景物的变化，一些在一幅图像中存在的显著特征在另外一幅图像中可能仅是部分存在或者完全没有对应。这些没有一一对应关系的特征就是在图像配准中的全局异常信号。它具体可以表现为外科手术中肿瘤的切除、在术前图像中不可见的手术特征点、植被变化或云层的遮盖等。如果这些异常信号没有被正确处理，将会导致配准误差增大。
就目前的技术水平而言，图像配准的方法大致可分为两类基于体素灰度的方法和基于特征的方法。第一类方法，即基于体素灰度配准方法，有一个重要的假设前提两幅图像的灰度场具有统计(或线性)的关系，而这一假设在有异常信号的情况下将很难成立。异常信号的存在将会严重影响灰度的均一性，导致两幅图像的灰度对应关系变得不确定起来，更为严重的是这种影响往往并不是空间不变的。第二类方法，即基于特征的图像配准方法，尽管在提取特征、寻找特征对应性的环节中具有速度和效率上的优势，但很难同时满足既排斥全局异常信号的影响、又有效重建特征对应关系的双重要求。因此，如何尽量减少过多的预处理，自动、精确、鲁棒地配准具有异常信号的图像，是本领域的一个技术难题。当前解决图像配准中全局异常信号的一般方法是结合前述两类配准方法的优点并融入一些检测异常的手段，以去除或降低配准过程中异常信号的影响。但现存方法很少涉及如何定位待配准两幅图像中的公共显著区域(显著区域就是局部区域图像特征对比度或灰度复杂度较为显著的感兴趣区域)，并利用这些公共显著区域之间对应性对其进行突出重点的配准。
经对现有技术的文献检索发现存在以下专利最接近于本发明，其中国专利公开号为CN1920882，
公开日为2007.02.28，专利名称为基于显著区域特征的医学图像三维多模配准的系统和方法，描述为“在第一图像和第二图像中标识显著特征区域，其中每个区域与空间尺度相关；通过每个区域的中心点来定位特征区域；根据局部灰度将一幅图像的特征点与另一幅图像的特征点进行配准。”其中对于排除溢出值(异常)有特殊处理，但该方法并没有考虑导致图像特征对应性缺失的全局异常信号，因而未针对全局异常信号做出特别优化，在有大量异常的情况下，其配准结果并未可知。
发明内容
本发明的目的在于克服现有技术的不足，提出一种全局异常信号环境下基于联合显著图的鲁棒图像配准方法，使其能在不降低配准精度的情况下，削弱导致图像对应性缺失的全局异常信号的影响，最终实现对图像自适应的精确配准。本发明能够适用于多种模式的、多维的、多时段的图像配准。
本发明是通过以下技术方案实现的，包括步骤如下(1)首先利用传统的配准方法，对待配准图像进行粗配准，使得图像的互相重叠区域足够大；(2)对当前配准参数下的结果图像重叠区域计算联合显著图，联合显著图给出了对异常信号所处位置的建模，能够显示具体到每个重叠体素位置该图像信号的异常程度，即该位置是否都对应了两幅图像的公共显著区域。如果该位置点不对应图像的公共显著区域，就被设定为异常信号，不参与接下来的配准；(3)利用(2)得到的联合显著图，统计加权联合灰度直方图，最优化基于灰度的相似性测度，得到当前联合显著图下的最优几何匹配参数；(4)在步骤(2)、(3)之间循环优化，以前后两次的配准参数的变化作为终止条件结束配准，得到最终配准结果。
本发明作进一步的说明如下
1、联合显著图联合显著图是本发明的关键创新之一，它的提出主要基于一种普遍认可的假设不同模式不同时段下针对同一物体采集的图像具有局部显著区域的互对应性(图像局部区域的显著性程度度量了图像局部区域特征的对比度或者灰度信息的复杂程度)，即由于组织结构的等同，在不同模式不同时段采集的图像总能表现出局部显著性区域的相似性或一一对应性。
1)提取显著测度图本发明首先将两幅图像的显著区域提取出来，并选用一种测度度量显著性程度，得到待配准图像各自的显著测度图。
2)基于联合显著图的建模定位本发明提出利用相似性分析度量显著测度图中公共显著区域的位置和程度，得到待配准图像之间的联合显著图，实现对非公共显著区域即异常信号点的定位。
联合显著图的值域被归一化到
(以下称为归一化联合显著值)，它在配准过程中的应用解释如下如果归一化联合显著值接近于1，表示待配准图像在该点具有相似的显著特征分布，则认定该点是非异常信号点，属于公共显著区域，继续参与进一步的配准；如果归一化联合显著值接近于0，则表示在该点两幅图像没有相对应的显著特征分布，此点是异常信号，不属于公共显著区域，应当被排除参与下一步的配准过程。这样就实现了对全局异常信号的建模定位。
其中需要说明的是，可以选一阈值，将待配准图像各自的显著测度值低于阈值的点在联合显著图中直接赋为0，因为低显著性的点意味着不包含显著性特征，无利于配准的进行。
2、结合联合显著图的基于灰度相似性测度的计算上述1中阐述的联合显著图，必须结合相应的相似性测度才可用于具体配准，本发明着眼于基于灰度相似性测度的改进。
在计算基于灰度相似性测度时，往往需要对待配准图像的概率分布、联合概率分布做出估计从而可以计算熵的值。一种普遍接受的较简易快捷的估计方法是通过统计图像的联合灰度直方图来近似概率分布。本发明将1中得到的联合显著图包含的联合显著信息融合到联合灰度直方图的统计中，可增强公共显著区域在配准中的权重，从而达到自适应的排除全局异常信号的效果。
具体的融合方法如下在统计图像联合灰度直方图的过程中，由于它与配准变换参数相关，需要将其中一幅如浮动图像F变换后与参考图像R进行统计，如果变换后的位置不在参考图像规整坐标网格上，则需要插值计算出该位置处的参考图像灰度。本发明使用归一化联合显著值确定图像上的每对体素对联合灰度直方图的贡献权重，即在得到了浮动图像F与参考图像R的灰度对(f，r)后，用归一化联合显著值计入直方图频数h(f，r)中。如果其权值很小，这些被判为异常信号或显著性很小的点就被自动排除在了配准过程之外。
本发明提出的步骤，要求配准过程在计算联合显著图和优化几何变换参数间循环进行，本质上是将对于异常信号的建模和配准结合起来进行。由既得的配准结果可以估计出较理想的联合显著图，而基于更准确的联合显著图又能够反映出更准确的异常信号所处的位置，双方交替进行将使得配准结果得到逐步的改善。
本发明通过提出一种对异常信号位置建模的方法——联合显著图，定位待配准两幅图像中的公共显著区域，并利用这些公共显著区域之间对应性对其进行突出重点的配准，而那些被认定为导致图像间灰度场关系不确定的异常信号的体素则被排除在配准过程之外。由此本发明实现了全局异常信号环境下多模、多时段图像配准中对于异常信号的特别优化，在有大量全局异常信号的情况下亦能较好的配准。在方法的设计上，吸收了基于特征的(提取显著测度图)和基于灰度体素的(采用基于灰度的相似性测度作为优化目标函数)两类传统方法的优点，使得方法的鲁棒性和效率都能满足实际需求，可应用于医学图像、航拍图像、视频图像等多种场合的配准。经过许多测试表明，本发明大大提高了在全局异常信号下图像配准的成功率，配准的精度能达到亚像素级(即配准偏差＜1像素)。
图1是本发明的流程图。
图2是实例结果图；其中(a)图为MRI-PD与MRI-T1配准实例；(b)图为CT-PET配准实例；(c)图为MRI不同时段配准实例。每幅实例图分布均为左上参考图像R，右上浮动图像F，左下配准结束后最终的联合显著图(颜色越白表示归一化联合显著值越大)，右下为配准结果。
具体实施例方式
下面对本发明的实施例作详细说明本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例配准的对象为实际的二维图像(附图2)，配准的流程图如图1所示在得到了粗配准结果后，由显著性提取算子得到参考图像和浮动图像各自的“显著测度图”，经过相似性分析可得两者的“联合显著图”，结合“联合显著图”和某种插值算法计算“基于灰度的相似性测度”，以其作为目标函数，优化得到最优几何配准参数。若未达“终止条件”，则以该配准参数重新计算“显著测度图”、“联合显著图”，进行新一轮的优化，否则则终止，输出最终结果。下面就某些部分的具体实施作详细说明1、粗配准采用基于传统的归一化互信息的方法，变换模型选取二维刚体变换模型，优化算法为单纯形算法。
2、计算联合显著图(1)提取显著测度图传统的图像处理的算法都将图像中的每一个体素看成是一个独立的随机变量，而这在真实的图像中显然是不满足的，至少每一个体素会影响它的邻域体素。基于多维随机场的局部能量函数的计算模型考虑了这种邻域关系，本实例将该计算模型具体化作为显著性提取算子如下E(v)=Σm,n(I(v)-I(vx-m,vy-n)2---(1)]]>特别说明，v是一个二维向量，代表二维体素(以下称为像素)，I(v)代表v点对应的灰度值，vx，vy是v的二维分量，m，n是某种类型邻域系统确定的邻域范围阈值，常见的3*3邻域时，m，n均为{-1，0，1}，为了得到旋转不变性能量，本发明所施行的是圆周邻域，即以v点为中心某个半径(像素长度)做圆，圆内部的灰度信息作为其邻域信息的方法。E(v)即为v点对应的显著测度值。
(2)计算联合显著图这里选取矩相似性分析作为产生联合显著图的方法。待配准的两幅图像中每一对重叠像素的位置可通过矩分析得到各自的惯性矩阵主轴方向向量。如果该位置属于双方公共显著区域，则此对向量将具有相似性，在数学上表现为向量间的平行度或相关度。
具体实施过程如下对于两幅图像中的每一对重叠像素，以该点为中心计算其邻域像素(采用(1)中的圆域系统)的惯性矩阵及特征值和特征向量，记录最大特征值对应的特征向量。以下式计算得出归一化联合显著值W(v)=|eig(vf)Teig(vr)eig(vf)Teig(vf)eig(vr)Teig(vr)|---(2)]]>eig(vf)和eig(vr)分别代表浮动图像和参考图像对应点邻域的灰度能量场主轴方向向量。其中将在显著图中低于0.005倍能量最高值的点直接赋予W(v)为0。
3、结合联合显著图的归一化互信息测度本实例选取归一化互信息作为配准的相似性测度，它是基于灰度的相似性测度的一种。在统计图像联合灰度直方图的过程中，选取主流简便的双线性内插作为内插方法，即可得到浮动图像与参考图像(f，r)图像灰度对。将2中得到的重叠位置点的归一化联合显著值加入到(f，r)所对应的直方图频数中。其余计算归一化互信息的部分与传统方法类似，在此不做详述。
4、优化方案利用上述3中提到的归一化互信息测度作为配准优化的目标对象，其达到最大值的时候所对应的几何变换参数即为当前联合显著图下的最优配准参数。以此配准参数对浮动图像F进行变换得到F′，可以对F′和参考图像R进行新一轮的联合显著图的计算。在得到了联合显著图后，再进行新一轮的配准优化过程。这样就实现了计算联合显著图和配准优化交替迭代进行。
实施例中采用前后两次所得到的最优配准参数的欧拉距离作为终止条件，选取0.00001。另外设定了一个最大迭代步数200防止程序无法跳出的情况发生。
5、配准结果
(1)多组实例结果说明实例中分别对于MRI-PD和MRI-T1、CT和PET、MRI不同时段的图像实例(图像大小均为256*256)进行了上述配准。均得到了令人满意的结果。附图2中选取了其中几例MRI-PD与MRI-T1(图a)、CT-PET(图b)和MRI不同时段的图像(图c)来显示本发明对于多模多时段图像在有异常信号的情况下所能达到的配准结果。其中MRI-PD-MRI-T1在浮动图像加入了人为的噪声；CT-PET由于模式的不同，两者具有很不相似的特性，含有肿瘤；MRI不同时段的图像则是采集与病人在肿瘤切除前后的图像。附图2每幅图像的排布方式均为左上参考图像R，右上浮动图像F，左下最终迭代得到的联合显著图(以灰度显示)，右下最终配准结果，直线的十字交叉显示了配准的精度。在迭代了数次后均自动收敛退出。从图中看出，所得出的联合显著图均良好的反映了异常信号的位置。
(2)配准精度说明应用实例中的已配准好的一组MRI图像作为标准，对浮动图像F进行位移和旋转的变换，产生30幅不同位移和旋转的待配准图像，分别与参考图像R应用本方法配准，最终得出的配准误差(平均配准误差±标准偏差)为水平位移为0.31±0.59个像素，垂直位移为-0.38±0.43个像素，旋转角度为0.11±0.21度。30幅图像全部配准成功。从结果来看，配准精度已经达到了亚像素级，完全可以应用于实际。
(3)配准曲线比较说明选取了一组来自ITK(Insight ToolKit，www.itk.org)中已经精确配准的实例，作配准曲线的比较。具体实现方式是分别做出变化范围在[-20，20]的x方向、y方向及旋转角度的测度曲线图，比较其异同。
结果显示，在有了初始配准结果后，新的归一化互信息测度比原来的测度的梯度将更大，意味着新测度有更快的收敛速度。其原因是本发明将公共显著区域特征信息融入到了测度的计算中，加快了相似性测度的收敛速度。
权利要求
1.一种全局异常信号环境下基于联合显著图的鲁棒图像配准方法，包括以下步骤(1)首先利用传统的配准方法，对待配准图像进行粗配准；(2)用当前配准的结果分别提取显著测度图，计算联合显著图；(3)利用联合显著图最优化基于灰度的相似性测度，得到当前联合显著图下的最优几何配准参数；(4)在步骤(2)、(3)之间循环优化，以前后两次的配准参数的变化作为终止条件结束配准，得到最终配准结果。
2.根据权利要求1所述的全局异常信号环境下基于联合显著图的鲁棒图像配准方法，其特征是，所述计算联合显著图，具体实现办法如下a)提取待配准图像的显著测度图；b)依据得到的显著测度图，计算出每一对重叠体素点的归一化联合显著值，得到联合显著图。
3.根据权利要求2所述的全局异常信号环境下基于联合显著图的鲁棒图像配准方法，其特征是，所述a)，提取待配准图像的显著测度图，是指利用显著性算子将待配准图像的显著区域提取出来，并选用一种测度度量显著性程度，得到待配准图像各自的显著测度图。
4.根据权利要求2所述的全局异常信号环境下基于联合显著图的鲁棒图像配准方法，其特征是，所述b)，是指基于假设利用相似性分析度量显著测度图中公共显著区域的位置和程度，得到每一对重叠体素点的归一化联合显著值，从而构建待配准图像之间的联合显著图。
5.根据权利要求1或4所述的全局异常信号环境下基于联合显著图的鲁棒图像配准方法，其特征是，所述归一化联合显著值范围为
，在配准过程中，如果归一化联合显著值接近于1，表示待配准图像在该点具有相似的显著特征分布，则认定该点是非异常信号点，属于公共显著区域，继续参与进一步的配准；如果归一化联合显著值接近于0，则表示在该点两幅图像没有相对应的显著特征分布，此点是异常信号，不属于公共显著区域，应当被排除参与下一步的配准过程，这样就实现了对全局异常信号的建模定位。
6.根据权利要求4所述的全局异常信号环境下基于联合显著图的鲁棒图像配准方法，其特征是，通过设定阈值将显著测度值过低的位置点排除在联合显著图的计算之外。
7.根据权利要求1所述的全局异常信号环境下基于联合显著图的鲁棒图像配准方法，其特征是，所述步骤(3)中，基于灰度的相似性测度所用到的联合灰度直方图按照如下方式进行统计用归一化联合显著值确定图像上的每对体素对联合灰度直方图的贡献权重，在插值得到了浮动图像F与参考图像R的灰度对(f，r)后，用归一化联合显著值计入灰度直方图频数h(f，r)中。
8.根据权利要求1所述的全局异常信号环境下基于联合显著图的鲁棒图像配准方法，其特征是，所述步骤(4)，具体如下计算联合显著图和优化匹配参数是交替迭代进行的，每一次得到了联合显著图后，在此基础上对相似性测度进行优化，得出该联合显著图下的最优配准几何参数，这样就完成了一次迭代；上一次迭代所得的配准参数将作为下一次迭代的初始参数，直至满足终止条件时迭代停止。
全文摘要
一种全局异常信号环境下基于联合显著图的鲁棒图像配准方法，步骤为(1)首先利用传统的配准方法进行粗配准；(2)对当前配准结果提取显著测度图，计算对应重叠区域的联合显著图。联合显著图给出了异常信号点所处位置的建模，增强公共显著区域在相似性测度计算中的贡献权重，从而自适应地去除异常信号的影响；(3)利用联合显著图最优化基于灰度的相似性测度，得到当前联合显著图下的最优几何配准参数；(4)循环优化，以前后两次的配准参数的变化作为终止条件结束配准，得到最终配准结果。本发明对异常信号的建模和对图像的配准迭代进行，适用于在全局异常信号下多模多时段图像配准，配准精度符合实际应用的需求。
文档编号G06T7/00GK101038669SQ20071003937
公开日2007年9月19日 申请日期2007年4月12日 优先权日2007年4月12日
发明者顾志俊, 秦斌杰 申请人:上海交通大学