一种基于低秩分解和稀疏表示的多模态医学图像融合方法与流程

本发明涉及一种基于低秩分解和稀疏表示的多模态医学图像融合方法，属于图像处理领域。

背景技术：

在图像处理领域，图像融合是一项很有发展前景的研究。图像融合技术通过综合同一场景的多传感器图像或者不同场景的同一传感器图像的有用信息来合成一幅融合图像。而合成的融合图像具有前者所有的特征信息，更适合用于后期的处理和研究。一个高效的融合方法可以根据实际需求处理多通道信息。这些优势使得图像融合在很多领域里都特别受欢迎。尤其，在医学影像学为临床提供了超声图像、x射线、电子计算机体层扫描(ct)、磁共振成像(mri)、数字减影成像(dsa)、正电子发射体层扫描(pet)、单光子发射断层成像(spect)等多种模态影像信息。不同的医学影像可以提供人体相关脏器和组织的不同信息，如ct和mri提供解剖结构信息，而pet和spect提供功能信息在实际临床应用中，单一模态图像往往不能提供医生所需要的足够信息，通常需要将不同模态图像融合在一起，得到更丰富的信息以便了解病变组织或器官的综合信息，从而做出准确的诊断或制订出合适的治疗方案。例如，ct利用各种组织器官对x射线吸收系数的不同和计算机断层技术对人体进行成像，它对于骨、软组织和血管的组合成像效果很好，而对软组织则近乎无能为力。mri利用水质子信息成像，对软组织和血管的显像灵敏度比ct高得多，但对骨组织则几乎不显像。由此可见不同成像技术对人体同一解剖结构所得到的形态和功能信息是互为差异、互为补充的。因此对不同影像信息进行适当的集成便成为临床医生诊断和治疗疾病的尤其重要。

随着图像融合研究的不断深入，很多的研究者提出了很多的图像融合方法。传统的图像融合方法有：线性加权法，它是一种最简单的图像融合方法，它直接对多幅原图像的对应像素点进行加权叠加。iipf法（高通滤波法），它用高通滤波器算子提取出高分辨率图像的细节信息，然后采用像数相加的方法，将提取出的细节信息叠加到低分辨率图像上，实现低分辨率图像和高分辨率图像之间的数据融合。pca（主成分分析）法，首先对图像进行主分量变换，由相关矩阵求特征值和特征向量求得各主分量，通过这种融合，可以尽可能地保留全色图像的细节信息，然后对融合后的图像进行反变换，得到包含丰富细节信息的融合图像。iiis变换法，它是遥感图像融合中比较常用到的一种方法，它将多光谱的tm图像数据变换到iiis空间，得到3个独立的分量。它首先将spot图像数据经过适当的伸缩，以保证它的均值和方差变换到和i分量一致，然后用伸缩后的数据替换i分量，得到ii分量，再分别对ii和s进行反差扩展，得到iii和si，最后将ii，iii和si变换回rgb空间，得到融合图像。和以上四类算法相比，其余四种融合方法功能比较单一。

技术实现要素：

本发明提供了一种基于低秩分解和稀疏表示的多模态医学图像融合方法，以用于对医学图像进行融合，以获得更好融合质量图像。

本发明的技术方案是：一种基于低秩分解和稀疏表示的多模态医学图像融合方法，所述方法的具体步骤如下：

step1、将待融合的两幅不同多模态医学图像a、b，使用矩阵低秩分解理论进行低秩分解分别得到低秩部分图像a1、b1和稀疏部分图像a2、b2；

step2、利用k-均值的奇异值分解算法对选用的非医学图像集训练低秩字典，利用k-均值的奇异值分解算法对选用的非医学图像集进行低秩分解后得到的稀疏部分图像集训练稀疏字典；

step3、利用稀疏表示方法对低秩部分图像a1、b1和稀疏部分图像a2、b2进行稀疏重构，分别得到低秩重构图像a1b1和稀疏重构图像a2b2；

step4、利用稀疏表示方法对低秩重构图像a1b1和稀疏重构图像a2b2进行稀疏融合，得到融合图像ab；

step5、根据公式a＋b－a1b1－a2b2计算两幅不同多模态医学图像与稀疏重构图像、低秩重构图像之间的差值；

step6、将步骤step5得到的差值加入到步骤step4得到的融合图像中，得到最终稀疏融合图像。

所述稀疏表示方法中的稀疏系数矩阵采用正交匹配追踪算法进行求解。

本发明的有益效果是：利用矩阵低秩分解分解源图像成两部分图像：低秩和稀疏部分图像，利用稀疏表示理论提升图像融合质量的目的。考虑到一般图像的内部结构信息包含一定的噪音信息，那么我们就将源图像分解成两个矩阵相加，一个是低秩的（它内部有一定的结构信息，造成各行或列间是线性相关的），另外一个是稀疏的（含有噪音），将图像内部包含不同信息进行有效的分离开。图像稀疏表示理论的目的就是在给定的超完备字典中用尽可能少的原子来表示信号，可以获得信号更为简洁的表示方式，从而使我们更容易地获取信号中所蕴含的信息，更方便进一步对图像进行进一步加工处理。应用本发明可以有效地综合多模态源图像的丰富细节信息，对噪声具有很好的健壮性并且本发明在主观和客观评价指标上都优于传统的融合方法。

附图说明

图1是本发明方法流程图；

图2是本发明实施例1多模态医学ct图像；

图3是本发明实施例1多模态医学mri图像；

图4是本发明实施例低秩字典的训练样本集；

图5是本发明实施例稀疏字典的训练样本集；

图6是本发明实施例1融合图像；

图7是本发明实施例2多模态医学mri图像；

图8是本发明实施例2多模态医学pet图像；

图9是本发明实施例2融合图像；

图10为asr方法的融合图像；

图11为kim方法的融合图像；

图12为sr方法的融合图像。

具体实施方式

实施例1：一种基于低秩分解和稀疏表示的多模态医学图像融合方法，所述方法的具体步骤如下：

step1、将待融合的两幅像素大小为256×256的ct和mri图像（如图2、3所示），使用矩阵低秩分解理论进行低秩分解分别得到低秩部分图像和稀疏部分图像（即ct图像分解后得到一幅低秩部分图像a1和一幅稀疏部分图像a2，mri图像分解后得到一幅低秩部分图像b1和一幅稀疏部分图像b2）；

step2、利用k-均值的奇异值分解算法对选用的非医学图像集（如图4所示）训练低秩字典，利用k-均值的奇异值分解算法对选用的非医学图像集进行低秩分解后得到的稀疏部分图像集（如图5所示）训练稀疏字典；

step3、利用稀疏表示方法对低秩部分图像a1、b1和稀疏部分图像a2、b2进行稀疏重构，分别得到低秩重构图像a1b1和稀疏重构图像a2b2（利用稀疏表示方法对低秩部分图像a1、b1进行稀疏重构，得到低秩重构图像a1b1；利用稀疏表示方法对稀疏部分图像a2、b2进行稀疏重构，得到稀疏重构图像a2b2；即两幅低秩部分图像进行重构得到一幅低秩重构图像，两幅稀疏部分图像进行重构得到一幅稀疏重构图像）；

step4、利用稀疏表示方法对低秩重构图像a1b1和稀疏重构图像a2b2进行稀疏融合，得到融合图像ab；

step5、根据公式a＋b－a1b1－a2b2计算两幅不同多模态医学图像与稀疏重构图像、低秩重构图像之间的差值；

step6、将步骤step5得到的差值加入到步骤step4得到的融合图像中，得到最终稀疏融合图像（如图6所示）。

实施例2：一种基于低秩分解和稀疏表示的多模态医学图像融合方法，所述方法的具体步骤如下：

step1、将待融合的两幅像素大小为256×256的mri和pet图像（如图7、8所示），使用矩阵低秩分解理论进行低秩分解分别得到低秩部分图像和稀疏部分图像；

step2、利用k-均值的奇异值分解算法对选用的非医学图像集（如图4所示）训练低秩字典，利用k-均值的奇异值分解算法对选用的非医学图像集进行低秩分解后得到的稀疏部分图像集（如图5所示）训练稀疏字典；

step3、利用稀疏表示方法对低秩部分图像a1、b1和稀疏部分图像a2、b2进行稀疏重构，分别得到低秩重构图像a1b1和稀疏重构图像a2b2；

step4、利用稀疏表示方法对低秩重构图像a1b1和稀疏重构图像a2b2进行稀疏融合，得到融合图像ab；

step5、根据公式a＋b－a1b1－a2b2计算两幅不同多模态医学图像与稀疏重构图像、低秩重构图像之间的差值；

step6、将步骤step5得到的差值加入到步骤step4得到的融合图像中，得到最终稀疏融合图像（如图9所示）。

图10—图12分别为在最近比较新颖的asr、kim和sr方法下的融合结果（图10左为asr方法下针对实施例1中待融合图像融合后的结果，图10右为asr方法下针对实施例2中待融合图像融合后的结果，kim和sr方法结果同图10解释），图6为本发明提出方法下的融合结果。在做融合图像实验时，低秩分解不同的平衡参数值得到的融合结果不一样，以上图像结果都是选择平衡参数值为0.089条件下得到的最终融合结果，同时在最后做误差补偿时我们在做实验时分别考虑过三种误差融合规则：最大值、绝对值、直接融合。我们最终从实验结果中选择最大值融合规则作为最终融合效果。

为更好评价不同方法下的融合效果，本发明分别从主观和客观角度上来评价融合效果。从人眼视觉上可以看出，kim、asr、sr和本发明提出方法相比，kim、asr和sr方法的融合图像对比度上较低；除了本发明提出方法的融合图像完整保留细节特征之外，其他方法下的融合效果都或多或少丢失了本该特有的细节特征。

主观视觉评价主要是依靠人的视觉系统与对其融合目的的感知直接对融合图像进行评价。而客观指标评价是一种根据图像像素值来对图像质量进行定量分析的评价，它在一定程度上可弥补了主观因素的干扰。这里我们采用互信息mi、边缘信息度量算子q^ab/f和视觉信息保真度vif三个客观评价指标对不同方法下的融合效果进行评价。其中mi可评价源图像有多少信息量保留到了融合图像，边缘信息度量算子q^ab/f衡量融合图像中包含了多少源图像的边缘信息，vif则可通过计算源图像和融合图像之间的共享信息评价融合性能。不同融合方法的客观评价数据如表1所示，三个评价指标的数值越大说明融合效果越好并在表中用粗体标注。表1数据表明本发明方法在客观评价上具有较高的指标值，这从客观上也证明了本发明方法是有效的。

表1：不同融合方法的客观评价数据

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。