基于小波变换的多模态医学图像融合方法与流程

本发明涉及医疗领域，尤其是采用图像处理技术对多模态医学图像进行融合的方法，具体地说是一种基于小波变换的多模态医学图像融合方法。

背景技术：

目前，随着计算机科学技术和医疗影响工程学的快速发展，世界上出现了许多先进的医疗成像设备，为临床医学诊断提供了多种模态的医学图像，这些图像从不同方面反映了人体结构、脏器和病变组织的不同信息。

比如CT(Computed Tomography)图像具有较强的空间分辨率和几何特性，对骨骼的成像非常清晰，它可对病灶定位提供较好的参照，但对软组织的对比度则相对较低。MR(Magnetic Resonance)图像可以清晰地反映软组织、器官、血管等的解剖结构，有利于确定病灶范围，但是MR图像对钙化点不敏感，且受到磁干扰会发生几何失真。SPEC、PET图像能得到人体任意角度断层面的放射性浓度分布，可以反映组织器官的代谢水平和血流状况，对肿瘤病变呈现“热点”，提供人体的功能信息，但是它们的分辨率差，很难得到精确的解剖结构，也不易分辨组织、器官的边界。由此可见，不同成像技术有着自身的优势也同时拥有一些局限性，这些图像对人体同一解剖结构所得到的形态和功能信息是互为差异、互为补充的。

在临床诊断中，单一模态的图像往往不能提供医生所需要的足够信息，因此，如果能将不同模态的医学图像进行适当的融合，使解剖信息和功能信息有机地结合起来，在一幅图像上同时综合地表达来自多种成像源的信息，以便医生了解病变组织或器官的综合情况，并做出更加准确的诊断或制定出更加科学优化的治疗方案，这必将推动现代医学临床技术的巨大进步。

针对不同模态医学图像的特点，为了能够更好的融合不同图像的重要信息，我们提出了基于自适应小波基的多模态医学图像融合方法。在图像能量特征计算的前提下，自适应选择最优小波系数进行小波变换，从而使得小波变换可以有效的将图像的背景和细节进行区分，在可调节的权重下，两副不同模态图像的高频和低频信息按照不同比例进行叠加，快速、高效的完成了融合过程。

技术实现要素：

本发明的目的是针对图像融合的问题，提出一种基于小波变换的多模态医学图像融合方法。

本发明的技术方案是：

一种基于自适应小波基的多模态医学图像融合方法，它包括以下步骤：

S1、采用自适应小波基滤波器对不同模态的医学图像进行小波变换，将前述图像分别分解为高频、低频以及高低频结合的分量；

S2、对任意两幅不同模态医学图像分解得到的高频、低频和高低频结合的分量进行叠加，得到融合图像的高频、低频和高低频结合的分量；

S3、对融合图像的高频、低频和高低频结合的分量进行离散小波逆变换，得到原始大小的融合图像。

本发明的步骤S1中，根据尺度需求对低频分量进行再次分解。

本发明的步骤S1具体为：

S1.1、构造小波基滤波器库，即以满足正交条件定长小波滤波器为基础，在不同的初值条件下得到多个滤波器系数构建小波基滤波器库，在小波基滤波器库中随机选择一个滤波器系数作为初始化滤波器；

S1.2、采用初始化滤波器对多个模态的医学图像进行小波变换得到第一层分解分量，即通过离散小波变换获得图像在水平和垂直方向上的低频分量LL1、水平方向上的低频和垂直方向上的高频分量LH1、水平方向上的高频和垂直方向上的低频分量HL1以及水平和垂直方向上的高频分量HH1；

S1.3、根据图像的能量分布和纹理波动在小波基滤波器库中再次选择滤波器系数对步骤S1.2获取的第一层分解分量中的低频分量LL1进行第二次小波变换，得到LL2、HH2、HL2、LH2重复步骤S1.3若干次，完成图像分解。

本发明的步骤S1.3中，重复步骤S1.3进行图像分解的次数为3-5次。

本发明的步骤S1.3中，根据图像的能量分布和纹理波动在小波基滤波器库中选择滤波器系数的具体方法为：

S1.3-1、对图像进行器官提取的步骤：

对当前分解分量中的四个分量进行处理，从黑色的背景上将人体器官提取出来，具体采用图像分割方法提取人体器官，或者采用设置边界阈值的方法提取人体器官图像HLo和LHo；

S1.3-2、计算图像纹理特征参数的步骤：

采用下述公式计算横向的图像最小能量Eh、纵向的图像最小能量Ev、横向的图像最小极差Ep、纵向的图像最小极差Eq、横向纹路最大波动值Em和

纵向纹路最大波动值En；

E_h＝min(max(|HLo|)) (1)

E_v＝min(max(|LHo|)) (2)

E_p＝min(max(|HLo|)-min(|HLo|)) (3)

E_q＝min(max(|LHo|)-min(|LHo|)) (4)

其中，HLo表示水平方向上的低频和垂直方向上的高频分量LH1对应提取的人体器官图像、LHo表示水平方向上的高频和垂直方向上的低频分量HL1对应提取的人体器官图像；i、j代表行的序号，i’、j’代表列的序号；S1.3-3、根据前述六个图像纹理特征参数获取小波基滤波器系数。

本发明的步骤S1.3-3中，小波基滤波器系数获取方法为：根据步骤S1.3-2获取的六个图像纹理特征参数，采用最优化算法获取小波基滤波器系数，优选遗传规划算法。

本发明的步骤S1.3-3中，小波基滤波器系数获取方法为：提取一定量的样本图像，建立六个特征指标与小波基滤波器系数的对照表，在实时计算时，根据步骤S1.3-2获取的六个图像纹理特征参数对照查找获取对应的小波基滤波器系数。

本发明的步骤S1.3-1中，采用设置边界阈值的方法提取人体器官具体包括以下步骤：

对当前次分解获取的水平方向上的低频和垂直方向上的高频分量LHn、水平方向上的高频和垂直方向上的低频分量HLn的两个子图像进行下述操作，分别得到器官图像HLo和LHo：

当sum(|Row|)>Threshold1时，保留当前行像素数据，否则，将当前行像素数据作为背景，删除该行数据；

当sum(|Column|)>Threshold2时，保留当前列像素数据，否则，将当前列像素数据作为背景，删除该行数据；

其中，Row为行的像素，Column为列的像素，Threshold1、Threshold2分别是器官模型对应的参数阈值。

本发明的步骤S2中，将两幅不同模态医学图像分解得到高频、低频和高低频结合的分量在一定权重下进行叠加，得到融合图像的高频、低频和高低频结合的分量，具体为：

S2.1、以一定的权重对分解后的任意两个模态医学图像的子图像进行融合，按照高低频对应相加的原则进行，其中一副图像的融合权重W选择0.1～0.9之间的任意小数，另外一副融合权重为1-W；

S2.2、对不同模态图像A和B的分解结果AHHn，ALLn、AHLn、ALHn和BHHn，BLLn、BHLn、BLHn进行叠加运算，n代表第n层分解，获取融合图像F的四个分量FHHn、FLLn、FHLn和FLHn：

FHHn＝wHH*AHHn+(1-wHH)*BHHn；wHH为高频融合权重

FLLn＝wLL*ALLn+(1-wLL)*BLLn；wLL为低频融合权重

FHLn＝wHL*AHLn+(1-wHL)*BHLn；wHL为高低频融合权重

FLHn＝wLH*ALHn+(1-wLH)*BLHn；wLH为低高频融合权重。

本发明的有益效果：

本发明将小波变换技术应用于图像处理领域中，自适应小波基可以有效提升小波系数对低频分量的细节敏感度，使得进一步分解得到的高频、低频分量更加准确，进而使得融合效果得到提升；针对医学图像特点进行的自适应小波基系数分析的过程，区分了器官图象和无效背景，有效提升了小波系数的可靠性，此方法可以和医疗大数据形成有效结合，形成以器官模型为基础的鲁棒性更强的医疗图像分割、分析模型。

附图说明

图1是本发明的结构示意图。

图2是本发明的图像能量特征与小波系数对照示意图。

图3是本发明中使用阈值判断快速区分医学图像的器官和背景的示意图。

图4是本发明中纹理分析得到的图像示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1-4所示，一种基于自适应小波基的多模态医学图像融合方法，它包括以下步骤：

S1、采用自适应小波基滤波器对不同模态的医学图像进行小波变换，将前述图像分别分解为高频、低频以及高低频结合的分量；

S2、对任意两幅不同模态医学图像分解得到的高频、低频和高低频结合的分量进行叠加，得到融合图像的高频、低频和高低频结合的分量；

S3、对融合图像的高频、低频和高低频结合的分量进行离散小波逆变换，得到原始大小的融合图像；

本发明的步骤S1中，根据尺度需求对低频分量进行再次分解。

本发明的步骤S1具体为：

S1.1、构造小波基滤波器库，即以满足正交条件定长小波滤波器为基础，在不同的初值条件下得到多个滤波器系数构建小波基滤波器库，在小波基滤波器库中随机选择一个滤波器系数作为初始化滤波器；

S1.2、采用初始化滤波器对多个模态的医学图像进行小波变换得到第一层分解分量，即通过离散小波变换(Discrete Wavelet Transform，DWT)获得图像在水平和垂直方向上的低频分量LL1、水平方向上的低频和垂直方向上的高频分量LH1、水平方向上的高频和垂直方向上的低频分量HL1以及水平和垂直方向上的高频分量HH1；

S1.3、根据图像的能量分布和纹理波动在小波基滤波器库中再次选择滤波器系数对步骤S1.2获取的第一层分解分量中的低频分量LL1进行第二次小波变换，得到LL2、HH2、HL2、LH2重复步骤S1.3若干次，完成图像分解。

本发明的步骤S1.3中，重复步骤S1.3进行图像分解的次数为3-5次，在融合效果和计算效率上可以达到平衡点，由于每次分解图像尺寸缩小为当前层的1/4，所以一般尺寸很大的图像才会使用5层以上的分解且实时性不高，3层以下的融合效果会相对差一些；对于较大尺寸图像可以选择5层分解，较小尺寸图像选择3层分解，也可以选择4层分解作为一个平衡点。

根据医学图像能量统计：由于医学图像一般是灰度图像，背景为带有噪声的黑色背景，前景为需要进行观察的人体器官，步骤S1.3中，根据图像的能量分布和纹理波动在小波基滤波器库中选择滤波器系数的具体方法为：，

S1.3-1、对图像进行器官提取的步骤：

对当前分解分量中的四个分量进行处理，从黑色的背景上将人体器官提取出来，具体采用图像分割方法提取人体器官，或者采用设置边界阈值的方法提取人体器官图像HLo和LHo；

S1.3-2、计算图像纹理特征参数的步骤：

采用下述公式计算横向的图像最小能量Eh、纵向的图像最小能量Ev、横向的图像最小极差Ep、纵向的图像最小极差Eq、横向纹路最大波动值Em和纵向纹路最大波动值En；(计算图像子能量参数Eh、Ev，以图像的高通子能量最小设为限定条件，能够使得小波基系数将文理特征体现出来，提高对细节信息的敏感性；图像静态分解后得到的小波系数最大值Ep、Eq，用以缩小图像的小波系数分布范围；横、纵向纹路最大波动Em、En即图像行、列灰度值之和的差异，反映小波基与纹理细节的关系)

E_h＝min(max(|HL0|)) (1)

E_v＝min(max(|LH0|)) (2)

E_p＝min(max(|HL0|)-min(|HL0|)) (3)

E_q＝min(max(|LH0|)-min(|LH0|)) (4)

其中，HLo表示水平方向上的低频和垂直方向上的高频分量LH1对应提取的人体器官图像、LHo表示水平方向上的高频和垂直方向上的低频分量HL1对应提取的人体器官图像；i、j代表行的序号，i’、j’代表列的序号；S1.3-3、根据前述六个图像纹理特征参数获取小波基滤波器系数。

图像纹理反映图像中同质现象的视觉特征，图4清楚的显示了纹理区域表达了图像中主要目标的边缘、梯度变化等重要特征；我们以S1.3-2的6个能量和纹理公式作为优选限定条件，从而选定适合目标纹理图像的滤波器。主要优选方法为：根据前述六个图像纹理特征参数，采用遗传规划算法获取小波基滤波器系数。

本发明的步骤S1.3-3中，小波基滤波器系数获取方法为：提取一定量的样本图像，建立6个特征指标与小波基滤波器系数的对照表，在实时计算的时候进行直接对照查找。

如图3所示，横线是对行像素的计算，纵线是对列像素的计算，此方法虽然是粗略的将器官整体图像提取出来，但是在保证计算实时性方面非常有效，步骤S1.3-1中，采用设置边界阈值的方法提取人体器官具体包括以下步骤：

对当前次分解获取的水平方向上的低频和垂直方向上的高频分量LHn、水平方向上的高频和垂直方向上的低频分量HLn的两个子图像进行下述操作，分别得到器官图像HLo和LHo：

当sum(|Row|)>Threshold1时，保留当前行像素数据，否则，将当前行像素数据作为背景，删除该行数据；

当sum(|Column|)>Threshold2时，保留当前列像素数据，否则，将当前列像素数据作为背景，删除该行数据；

其中，Row为行的像素，Column为列的像素，Threshold1、Threshold2分别是器官模型对应的参数阈值。

本发明的步骤S2中，将两幅不同模态医学图像分解得到高频、低频和高低频结合的分量在一定权重下进行叠加，得到融合图像的高频、低频和高低频结合的分量，具体为：

S2.1、以一定的权重对分解后的任意两个模态医学图像的子图像进行融合，按照高低频对应相加的原则进行，以任意两幅不同模态医学图像为例，一副图像的融合权重W可以选择0.1～0.9之间的任意小数，另外一副融合权重为1-W；

S2.2、对不同模态图像A和B的分解结果AHHn，ALLn、AHLn、ALHn和BHHn，BLLn、BHLn、BLHn进行叠加运算，n代表第n层分解，设融合图像为F：

FHHn＝wHH*AHHn+(1-wHH)*BHHn；wHH为高频融合权重

FLLn＝wLL*ALLn+(1-wLL)*BLLn；wLL为低频融合权重

FHLn＝wHL*AHLn+(1-wHL)*BHLn；wHL为高低频融合权重

FLHn＝wLH*ALHn+(1-wLH)*BLHn；wLH为低高频融合权重。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。