一种双通道多模态图像融合方法及融合成像终端机

本发明涉及医学成像，尤其涉及一种双通道多模态图像融合方法及融合成像终端机。

背景技术：

1、随着传感器技术和计算机技术的应用与发展,医学成像技术在现代医学诊断和治疗中发挥着越来越重要的作用。由于成像机理和技术限制,单一传感器获取的不同图像只能反映病变部位的局部特征,因此想要在一幅图像中观察到该部位的全部特征,就要对目标模态医学图像的有用信息进行提取,并将多幅原始医学图像互补信息进行融合,使融合图像可以提供更全面、更可靠的病变描述,有助于医生对病变部位做出更准确而全面的诊断。

2、现有技术中，图像融合技术在医学领域得到广泛研究,许多学者提出大量的图像融合算法,这些方法大致分为空间域技术和频率域技术。空间域技术是指对源图像像素级或颜色空间直接进行融合操作,目前常见的包括图像像素最大值法、图像像素加权平均法、主成分分析法(principal component analysis,pca)和布罗维变换等。空间域技术能够有效保留医学图像的空间信息,但也常会在融合时出现图像细节丢失,对比度降低,部分光谱信息丢失和光谱退化等现象。

3、频域技术的引入明显改善了上述问题,目前常见的频域技术包括金字塔变换、小波变换、多尺度变换(muti-scale transform,mst)等。其中,mst相关工作近年来取得了突破性进展,包括3个步骤:多尺度分解(muti-scale decomposition,msd)、特定方法下的高低频频率系数选择和逆msd重构。作为多尺度几何分析中的代表,非下采样轮廓波变换(non-subsampled contourlet transform,nsct)是在传统轮廓波变换(contourlettransform,ct)的基础上引入非下采样的思想,克服传统轮廓波变换中的方向混叠和伪吉布斯现象。然而,nsct作为一项频域技术,缺乏对像素之间相似程度、深度距离等空间邻域信息的表达,从而限制了其在保持边缘、降噪平滑方面的能力。

4、同时,随着双边滤波理论的发展,联合双边滤波器(joint bilateral filter,jbf)正作为一种新型的信号处理手段广泛应用于医学图像融合领域。与传统线性滤波器的融合规则不同,jbf作为非线性滤波器,引入像素间的欧氏距离作为加权,根据空间权重与相似权重的综合特征进行计算,有效提取像素间的结构特征,解决了使用传统平均滤波和低通滤波进行基本细节分离时出现全局模糊、边缘结构特征不理想的情况。然而,其有限的分解层数与方向使融合图像在结构信息和细节的分解程度方面仍有不足,制约了其进一步的应用。此项工作在提高各模态图像多特征表现和纹理质量等方面仍然面临着巨大的挑战。

技术实现思路

1、本发明提供的双通道多模态图像融合方法不仅可以解决全局模糊、边缘结构特征不理想的情况，还可以保障融合图像在结构信息和细节的分解程度的要求，提高各模态图像多特征表现和纹理质量，满足使用要求。

2、方法包括：步骤1、通过jbf变换将源图像分解为结构通道和能量通道；

3、步骤2、采用局部梯度能量算子将结构通道与组织纤维等小边缘小尺度的细节信息进行融合，采用局部熵细节增强算子、pcnn和相位一致性的nsct将能量通道与器官边缘强度、纹理特征以及灰度变化情况进行融合；

4、步骤3、通过逆jbf变换得到融合图像。

5、进一步需要说明的是，步骤1还包括：对输入图像i进行全局模糊处理,即

6、rm＝gm*i               (11)

7、其中,rm表示在标准差为σ下的平滑结果；gm表示方差为σ2的高斯滤波器,在(x,y)处的高斯滤波器gm定义为：

8、

9、使用加权平均高斯滤波器生成全局模糊图像g,即

10、

11、其中,i表示输入图像；n(j)表示像素点i的相邻像素集；表示像素值的方差；zj表示归一化操作,即

12、

13、采用jbf来恢复能量通道的大尺度结构,即

14、

15、其中,gs表示基于像素之间强度差异的强度范围函数；gd表示基于像素距离的空间距离函数；zj表示归一化操作,即

16、

17、

18、

19、σs,σr分别表示控制双边滤波器的空间权重和范围权重；

20、得到源图像a,b的能量通道ei(x,y),并通过式(19)获得结构通道si(x,y)；

21、si(x,y)＝i(x,y)-ei(x,y)       (19)。

22、进一步需要说明的是，步骤1还包括：构造局部梯度能量算子,即

23、lge(x,y)＝ne1(x,y)·st(x,y)     (20)

24、其中,st(x,y)表示由sts产生的结构张量显著图像；

25、ne1(x,y)表示在(x,y)处的图像的局部能量,即

26、

27、(x,y)处邻域尺寸大小为(2n+1)×(2n+1),n取值为4；

28、通过比较源图像之间局部梯度能量的大小,得到决策矩阵smap(x,y)定义为

29、

30、将结构通道融合的决策矩阵更新为smapi(x,y),即

31、

32、其中,ω1表示以(x,y)为中心,大小为t×t的局部区域,t取值为21；

33、根据以下规则得到融合后的结构通道sf(x,y),即

34、

35、其中,sa(x,y),sb(x,y)分别为源图像a,b的结构通道。

36、进一步需要说明的是，步骤1还包括：配置能量通道高频子带融合规则；

37、步骤包括：刻画能量通道高频子带的细节信息，以(x,y)为中心的图像局部熵定义为：

38、

39、其中,s表示以(x,y)为中心,大小为(2n+1)×(2n+1)的窗口；

40、基于空间频率计算(x,y)处的灰度变化率，反映其细节特征,即

41、

42、其中,h,w分别表示源图像的长和宽；cf,rf分别表示位于(i,j)处x与y方向的一阶差分,公式为

43、cf(x,y)＝f(x,y)-f(x-1,y)      (27)

44、rf(x,y)＝f(x,y)-f(x,y-1)      (28)

45、基于边缘密度计算(x,y)处的边缘像素点梯度的幅值，具体定义为：

46、

47、其中,sx,sy分别表示x,y方向上的sobel算子卷积后的结果，即

48、sx＝t*hx     (30)

49、sy＝t*hy      (31)

50、t表示各像素点(x,y)；hx，hy分别表示x，y方向上的sobel算子，即

51、

52、

53、通过高频综合测量算子hm对能量通道高频子带进行融合；

54、

55、其中,参数α1,β1,γ1分别用于调整在hm中图像局部熵、空间频率和边缘密度的权重；

56、通过比较能量通道高频子带hm之间大小，得到能量通道高频子带融合的决策矩阵ehmap(x,y),定义为

57、

58、同时根据以下规则得到融合后的第1～4层高频子带的融合图像

59、

60、其中,分别表示源图像a,b第1～4层能量通道高频子带。

61、进一步需要说明的是，方法中对第5层高频子带采用pcnn进行融合,通过计算pcnn激励次数,得到融合后的能量通道高频子带

62、

63、其中,分别表示源图像a,b第5层能量通道高频子带；分别表示源图像表示第5层能量通道高频子带pcnn激励次数,tij(n)公式为

64、tij(n)＝tij(n-1)+pij(n)          (38)

65、pij(n)表示pcnn的输出模型。

66、进一步需要说明的是，方法中，为得到pcnn的输出模型,将(x,y)处的神经元的馈电输入和链接输入,定义为

67、dij(n)＝iij             (39)

68、

69、其中,参数vl表示链接输入的振幅；

70、wijop表示八邻域神经元先前的兴奋状态,即

71、

72、其次,利用指数衰减系数ηf计算内部活动项uij(n)先前值的衰减大小,并通过链接强度β对dij(n)和cij(n)进行非线性调制,得到当前内部活动项,定义为

73、

74、同时,迭代更新当前动态阈值,即

75、

76、其中,ηe和ve分别表示指数衰减系数和eij(n)的振幅；

77、利用当前内部活动项dij(n)与第n-1次迭代时的动态阈值eij(n-1)进行大小比较,判断pcnn输出模型pij(n)的状态,定义为

78、

79、根据式(37)和(44)得到第5层高频子带的融合结果；

80、根据以下规则得到融合后的能量通道高频子带即

81、

82、进一步需要说明的是，方法还包括配置能量通道低频子带融合规则；

83、具体步骤包括：在(x,y)处的pc值定义为

84、

85、其中,θk表示位于k处的方向角；表示第n个傅里叶分量与角度θk的振幅大小的值；ω表示用于去除图像信号中的相位成分的参数；

86、公式为

87、

88、

89、

90、表示位于(x,y)处图像像素的卷积结果,即

91、

92、

93、

94、il(x,y)表示位于(x,y)处能量通道低频子带的像素值；和表示尺度大小为n的二维log-gabor的奇偶对称滤波器组。

95、进一步需要说明的是，方法通过计算(x,y)邻域锐度变化量反映图像局部对比度变化情况,具体定义为：

96、

97、其中,m,n取值为3；scm公式为

98、

99、ω2表示大小为3×3局部区域；

100、配置局部能量ne2；

101、

102、其中,m,n取值为3；

103、通过低频综合测量算子lm对能量通道低频子带进行融合：

104、

105、其中,参数α2,β2,γ2分别用来调整lm中相位一致值、局部锐度变化量和局部能量大小的权重；

106、根据以下规则得到融合后的能量通道低频子带即

107、

108、其中,分别表示源图像能量通道低频子带；elmap(x,y)表示能量通道低频子带融合的决策矩阵,定义为

109、

110、ri(x,y)定义为

111、

112、n表示源图像的数量；ω3表示以(x,y)为中心,大小为的滑动窗口,取值为7；

113、使用双坐标系算子对高频子带和低频子带进行线性重建，实现nsct逆变换，得到能量通道融合图像ef。

114、进一步需要说明的是，方法还包括：生成结构通道融合图像sf((x,y)和能量通道融合图像ef(x,y),通过叠加得到最后的融合图像：

115、f(x,y)＝sf(x,y)+ef(x,y)        (60)

116、设置输入为源图像a,b；

117、设置输出为融合图像f；

118、具体步骤包括：

119、step1、读入源图像a,b,采用jbf分解产生结构通道{sa,sb}和能量通道{ea,eb}；

120、step2、对结构通道{sa,sb}采用式(20)的局部梯度能量算子融合生成结构通道融合图像sf；

121、step3、对能量通道{ea,eb}融合生成能量通道融合图像ef；

122、step3.1、对能量通道{ea,eb}采用nsct分解产生能量通道高频子带和能量通道低频子带

123、step3.2、对第1～4层高频子带采用式(34)基于le,sf,ed的高频综合测量算子hm规则对其进行融合；

124、step3.3、对第5层高频子带采用式(37)的pcnn规则对其进行融合；

125、step3.4、对低频子带采用式(56)基于pc、lscm、ne2的低频综合测量算子lm规则对其进行融合；

126、step3.5、对融合后的高低频子带采用nsct逆变换生成能量通道ef；

127、step4、对融合后的结构通道sf和能量通道ef,采用式(60)的jbf逆变换生成最终的融合图像f。

128、本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行所述程序时实现双通道多模态图像融合方法的步骤。

129、从以上技术方案可以看出，本发明具有以下优点：

130、本发明的双通道多模态图像融合方法能够使融合图像在保持边缘、降噪平滑的基础上,增强细节信息,提高与多模态医学图像相似程度。本发明还对结构通道采用改进式的局部梯度能量算子,并对能量通道低频子带采用由相位、局部锐度变化量和局部能量组成的低频综合测量算子进行计算,进一步提高了对融合图像细节信息的表达。。对jbf变换产生的能量通道通过nsct再次分解并进行融合处理,提高了框架分解的多方向和多尺度特性；提出一种基于局部熵的增强细节算子,通过计算图像局部熵、空间频率和边缘密度,对能量通道nsct分解的第1～4层高频子带进行处理,并对第5层高频子带采用脉冲耦合神经网络(pulse coupled neural network,pcnn)进行处理,通过这种深度学习与传统方法相结合的方式提升对能量通道中边缘轮廓结构和纹理特征的提取与利用。