一种基于NSST域混合滤波与ED-PCNN的医学图像融合方法

一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法
技术领域
1.本发明涉及图像融合处理领域，具体为一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法。


背景技术：

2.医学图像融合对提高解剖图像的分辨率及为医生后续诊断提供更清晰、准确的病灶信息起着关键作用，由于成像设备的成像机理不同，不同设备获取到人体的组织和结构信息是不同的，核磁共振成像(mri)对于软组织信息显示较好，但对于骨性组织则不能体现，单光子发射计算机断层成像(spect)对于组织器官有较好的显示，但在呈现软硬组织却有障碍；正电子发射计算机断层扫描(pet)可以显示出人体的代谢情况，但图像分辨率不高，仅依赖单幅医学图像获得的信息具有一定的局限性，不利于病灶诊断，但不同单模态医学图像之间的信息可以互补，因此，在实际应用中，通常采用图像融合技术将单模态医学图像融合成一幅细节信息更全、清晰度更高的多模态图像，以适应人眼观察和机器自动分析，医学图像融合的目的是发挥不同成像原理信息的优势，弥补某一种成像原理信息的不足，提高所得信息的准确性、全面性、可用性；
3.传统医学图像融合过程中容易引入伪吉斯现象，在图像边缘细节处容易产生“伪影”，导致融合后图像能量缺失、细节模糊。
4.医学图像融合技术升级的核心在于优化算法，提升算力和融合质量。目前常用的医学图像融合算法大致分为三类：基于空域的图像融合算法、基于多尺度变换域的融合算法、基于学习的图像融合算法。基于空域的图像融合算法是将图像看成由无数多像素点组成的，直接操作图像的像素值。基于多尺度变换域的融合算法是通过数学变换方法将图像转换为频域表示方式得到相应的频域系数，随后采用合适的融合规则对系数进行融合，最后用相应逆变换得到融合图像。基于学习的图像融合算法，其中具有代表性的有卷积神经网络算法和循环神经网络算法等。医学图像融合的最终目的是通过一定的分解工具进行特征提取，后期利用中心像素与领域内像素的关系，进行特征优化，选择合适的融合策略将两幅或者多幅图像信息完整的、清晰的、全面的整合在一幅图像中。


技术实现要素：

5.本发明的目的在于提供一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法，能够在降低算法计算复杂度的同时，显著提升融合后图像细节信息和轮廓信息，提高医学图像诊断速度，从而改进临床决策准确性。
6.为实现上述目的，本发明提供如下技术方案：一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法，该方法步骤如下：
7.1)将已经配准好的彩色医学图像利用yuv空间转换分离出亮度通道y、色度通道u、浓度通道v，对分离出的亮度通道的灰度图像和已经配准好的mri图像分别采用混合滤波进行增强，混合滤波则是基于直方图均衡化的基础上通过将输入的图像划分成网格，对网格
中的每一个单元进行均衡化处理，通过对每个单元计算出的局部直方图重新分布图像的亮度提出自适应直方图均衡化算法并结合高频强调滤波形成混合滤波器；
8.2)对已增强的y通道灰度图像和mri图像分别采用nsst分解工具，得到高频子带和低频子带la、lb，其中设定nsst分解层数为4层；
[0009][0010][0011]
3)计算低频子带la、lb的局部区域能量加权和，其局部区域能量加权和的计算公式如下：
[0012][0013]
在公式(3)中，s∈{la,lb}，w是一个半径为r的(2r+1)(2r+1)权重矩阵，r的取值为1，将矩阵元素设置为2
2r-d
，d为其到矩阵中心四领域的距离，
[0014]
4)计算低频子带la、lb的修正拉普拉斯能量和wsemls(i,j)，其修正拉普拉斯能量和的计算公式如下：
[0015][0016]
其中，s∈{la,lb}，eml如公式(3)所示：
[0017][0018]
5)根据计算的局部区域能量和与修正的拉普拉斯能量和算法得到低频融合算法方法对应的公式如下：
[0019][0020]
6)设定ed-pcnn模型的相关参数。首先，设定预定义迭代次数的值n＝5，链接强度β＝3，链接输入振幅增益v
l
＝1，动态阈值振幅增益v
θ
＝20；其次，设定1个权重矩阵和简化ed-pcnn参数使其成为自适应参数。表达式如下：
[0021]
α
l
＝α
θ
＝e-i
ꢀꢀ
(7)
[0022][0023]
在公式(7)-(8)中时间衰减常数α
l
决定了链接输入通道的自衰减速度，此值越大衰减速度越快，α
θ
调节着pcnn模型每次迭代后阈值的衰减量，控制着输出的分辨率，此值越
大，阈值衰减速度越快，模型运行的次数越少；w
ijab
表示神经元的突触权重矩阵，该矩阵数值越大，说明周围神经元与中心神经元的相互作用力越大；
[0024]
7)设定ed-pcnn模型的馈送输入，利用kirsch边缘算子进行边缘检测计算出边缘响应幅度最大值再乘以改进的空间频率作为pcnn的馈送输入f
ij
(n)。
[0025]
d(x,y)＝max{|5r
k-3uk|；k＝0,1...,7}
ꢀꢀ
(9)
[0026]rk
＝ak+a
k+1
+a
k+2
ꢀꢀ
(10)
[0027]
uk＝a
k+3
+a
k+4
+a
k+7 (11)
[0028][0029][0030][0031][0032][0033][0034]
式中d(x,y)是最大的边缘梯度幅值。(9)式中角标取值范围不大于8，若角标取值大于8，用8整除取余。rf(i,j)、cf(i,j)、mdf(i,j)和sdf(i,j)分别是高频子带的4个方向上的第一梯度，距离权值wb的取值一般为
[0035]
8)设定ed-pcnn模型的链接输入，将反向捕捉icpcnn和正向捕捉pcnn神经元捕捉领域的全部链接输入作为ed-pcnn的链接输入。
[0036][0037][0038]
lm(n)＝l
pcnnij
(n)+l
icpcnnij
(n)
ꢀꢀ
(20)
[0039]
l
ij
(n)＝exp(α
l
)l
ij
(n-1)+v
l
lm(n)
ꢀꢀ
(21)
[0040]
l
ij
(n)是神经元的链接输入，它反映了中心神经元与周围神经元的相互影响。
[0041]
9)设定ed-pcnn模型的内部活动项、脉冲输出幅度，点火条件；
[0042]uij
(n)＝f
ij
(n)(1+βl
ij
(n))
ꢀꢀ
(22)
[0043][0044][0045]
采用tanh函数对各个系数迭代过程中的点火输出幅度进行计算，将输出幅度和作为系数选择的判决依据，u
ij
(n)是神经元的内部活动项，其值由馈送输入和链接输入决定；yij
(n)为神经元的点火条件，当输出幅度大于0时，对应神经元点火，否则，对应神经元不点火。
[0046]
10)当迭代次数达到最大值时迭代停止，且每次累积计算脉冲点火输出幅度，计算增强后输入图像的各个高频系数的点火输出幅度总和确定融合后各带通方向的融合系数
[0047]
t
ij
＝t
ij
(n-1)+y
ij
(n)
ꢀꢀ
(25)
[0048][0049]
11)通过nsst逆变换计算最终的融合图像结果图，算法如下所示：
[0050][0051]
与现有技术相比，本发明的有益效果是：
[0052]
ed-pcnn算法合并了多种图像融合相关算法，实现了彩色图像和灰度图像的融合，其中图像融合共计十一个步骤和四个算法；
[0053]
ed-pcnn算法仅需四个参数，且其中包含了自适应参数，算法简明度提高；
[0054]
ed-pcnn算法迭代次数仅由预定义迭代次数t决定，迭代过程收敛，图像融合效率提高。
[0055]
ed-pcnn算法进一步发挥出pcnn模型较传统模型精确度高、复杂性低的优点，该模型能精确控制神经元的点火次数与点火频率，提高了模型对像素空间的描述能力，本发明提出局部能量和与改进的拉普拉斯能量和对低频子带进行融合，有效提高了图像提取细节信息、轮廓边缘的能力。
附图说明
[0056]
图1为本发明的方法流程图。
[0057]
图2为本发明实施例转移性支气管癌mri与spect融合图像。
[0058]
图3为本发明实施例脑弓形虫病mri与spect融合图像。
[0059]
图4为本发明实施例阿尔茨海默症mri与pet融合图像。
[0060]
图5为本发明实施例神经胶质瘤mri与pet融合图像。
[0061]
图6为本发明实施例脑肿瘤疾病mri和pet融合图像。
具体实施方式
[0062]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0063]
请参阅图1所示，本发明提供一种技术方案：一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法，该方法步骤如下：
[0064]
1)将已经配准好的彩色医学图像利用yuv空间转换分离出亮度通道y、色度通道u、浓度通道v，对分离出的亮度通道的灰度图像和已经配准好的mri图像分别采用混合滤波进
行增强。混合滤波则是基于直方图均衡化的基础上通过将输入的图像划分成网格，对网格中的每一个单元进行均衡化处理，通过对每个单元计算出的局部直方图重新分布图像的亮度提出自适应直方图均衡化算法并结合高频强调滤波形成混合滤波器；
[0065]
2)对已增强的y通道灰度图像和mri图像分别采用nsst分解工具，得到高频子带和低频子带la、lb，其中设定nsst分解层数为4层(该值通常是根据算法选择最佳的分解层数)。
[0066][0067][0068]
3)计算低频子带la、lb的局部区域能量加权和，其局部区域能量加权和的计算公式如下：
[0069][0070]
在公式(3)中，s∈{l
a,
lb}，w是一个半径为r的(2r+1)(2r+1)权重矩阵，r的取值为1，将矩阵元素设置为2
2r-d
，d为其到矩阵中心四领域的距离，
[0071]
4)计算低频子带la、lb的修正拉普拉斯能量和wsemls(i,j)，其修正拉普拉斯能量和的计算公式如下：
[0072][0073]
其中，s∈{la,lb}，eml公式(3)所示：
[0074][0075]
5)根据计算的局部区域能量和与修正的拉普拉斯能量和算法得到低频融合算法方法对应的公式如下：
[0076][0077]
6)设定ed-pcnn模型的相关参数。首先，设定预定义迭代次数的值n＝5，链接强度β＝3，链接输入振幅增益v
l
＝1，动态阈值振幅增益v
θ
＝20(这四个参数的设定为算法想要的参数取值，本算法根据实际需要将其设定为n＝5，β＝3，v
l
＝1，v
θ
＝20)；其次，设定1个权重矩阵和简化ed-pcnn参数使其成为自适应参数。表达式如下：
[0078]
α
l
＝α
θ
＝e-i
ꢀꢀ
(7)
[0079][0080]
在公式(7)-(8)中时间衰减常数α
l
决定了链接输入通道的自衰减速度，此值越大衰减速度越快，α
θ
调节着pcnn模型每次迭代后阈值的衰减量，控制着输出的分辨率，此值越大，阈值衰减速度越快，模型运行的次数越少；w
ijab
表示神经元的突触权重矩阵，该矩阵数值越大，说明周围神经元与中心神经元的相互作用力越大。
[0081]
7)设定ed-pcnn模型的馈送输入，利用kirsch边缘算子进行边缘检测计算出边缘响应幅度最大值再乘以改进的空间频率作为pcnn的馈送输入f
ij
(n)。
[0082]
d(x,y)＝max{|5r
k-3uk|；k＝0,1...,7}
ꢀꢀ
(9)
[0083]rk
＝ak+a
k+1
+a
k+2
ꢀꢀ
(10)
[0084]
uk＝a
k+3
+a
k+4
+a
k+7
ꢀꢀ
(11)
[0085][0086][0087][0088][0089][0090][0091]
式中d(x,y)是最大的边缘梯度幅值。(9)式中角标取值范围不大于8，若角标取值大于8，用8整除取余。rf(i,j)、cf(i,j)、mdf(i,j)和sdf(i,j)分别是高频子带的4个方向上的第一梯度，距离权值wb的取值一般为
[0092]
8)设定ed-pcnn模型的链接输入，将反向捕捉icpcnn和正向捕捉pcnn神经元捕捉领域的全部链接输入作为ed-pcnn的链接输入。
[0093][0094][0095]
lm(n)＝l
pcnnij
(n)+l
icpcnnij
(n)
ꢀꢀ
(20)
[0096]
l
ij
(n)＝exp(α
l
)l
ij
(n-1)+v
l
lm(n)
ꢀꢀ
(21)
[0097]
l
ij
(n)是神经元的链接输入，它反映了中心神经元与周围神经元的相互影响。
[0098]
9)设定ed-pcnn模型的内部活动项、脉冲输出幅度，点火条件。
[0099]uij
(n)＝f
ij
(n)(1+βl
ij
(n))
ꢀꢀ
(22)
[0100]
[0101][0102]
采用tanh函数对各个系数迭代过程中的点火输出幅度进行计算，将输出幅度和作为系数选择的判决依据，u
ij
(n)是神经元的内部活动项，其值由馈送输入和链接输入决定；y
ij
(n)为神经元的点火条件，当输出幅度大于0时，对应神经元点火，否则，对应神经元不点火。
[0103]
10)当迭代次数达到最大值时迭代停止，且每次累积计算脉冲点火输出幅度。计算增强后输入图像的各个高频系数的点火输出幅度总和确定融合后各带通方向的融合系数
[0104]
t
ij
＝t
ij
(n-1)+y
ij
(n)
ꢀꢀ
(25)
[0105][0106]
11)通过nsst逆变换计算最终的融合图像结果图，算法如下所示：
[0107][0108]
本实施例选择的mri图像、spect图像、pet图像都来自哈佛医学库中的数据集，并挑选了五种不同疾病的图像作为本实验的源图像，为增强本文算法的可比性和有效性，本实验涉及到的对比算法有本发明的算法以及nsst结合自适应pcnn的医学图像融合算法、拉普拉斯重分解医学图像融合算法、基于加权参数自适应双通道pcnn的nsst医学图像融合算法、基于卷积神经网络的医学图像融合算法、基于边界测量脉冲耦合神经网络和区域能量和的医学图像融合算法、基于多级边缘保持滤波分解的多模态医学图像融合算法，本实验的评价指标采用信息熵(en)、改进空间频率(sf)、平均梯度(ag)、标准差(std)、融合质量(qabf)、方差(var)、互信息(mi)、基于视觉信息保真度(viff)，qabf和mi用来评价融合后图像包含多少原始图像信息，en、sf、ag、std数值越大，则代表图像融合效果越好，viff是利用信息论的知识衡量图像质量的指标，数值越大，表示与人眼主观特性一致，图像融合效果高，五组不同源图像疾病特征的实验数据如表1所示。
[0109]
表1五组不同疾病不同方法融合结果对比图
[0110]
[0111][0112]
从表1的五组不同疾病融合结果对比可以看出，本发明的基于nsst域混合滤波与ed-pcnn图像融合算法en值高，说明融合后图像包含信息量丰富；sf值高，说明融合后图像清晰度高；ag值高，说明融合后图像的细节表征和纹理特征明显；std值高，说明图像灰度值离散度高，图像携带的细节信息越丰富；qabf值越高，说明图像融合质量好；mi值高，说明融合后图像获取了大量源图像信息；viff值高，说明图像与人眼视觉特性一致。通过观察表1中的八种指标值，本算法除了在qabf、mi、viff指标上针对不同疾病略低于某类对比方法，其余五种评价指标都高于对比方法，这表明本发明方法图像融合后的图像效果好。
[0113]
为了凸显本发明算法的运行复杂度低，运行效率高，测量了各个融合算法的时间复杂度(单位为秒)，t值越小，时间复杂度越低，反之亦然。实验数据结果如表2所示。
[0114]
表2不同融合算法的运行时间
[0115][0116]
从表2中可以看出本文针对不同疾病进行图像融合的时间复杂度低，证明本发明方法图像融合算法复杂度低、运行效率高。
[0117]
图2至图6为不同疾病不同方法融合对比图，其中子图(a)和(b)为原始mri、pet、或者spect图像；子图(c)为nsst结合自适应pcnn的医学图像融合算法处理后的图片；(d)为拉普拉斯重分解医学图像融合算法处理后的图片；(e)为基于加权参数自适应双通道pcnn的nsst医学图像融合算法处理后的图片；(f)为基于卷积神经网络的医学图像融合算法处理后的代表图片；(g)为基于边界测量脉冲耦合神经网络和区域能量和的医学图像融合算法处理后的图片；(h)为基于多级边缘保持滤波分解的多模态医学图像融合算法处理后的图片；(i)为本发明医学图像融合算法的结果图；综上所述，本发明方法得到的融合图像从主观感受和客观评价方面均明显好于其他融合算法，这表明本发明方法的实验效果更好，本实验mri、spect、pet图像全部来自于哈佛医学库数据集，并挑选了五种不同疾病的图像作为本实验的源图像，图像中每个像素对应红、绿、蓝三个通道的像素灰度值，并且每一个像素都有256个灰度级。
[0118]
本发明在ed-pcnn算法中，提出了ed-pcnn模型及参数设定、在局部区域能量加权和中的权重矩阵w的设定，合并灰度图像与彩色图像融合技术的多个步骤，形成过程完整的医学图像融合方法，最终得到医学图像融合结果。
[0119]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。