一种实时的多模态医学图像融合方法
【专利摘要】本发明公开了一种实时的多模态医学图像融合方法，该方法包括：对已配准的若干幅医学源图像进行拉普拉斯金字塔分解得到每一幅源图像对应的低频和高频分量；基于稀疏表示的方法对所有源图像的低频分量进行融合处理，基于系数绝对值的方式对所有源图像的高频分量进行融合处理；将融合后的低频分量与高频分量进行拉普拉斯金字塔重建得到多模态医学融合图像。本发明方法很好地弥补了传统基于拉普拉斯金字塔变换和稀疏表示方法各自的不足，可以获得明显优于传统方法的结果。同时，本发明方法计算效率高，实时性好，在医学临床诊断等场合具有很大的应用价值。
【专利说明】一种实时的多模态医学图像融合方法
【技术领域】
[0001]本发明涉及医学图像处理领域，尤其涉及一种实时的多模态医学图像融合方法。
【背景技术】
[0002]随着生物医学工程和计算机科学技术的快速发展，CT (计算机X线断层扫描)、MRI (核磁共振成像)、PET (正电子发射断层成像)、SPECT (单光子发射计算机断层成像)等不同模态的医学影像已经广泛应用于临床诊断中。但是，在临床应用中，单一模态的医学图像往往不能为医生提供全面的医学信息。例如，CT图像具有高的空间分辨率，可以清晰地定位刚性的骨骼和移植物体，但对软组织的成像对比度较低，无法清晰地显示病灶本身；而MRI图像对软组织、血管、器官等解剖结构可以提供高对比度的成像，但是空间分辨率往往低于CT图像，缺乏刚性的骨骼结构作为病灶的定位参照。
[0003]临床上，为方便医生做出准确的诊断进而制定出合适的治疗方案，不同模态图像所包含的互补信息往往希望被综合在一起而生成一幅单一的合成图像。多模态医学图像融合技术为解决上述问题提供了一种有效的途径，它是指综合多种医学成像技术的优势，提取不同模态医学图像的互补信息，生成一幅比任何单一模态图像包含更多有效医学信息的合成图像，以方便对疾病的诊断和治疗。近年来，随着图像融合技术的快速发展，科研人员提出了各种各样的医学图像融合算法。不过，目前医学图像融合仍然主要处于学术界的研究阶段，尚没有广泛应用于临床实践中，其中一个主要原因是缺乏同时能满足简单、有效、快速等特点的方法，无法满足临床应用的需求。因此，研发出具有以上优秀特性(简单、有效和快速)的医学图像融合方法对于现代医学临床诊断具有十分重要的意义。
[0004]目前，多尺度变换理论在图像融合研究中得到了非常广泛的应用，数以百计的基于金字塔、小波变换以及多尺度几何变换的图像融合方法在近三十年的时间里先后被国内外学者提出，有力地推动了图像融合领域的发展。基于多尺度变换的融合方法一般包含以下三个步骤:首先，将两幅或多幅输入图像(源图像)进行多尺度分解，得到相应的低频分量和高频分量；然后，在低频域和高频域分别设计融合规则，计算得到融合系数；最后，对融合系数进行多尺度重构(逆变换)得到输出图像(融合图像)。传统上，低频域往往采用直接取平均的融合规则，而高频域采用系数取极大值的方式进行融合。但是，基于多尺度变换的方法用于医学图像融合有一个不可忽视的缺点。对于不同的医学成像技术，其关注的身体结构、组织、器官不同，得到的图像在同一区域亮度上往往有很大的差异，如果直接采用取平均的方式进行低频融合，由于图像的绝大部分能量保存在低频域中，将会导致融合图像对比度的降低，影响融合结果的质量。
[0005]稀疏表示理论是由自然信号的统计特性提出，并且符合人类视觉系统的处理机制，它的基本假设是一个信号可以由一个原子库(字典)中少数几个原子线性表示。稀疏表示理论及应用是近年来信号处理领域的一个研究热点，已经在多种图像处理问题中得到了成功的应用。2010年，稀疏表示理论被应用到图像融合领域，可参考文献:B.Yang and
S.Li, “Multifocus image fus1n and restorat1n with sparse representat1n，，，IEEETransact1ns on Instrumentat1n and Measurement, Vol.59，N0.4，pp.884—892，2010。在融合相同类型传感器采集到的图像时，这种直接在空域对图像进行分块稀疏表示的方法一般可以取得很好的效果，但是当输入是不同模态的图像时，考虑到噪声等因素的影响，这种方法容易在融合图像中引入空间不连续性，降低融合质量。同时，有研究表明用于稀疏表示的字典不能包含太多的原子，否则会导致结果不稳定，可参考文献:M.Elad and
1.Yavneh, “A plurality of sparse representat1ns is better than the sparsestone alone”，IEEE Transact1ns on Informat1n Theory, Vol.55, N0.10, pp.4701-4714,2009，但原子个数不足又会限制字典的表达能力，使稀疏重建产生误差，进而导致融合图像中的一些细节被模糊。
【发明内容】
[0006]本发明的目的是提供一种实时的多模态医学图像融合方法，可以实时有效地实现多模态医学图像的融合。
[0007]本发明的目的是通过以下技术方案实现的:
[0008]—种实时的多模态医学图像融合方法，该方法包括:
[0009]对已配准的若干幅医学源图像进行拉普拉斯金字塔分解得到每一幅源图像对应的低频和高频分量；
[0010]基于稀疏表示的方法对所有源图像的低频分量进行融合处理，基于系数绝对值的方式对所有源图像的高频分量进行融合处理；
[0011]将融合后的低频分量与高频分量进行拉普拉斯金字塔重建得到多模态医学融合图像。
[0012]由上述本发明提供的技术方案可以看出，该方法是以拉普拉斯金字塔变换为框架，将图像的低频分量与高频分量分离，并将稀疏表示的融合方式用于低频分量的融合。相对于传统基于多尺度变换(如拉普拉斯金字塔变换)和空域稀疏表示的方法，本发明方法具有以下几个优势:
[0013]第一，相对于传统的多尺度变换框架下低频分量取平均的融合方式，本发明采用基于稀疏表示的方法对低频分量进行融合，有效防止了图像能量在融合过程中丢失的问题，提高了融合图像的对比度；
[0014]第二,相对于传统的基于空域稀疏表不的方法，本发明利用拉普拉斯金字塔分解实现图像低频和高频分量的分离，一方面，稀疏表示只作用于低频分量，可以减少高频噪声对稀疏重建结果的影响，消除直接在空域进行稀疏表示可能造成的空间不连续性，另一方面，采用取绝对值的融合方式来提取高频细节信息，可以有效地避免传统稀疏表示方法因字典表达能力不足而导致的细节模糊问题；
[0015]第三，由于拉普拉斯金字塔分解后的图像低频分量的空间尺寸远小于原始图像，本发明的计算效率远高于传统的基于空域稀疏表不的方法，虽略低于传统基于拉普拉斯金字塔变换的方法，但足以满足实际系统的实时性要求，具有较高的实际应用价值。
【专利附图】
【附图说明】
[0016]为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0017]图1为本发明实施例提供的一种实时的多模态医学图像融合方法的流程图；
[0018]图2为本发明实施例提供的一种利用K-SVD算法训练得到的字典的示意图；
[0019]图3为本发明实施例提供的一种实时的多模态医学图像融合方法中在线处理阶段的示意图；
[0020]图4是本发明方法与相关对比方法对一组CT和MRI图像进行融合的结果比较示意图；
[0021]图5是本发明方法与相关对比方法对一组Gd-DTPA-MR和T2-MR图像进行融合的结果比较示意图。
【具体实施方式】
[0022]下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0023]实施例
[0024]图1为本发明实施例提供的一种实时的多模态医学图像融合方法的流程图。如图1所示，该方法主要包括如下步骤:
[0025]步骤11、对已配准的若干幅医学源图像进行拉普拉斯金字塔分解得到每一幅源图像对应的低频和高频分量。
[0026]一幅图像的拉普拉斯金字塔由其高斯金字塔获得；具体的:设源图像为Gtl，对其先进行高斯模糊并在两倍下采样得到图像G1 ;当循环处理N次后，得到一个N+1层金字塔，表示为(Gc^G1,...，GN}，其中，源图像Gtl为最底层，6,为最高层；定义高斯模糊下采样的算子为Down,则有:
[0027]Gi = Down (G^1), i = I, 2,..., N ；
[0028]在得到高斯金字塔之后，拉普拉斯金字塔ILPtl, LP1, LPJ用下式计算得到:
【权利要求】
1.一种实时的多模态医学图像融合方法，其特征在于，该方法包括: 对已配准的若干幅医学源图像进行拉普拉斯金字塔分解得到每一幅源图像对应的低频和高频分量； 基于稀疏表示的方法对所有源图像的低频分量进行融合处理，基于系数绝对值的方式对所有源图像的高频分量进行融合处理； 将融合后的低频分量与高频分量进行拉普拉斯金字塔重建得到多模态医学融合图像。
2.根据权利要求1所述的方法，其特征在于，所述对已配准的若干幅医学源图像进行拉普拉斯金字塔分解得到每一幅源图像对应的低频和高频分量包括: 设源图像为Gtl，对其先进行高斯模糊并在两倍下采样得到图像G1 ； 当循环处理N次后，得到一个N+1层金字塔，表示为{G。，G1,...，GN}，其中，源图像Gtl为最底层，Gn为最闻层； 定义高斯模糊下采样的算子为Down，则有:
Gi = Down (Gh) , i = I, 2,..., N ； 在得到高斯金字塔之后，拉普拉斯金字塔ILPtl, LP1,LPJ用下式计算得到:
其中，算子Up表不插值上米样； 所述拉普拉斯金字塔的最高层LPn为源图像Gtl的低频分量，其他层则组成了源图像Gtl的高频分量。
3.根据权利要求1所述的方法，其特征在于，该方法还包括: 利用自然图像训练得到用于医学图像稀疏表示的字典D。
4.根据权利要求3所述的方法，其特征在于，所述基于稀疏表示的方法对所有源图像的低频分量进行融合处理包括: 设对源图像^和Ib的低频分量匕和Lb进行融合，则首先采用滑窗技术从低频分量匕和Lb中提取重叠的图像块；具体的:对于低频分量1^和匕，均从左上角到右下角移动一个大小为士啲滑窗，其中，为字典D中原子的尺寸；取出相应位置的图像块保存，再移动滑窗，每次移动的步长为s个像素，直至提取完毕；若源图像Ia和Ib的大小为HX W，则每一源图像的低频分量中提取的图像块个数T表示为:
其中，符号「]表示向上取整； 设匕分别表示从低频分量La和Lb中取出的图像块； 将低频分量La和Lb中第i个位置的图像块/7和尤分别展开成列向量<和<，再归一化使其所有元素的均值为0，处理过程表示为:
K =Vix-V^-1i其中，I表示一个所有元素均为I的nX I向量，vj和3分别是和< 的均值； 利用字典D分别对巧和<进行稀疏分解，得到稀疏表示系数《I和α处理过程表示为:
其中，ε表示稀疏重构的允许误差，I I.I Itl为向量的零范数； 采用比较LI范数的方式对和&进行融合，得到融合后的稀疏系数:
从而获得低频分量La和Lb中第i个位置图像块列向量的融合结果:
其中，
表示融合向量的均值；
对低频分量La和Lb中所有位置的图像块的列向量进行融合，获得融合向量; 建立一个大小为HXW的空图像Lf，对每一个融合结果Vi7将其变形为大小的图像块，再放入空图像Lf的相应位置，从而完成所有源图像低频分量的融合。
5.根据权利要求1或4所述的方法，其特征在于，所述基于系数绝对值的方式对所有源图像的高频分量进行融合处理包括: 对于给定一个像素点(i，j)，计算其3X3邻域内所有高频分量绝对值的和作为该像素点的活跃程度测量值，并采用选取极大值的方式进行融合，则有:
其中，Ha和Hb分别对应为源图像Ia和Ib的高频分量。
6.根据权利要求1或2所述的方法，其特征在于，将融合后的低频分量与高频分量进行拉普拉斯金字塔重建得到多模态医学融合图像包括: 设OiV ,LP1,，...，LP/ }为融合得到的拉普拉斯金字塔各层，从最高层IiV开始自顶向下，按下式递推，则得到图像的高斯金字塔:
上式中，当i = O时，Gc/表示高斯金字塔的最底层图像If，该图像If则为多模态医学融合图像。
【文档编号】G06T5/50GK104182954SQ201410427772
【公开日】2014年12月3日 申请日期:2014年8月27日 优先权日:2014年8月27日
【发明者】汪增福, 刘羽 申请人:中国科学技术大学