一种核磁共振图像与超声图像融合方法与系统与流程

1.本发明涉及图像融合技术领域，具体而言，涉及一种核磁共振图像与超声图像融合方法与系统。


背景技术：

2.在现代临床医疗诊断过程中，医生的主要诊断方式是根据医学图像采集设备获得的图像来分析病人的病情状况，这就要求医生可以精确分析各类医学图像数据。近年来，随着计算机技术、工业技术以及医学的快速发展，医学影像学为临床医学诊断提供的图像模态越来越多样化。由于成像原理的不同，多模态医学图像使得不同模态的医学影像具备不同的特点和优势，因此将不同特点和优势的图像融合可以减少临床诊断的错误率。
3.根据被融合图像成像方式不同，可分为同类方式融合和交互方式融合。图像融合的方式为单模融合和多模融合，医学图像分为解剖图像和功能图像。而单模融合是指相同成像方式的图像融合。多模融合是指将形态成像和功能成像技术所获得的图像进行融合，即不同成像方式所获得图像间的融合。现有的基于图像特征的融合方法几乎都是从变换域上的图像编码和压缩技术延伸来的，有laplacian金字塔法、gaussian金字塔法、比率低通金字塔法、多分辨率形态滤波法和小波变换法等。
4.目前广泛使用的多尺度变换方法的主要原理是：将源图像进行小波分解为高频图像和低频图像，然后再根据各自特点设置相应的融合规则；但由于融合规则均是人为进行设置的，因此使得融合效果的稳定性受人为因素影响较大。文献“生成对抗残差网络的医学图像融合算法”提到了一种图像融合方法，其基本原理是：通过字典对源图像进行稀疏编码，得到稀疏系数，再设置一定的融合规则对系数进行融合，最后重构得到融合图像；但是由于该算法需要对每个图像块进行编码，因此不仅计算效率低，而且还会使融合后图像细节信息丢失严重。


技术实现要素：

5.为解决上述问题，本发明的目的在于提供一种核磁共振图像与超声图像融合方法与系统。
6.一种核磁共振图像与超声图像融合方法，包括：
7.步骤1：获取核磁共振图像；
8.步骤2：对所述核磁共振图像进行去噪处理得到去噪后的核磁共振图像；
9.步骤3：对超声图像进行图像增强处理得到增强后的超声图像；
10.步骤4：分别提取去噪后的核磁共振图像和所述增强后的超声图像上的核磁特征点和超声特征点；
11.步骤5：利用所述核磁特征点和所述超声特征点对所述去噪后的核磁共振图像和所述增强后的超声图像进行配准得到待融合的核磁共振图像和超声图像；
12.步骤6：根据待融合的核磁共振图像和超声图像上所有点的灰度值构建融合函数；
13.步骤7：利用所述融合函数确定融合后的图像。
14.优选地，所述步骤2：对所述核磁共振图像进行去噪处理得到去噪后的核磁共振图像，包括：
15.步骤2.1：对所述核磁共振图像进行多尺度小波分解得到多个小波系数；
16.步骤2.2：根据所述核磁共振图像的分解尺度构建不同分解尺度下的滤波阈值；
17.步骤2.3：根据所述不同分解尺度下的滤波阈值构建小波系数滤波模型；
18.步骤2.4：利用所述小波系数滤波模型对所述核磁共振图像进行去噪得到去噪后的核磁共振图像。
19.优选地，所述步骤2.2：根据所述核磁共振图像的分解尺度构建不同分解尺度下的滤波阈值，包括：
20.采用公式：
[0021][0022]
得到不同分解尺度下的滤波阈值；其中，ti表示第i尺度下的滤波阈值，σi表示第i尺度下小波系数的标准差，σ＝median|xi|/0.6745，median|xi|表示第i尺度下的小波系数的中差，表示第i尺度下小波系数的平均值。
[0023]
优选地，所述步骤2.3：根据所述不同分解尺度下的滤波阈值构建小波系数滤波模型，包括：
[0024]
采用公式：
[0025][0026]
构建小波系数滤波模型；其中，sign为符号函数，x
ij
表示第i尺度下的第j个小波系数，t0＝0.45ti，a为调节参数，s＝n/n，n表示第i尺度下所有小波系数的个数，n表示第i尺度下所有小于滤波阈值的小波系数的个数。
[0027]
优选地，所述步骤3：对超声图像进行图像增强处理得到增强后的超声图像，包括：
[0028]
步骤3.1：使用平滑模型对所述超声图像进行处理得到平滑的超声图像；其中，所述平滑模型为：
[0029][0030]
其中，p(x,y)表示平滑后的超声图像，q(x,y)表示超声图像，α表示可调因子；
[0031]
步骤3.2：使用图像增强模型对所述平滑的超声图像进行处理得到增强后的超声
图像。
[0032]
优选地，所述图像增强模型为：
[0033][0034]
其中，g(x,y)表示增强后的超声图像，p(x,y)表示平滑后的超声图像，a表示平滑后的超声图像中灰度的最小值，b表示平滑后的超声图像中灰度的最大值，c表示增强后的超声图像中灰度的最小值，d表示增强后的超声图像中灰度的最大值。
[0035]
优选地，所述步骤4：分别提取去噪后的核磁共振图像和所述增强后的超声图像上的核磁特征点和超声特征点，包括：
[0036]
步骤4.1：以所述去噪后的核磁共振图像和所述增强后的超声图像上每个点为中心取一个邻域；
[0037]
步骤4.2：计算邻域上每个点对应的配准值；其中，所述配准值计算公式为：
[0038][0039]
其中，crf表示配准值，i
x
表示邻域图像在x方向的导数，iy表示邻域图像在y方向的导数；
[0040]
步骤4.3：取最小的配准值所对应的点作为所述核磁特征点和所述超声特征点。
[0041]
优选地，所述融合函数为：
[0042][0043]
其中，f(i,j)表示融合后的图像在第i行第j列的像素值，a(i,j)表示核磁共振图像在第i行第j列的像素值，b(i,j)表示超声图像在第i行第j列的像素值，δ(a)表示核磁共振图像在第i行第j列的像素点为中心取的邻域的核磁特征点，δ(b)表示超声图像在第i行第j列的像素点为中心取的邻域的超声特征点。
[0044]
本发明还提供了一种核磁共振图像与超声图像融合系统，包括：
[0045]
图像获取模块，获取核磁共振图像；
[0046]
去噪模块，用于对所述核磁共振图像进行去噪处理得到去噪后的核磁共振图像；
[0047]
图像增强模块，用于对超声图像进行图像增强处理得到增强后的超声图像；
[0048]
特征点提取模块，用于分别提取去噪后的核磁共振图像和所述增强后的超声图像上的核磁特征点和超声特征点；
[0049]
配准模块，用于利用所述核磁特征点和所述超声特征点对所述去噪后的核磁共振图像和所述增强后的超声图像进行配准得到待融合的核磁共振图像和超声图像；
[0050]
融合函数构建模块，用于根据待融合的核磁共振图像和超声图像上所有点的灰度值构建融合函数；
[0051]
融合模块，用于利用所述融合函数确定融合后的图像。
[0052]
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种核磁共振图像与超声图像融合方法中的步骤。
[0053]
本发明提供的一种核磁共振图像与超声图像融合方法与系统的有益效果在于：与现有技术相比，本发明通过将去噪后的核磁共振图像与增强后的超声图像进行融合得到融合后的图像，不仅可以有效的消除核磁共振图像或者超声图像中的噪声，而且还可以弥补单一的核磁共振图像或者超声图像信息量不足的缺陷，大大提高了医生对图像的判读效果，为后续病灶定位提供了有利的影像依据。
[0054]
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0055]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0056]
图1示出了本发明实施例所提供的一种核磁共振图像与超声图像融合方法流程图；
[0057]
图2示出了本发明实施例所提供一种核磁共振图像与超声图像融合系统原理图。
具体实施方式
[0058]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0059]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0060]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0061]
本发明实施例的目的在于提供一种核磁共振图像与超声图像融合方法与系统旨在解决现有图像融合方法图像信息丢失严重的问题。
[0062]
请参阅图1，一种核磁共振图像与超声图像融合方法，包括以下步骤：
[0063]
步骤1：获取核磁共振图像；
[0064]
步骤2：对所述核磁共振图像进行去噪处理得到去噪后的核磁共振图像；
[0065]
进一步的，所述步骤包括：
[0066]
步骤2.1：对所述核磁共振图像进行多尺度小波分解得到多个小波系数；
[0067]
小波阈值的选取是决定图像增强效果的一个决定性因素。随着分解尺度的增大，噪声系数会越来越小，若不同尺度下均采用相同的阈值，在阈值过大时，容易造成图像的细节和边缘特征模糊；阈值选取太小时，则容易导致在小波降噪中残留较多的噪声信号。因此，本发明可根据分解尺度自适应调整小波阈值，以克服传统滤波算法存在的缺点，其过程如下：
[0068]
步骤2.2：根据所述核磁共振图像的分解尺度构建不同分解尺度下的滤波阈值；具体的，所述步骤2.2可以为：
[0069]
采用公式：
[0070][0071]
得到不同分解尺度下的滤波阈值；其中，ti表示第i尺度下的滤波阈值，σi表示第i尺度下小波系数的标准差，σ＝median|xi|/0.6745，median|xi|表示第i尺度下的小波系数的中差，表示第i尺度下小波系数的平均值。
[0072]
步骤2.3：根据所述不同分解尺度下的滤波阈值构建小波系数滤波模型；本发明中，步骤2.3可以为：
[0073]
采用公式：
[0074][0075]
构建小波系数滤波模型；其中，sign为符号函数，x
ij
表示第i尺度下的第j个小波系数，t0＝0.45ti，a为调节参数，s＝n/n，n表示第i尺度下所有小波系数的个数，n表示第i尺度下所有小于滤波阈值的小波系数的个数。
[0076]
步骤2.4：利用所述小波系数滤波模型对所述核磁共振图像进行去噪得到去噪后的核磁共振图像。
[0077]
本发明利用小波系数滤波模型，对每一尺度下的小波系数进行自适应阈值变换，可以突出不同尺度的细节特征，抑制核磁共振图像的噪声，增强图像的层次感。
[0078]
步骤3：对超声图像进行图像增强处理得到增强后的超声图像；
[0079]
进一步的，所述步骤3包括：
[0080]
步骤3.1：使用平滑模型对所述超声图像进行处理得到平滑的超声图像；其中，所述平滑模型为：
[0081][0082]
其中，p(x,y)表示平滑后的超声图像，q(x,y)表示超声图像，α表示可调因子；
[0083]
步骤3.2：使用图像增强模型对所述平滑的超声图像进行处理得到增强后的超声图像。其中，所述图像增强模型为：
[0084][0085]
其中，g(x,y)表示增强后的超声图像，p(x,y)表示平滑后的超声图像，a表示平滑后的超声图像中灰度的最小值，b表示平滑后的超声图像中灰度的最大值，c表示增强后的超声图像中灰度的最小值，d表示增强后的超声图像中灰度的最大值。
[0086]
本发明将原图像灰度范围划分为三段，可针对感兴趣的目标或灰度区间进行增强，对其它不感兴趣的灰度区间进行抑制，可以使感兴趣区域的轮廓和纹理更加清晰。
[0087]
步骤4：分别提取去噪后的核磁共振图像和所述增强后的超声图像上的核磁特征点和超声特征点；
[0088]
进一步的，所述步骤4包括：
[0089]
步骤4.1：以所述去噪后的核磁共振图像和所述增强后的超声图像上每个点为中心取一个邻域；
[0090]
步骤4.2：计算邻域上每个点对应的配准值；其中，所述配准值计算公式为：
[0091][0092]
其中，crf表示配准值，i
x
表示邻域图像在x方向的导数，iy表示邻域图像在y方向的导数；
[0093]
步骤4.3：取最小的配准值所对应的点作为所述核磁特征点和所述超声特征点。
[0094]
本发明以每个像素点为中心取一个邻域，然后基于图像的一阶导数，提取出邻域上的最小的配准值所对应的点，可以很均匀、准确的找到图像上的特征点。
[0095]
步骤5：利用所述核磁特征点和所述超声特征点对所述去噪后的核磁共振图像和所述增强后的超声图像进行配准得到待融合的核磁共振图像和超声图像；
[0096]
需要说明的是，本发明对去噪后的核磁共振图像和所述增强后的超声图像进行配准可以使图像的大小、像素点的个数和采集的病灶区域均相同。
[0097]
步骤6：根据待融合的核磁共振图像和超声图像上所有点的灰度值构建融合函数；在本发明实施例中，所述融合函数为：
[0098][0099]
其中，f(i,j)表示融合后的图像在第i行第j列的像素值，a(i,j)表示核磁共振图像在第i行第j列的像素值，b(i,j)表示超声图像在第i行第j列的像素值，δ(a)表示核磁共
振图像在第i行第j列的像素点为中心取的邻域的核磁特征点，δ(b)表示超声图像在第i行第j列的像素点为中心取的邻域的超声特征点。
[0100]
步骤7：利用所述融合函数确定融合后的图像。
[0101]
本发明将图像上的每个像素的灰度值与特征点的灰度值之差最大的点作为融合后的图像上相应位置的灰度值，不仅可以提高融合图像的对比度，还可以使感兴趣区域的轮廓和纹理更加清晰。
[0102]
请参阅图2，本发明还提供了一种核磁共振图像与超声图像融合系统，包括：
[0103]
图像获取模块，获取核磁共振图像；
[0104]
去噪模块，用于对所述核磁共振图像进行去噪处理得到去噪后的核磁共振图像；
[0105]
图像增强模块，用于对超声图像进行图像增强处理得到增强后的超声图像；
[0106]
特征点提取模块，用于分别提取去噪后的核磁共振图像和所述增强后的超声图像上的核磁特征点和超声特征点；
[0107]
配准模块，用于利用所述核磁特征点和所述超声特征点对所述去噪后的核磁共振图像和所述增强后的超声图像进行配准得到待融合的核磁共振图像和超声图像；
[0108]
融合函数构建模块，用于根据待融合的核磁共振图像和超声图像上所有点的灰度值构建融合函数；
[0109]
融合模块，用于利用所述融合函数确定融合后的图像。
[0110]
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种核磁共振图像与超声图像融合方法中的步骤。
[0111]
本发明提供的一种核磁共振图像与超声图像融合方法与系统的有益效果在于：与现有技术相比，本发明通过将去噪后的核磁共振图像与增强后的超声图像进行融合得到融合后的图像，不仅可以有效的消除核磁共振图像或者超声图像中的噪声，而且还可以弥补单一的核磁共振图像或者超声图像信息量不足的缺陷，大大提高了医生对图像的判读效果，为后续病灶定位提供了有利的影像依据。
[0112]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。