一种基于自适应局部转向核的医学MRI图像上采样方法与流程

本发明涉及图像处理领域，尤其涉及一种基于自适应局部转向核的医学mri图像上采样方法。

背景技术：

医学成像的主要目标之一是对人体内感兴趣的三维解剖区域(rois)进行自动提取和建模。为了实现这一目标，人们开发了各种各样的成像方法，包括计算机断层扫描和磁共振成像(mri)。mri能够获得良好的软组织对比度，因此可以有效地观察正常组织和病变组织之间的差异。高分辨率的图像以降低信噪比(snr)和增加成像时间为代价，提供了对解剖学更全面的理解。然而，在临床上，mri扫描通常是快速的，因为较长的扫描时间会增加成本，导致患者不适，并在图像中诱发运动伪影。因此，临床磁共振(mr)图像的分辨率是有限的。

临床磁共振(mr)图像的上采样方法有很多种，基本上可分为基于插值的上采样、基于深度学习的上采样。

对于传统的插值方法，高分辨率(hr)图像中的体素是通过几个采样体素的加权平均来估计的。每个采样体素的系数反映了采样体素和目标体素之间的相似性。一般情况下，采样体素是在目标体素的空间邻域内选择的，因此系数通常是固定的，是目标与采样体素空间距离的函数。由于其简单性，传统插值方法重建的图像往往存在边缘模糊和阶梯形伪影的问题，他们不能一致地从低分辨率(lr)图像中重建高频细节。

除了图像插值外，深度学习在图像处理领域也得到了极大的关注。基于深度学习的方法则是利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间某种对应关系，然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像，从而实现图像的超分辨率重建过程。建立浅层学习模型有效地提升了图像超分辨率重建的精度，并有着实时的速度。虽然它们的性能是最先进的，这些基于深度学习的方法也有一些缺点。首先，基于深度学习的方法往往需要大量的训练数据集。其次，基于深度学习的方法的泛化能力也非常有限，需要训练数据和测试数据的紧密分布。

技术实现要素：

针对现有技术之不足，一种基于自适应局部转向核的mri图像上采样方法，所述方法包括：使用一种自适应插值框架，以实现同时的图像上采样，去噪和细节增强，具体包括：

步骤1：输入数据，准备好需要上采样和去噪的待处理mri图像；

步骤2：计算所述待处理mri图像的局部转向核lsk，得到图像的局部结构信息，局部转向核的关键思想是获取邻域内所有像素和中心像素之间的空间关系,用于确定规范内核的形状和大小，局部转向核的模型如下：

其中,i∈[1,…,p²],p²是邻域内所有像素点的数量，h²是一个全局平滑参数，矩阵ci是空间梯度向量的协方差矩阵；xj表示邻域中的中心像素点在图像中的坐标；xi是邻域中其他像素点的坐标，最终得到的局部转向核lsk即邻域中心像素的lsk值,是一个p×p的向量；

步骤3：自适应锐化，通过自适应锐化来增强待处理mri图像上所述局部转向核分布的趋势，以模拟无噪声图像上的lsk分布，自适应的具体步骤为：对lsk值进行自适应锐化，将lsk值结合到权值矩阵wi后，对wi进行自适应锐化，将高通滤波后的权值矩阵的一部分加或减回到权值矩阵wi，计算公式如下：

其中，矩阵h表示一个高通滤波器，λ是一个用于调整锐度的标量，其符号决定输入wi是锐化还是平滑；

步骤4：局部转向核lsk对待处理mri图像进行插值加权，将步骤3得到的权值矩阵与所述待处理mri图像对应像素相乘并相加，加权平均框架的实现公式如下：

其中，yi是需要估计的像素i的像素值,ω是规定的像素i邻域内有限的搜索区域,yk是搜索区域内的采样体素，w是像素k与i之间的相似性，z是一个归一化常数；

步骤5：rician偏差校正，校正由于直接将加权平均框架应用与mri数据集时，rician噪声分布的不对称性而产生的偏差，rician校正的计算公式如下：

其中，为步骤3自适应锐化后的权值矩阵，z(xi)代表高分辨率图像上体素xi的估计像素值，y∈n(xi)表示xi的相邻采样体素,sum()是表示矩阵元素的总和的操作符,σ是待处理mri图像噪声的标准差；

步骤6：输出重建图像，经过步骤2至步骤5，得到上采样、去噪和细节增强的上采样图像。

根据一种优选的实施方式所述方法还包括：在对权值矩阵进行自适应锐化之前，每个图像体素需要根据其相邻图像块的结构类型进行分类，所述结构类型至少包括平坦区域、弱纹理和强纹理区域。

根据一种优选的实施方式，利用图像结构张量ci来区分纹理体素和平面体素，ci的两个特征值之间的相对差异反映了图像块内的梯度分布对某一特定方向的偏移程度，即平滑区域的体素特征值差异较小，纹理区域的体素特征值差异较大。

本发明的有益效果在于：

1、与现有的利用强度距离计算插补系数的自适应插补方法不同，我们的方法通过改进的lsk比较图像块结构的差异来细化自适应插补系数，使插值权值更适应图像结构，以便在去噪的同时保留更多的上下文细节。

2、基于深度学习的方法往往需要大量的训练数据集，其次，基于深度学习的方法的泛化能力也非常有限，需要训练数据和测试数据的紧密分布，而本发明的自适应插值框架不需要大量的训练数据集，由于自适应性，其泛化能力较好。

3、同时传统的插值的方法和基于深度学习的方法是去噪和上采样是异步进行的，会造成细节信息的丢失，最终得到的重建结果往往出现模糊的现象，而本发明提出的自适应框架，能够同时实现图像上采样、去噪和细节增强。

附图说明

图1是本发明上采样方法的流程示意图；

图2是三种图像结构相邻采样体素的lsk形状示意图；

图3是自适应锐化lsk形状示意图；

图4是自适应锐化前图像像素分类结果示意图；

图5是不同噪声水平图像上采样结果的比较结果图；

图6是使用不同方法对hcp数据集进行上采样结果图；和

图7是实验结果对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

下面结合附图进行详细说明。

本发明中的局部转向核lsk：英文描述localsteeringkernel。

传统磁共振图像的上采样和去噪是分开进行的，这会引入不需要的伪像，例如模糊。为了解决这个问题，我们提出了一种创新的自适应插值框架，以实现同时的图像上采样，去噪和细节增强。

针对现有技术存在的问题，本发明提出一种基于自适应局部转向核的mri图像上采样方法，具体包括：输入准备好需要进行上采样和去噪的待处理mri图像，首先用计算得到的局部转向核lsk来调整插值权值以适应图像的几何结构；再通过自适应锐化来增强噪声图像上lsk分布的趋势，有助于去除噪声和增强边缘细节；最后使用rician偏差校正，校正直接将加权平均框架应用于mri数据集时，rician噪声分布的不对称性而产生的偏差。经过此重建过程得到的上采样结果图像能够在去噪的同时保留更多的上下文细节。

图1是本发明上采样方法的流程示意图。具体实施方式如下：

步骤1：输入数据，准备好需要上采样和去噪的待处理mri图像。

步骤2：计算局部转向核lsk，得到待处理mri图像的局部结构信息。局部转向核是逐像素计算的，计算某一领域中心像素的lsk时要用到领域内所有的像素。

图2是三种图像结构相邻采样体素的lsk形状示意图。图2(a)是无噪声图像，图2(b)是噪声强度为最大强度的5％，图2(c)是噪声强度为最大强度的9％。如图2所示，白色圆点表示目标体素，采样的体素被包含在以目标体素为中心的小方框内，它们对应的lsk的描绘如箭头所指的图像所示。其中越靠近前景中心的区域表明采样像素点在加权平均中的权重越大，接近1；而背景区域代表相应的采样体素有一个较小的权重，接近0。可以看出lsk能够有效地捕捉一个无噪声图像局部数据结构，甚至是在有很多复杂纹理的区域。然而在有噪声的情况下，lsk的形状和方向与无噪声情况有很大的偏差，这是因为噪声导致图像结构退化。因此，对于有噪声的图像，必须采用一定的策略对lsk进行细化，以正确地重建被噪声破坏的潜在图像结构。

局部转向核的关键思想是获取邻域内所有像素和中心像素之间的空间关系,用于确定规范内核的形状和大小。

局部转向核的模型如下：

其中,i∈[1,…,p²],p²是邻域内所有像素点的数量,h²是一个全局平滑参数，矩阵ci是空间梯度向量的协方差矩阵；xj表示邻域中的中心像素点在图像中的坐标；xi是邻域中其他像素点的坐标。最终得到的lsk即邻域中心像素的lsk值,是一个p×p的向量。k值就是计算的lsk值。

步骤3：自适应锐化，通过自适应锐化来增强待处理mri图像上所述局部转向核分布的趋势，以模拟无噪声图像上的局部转向核lsk分布。

图3是自适应锐化后lsk形状示意图；图3(a)是无噪声图像，图3(b)是噪声强度为最大强度的5％，图3(c)是噪声强度为最大强度的9％.图3与图2相比，改进后的lsk更能反映真实的局部图像结构，对噪声的适应性更强。即对于平坦区域,lsk的扩展变宽，且基本上是各向同性的。对于纹理区域，lsk收缩以准确描述边缘轮廓。使用改进的lsk有助于去除噪声和保持边缘，因为具有相似几何结构的样本更有可能在加权平均框架中得到利用。

图7是实验结果对比图，图7(a)通过最邻近插值上采样得到的结果，图7(b)是本发明采用自适应锐化后的上采样结果，图7(c)是本发明未采用自适应锐化后的上采样结果，可以清楚地看到，在没有lsk自适应锐化的情况下，仍然会产生有噪声的上采样结果。此外，不进行lsk锐化时，生成的图像会出现近边缘模糊的情况。

自适应锐化的具体步骤为：对局部转向核lsk值应用了自适应锐化，将lsk结合到权值矩阵wi后，对wi进行自适应锐化，将高通滤波后的权值矩阵的一部分加或减回到权值矩阵wi。实现公式如下：

其中，矩阵h表示一个高通滤波器，λ是一个用于调整锐度的标量，其符号决定输入wi是锐化还是平滑，即是正还是负。权值矩阵wi是输入图像的插值加权矩阵，是通过邻域内的每个样本点对中心点的lsk值经过归一化后得到的。

首先，在对权值矩阵wi进行自适应锐化之前，每个图像体素需要根据其相邻图像块的结构类型进行分类，即平坦区域、弱纹理和强纹理区域。

本发明利用图像结构张量ci来区分纹理体素和平面体素。ci的两个特征值之间的相对差异反映了图像块内的梯度分布对某一特定方向的偏移程度。即平滑区域的体素特征值差异较小，纹理区域的体素特征值差异较大。因此，体素分类可以通过计算每个个体素的特征值差异来实现。具体来说，s1和s2(s1≥s2)表示ci的两个特征值，我们用t＝s1-s2来反映每个体素的纹理程度。通过分析mri图像切片中t的累积直方图，可以对不同纹理大小的体素进行分类:

这里t(i,j)是体素在位置(i,j)处的t值；t1和t2是二进制值。

其中f(·)是一个典型的s型函数，在输入较小时返回一个较小的值。

在公式(2)中，t^*是归一化后的t，用于分类为c2的体素。我们观察到c2中分类错误的体素的t值都很小，接近t2。因此，我们使用一个sigmoid函数来将这些体素的λ值设置为接近0的值。这样做是为了防止错误分类引起的错误的锐化或平滑。图4是自适应锐化前图像像素分类结果示意图，图4(a)是无噪声图像，图4(b)是噪声强度为最大强度的5％，图4(c)是噪声强度为最大强度的9％。分类结果如图4所示，第一行是mri图像，第二行是对应的体素分类结果，黑色代表纹理较强区域，浅灰色代表纹理较弱区域，深灰色代表光滑的区域。

对于平坦区域的体素，选择负的值对wi进行平滑处理来去除背景噪声；在纹理区域估计体素时，使用正的值来增强wi，有助于保留细节和边缘信息。这样，自适应锐化后的权值矩阵比原来的权值矩阵更适应真实的潜在结构。

通过自适应锐化来增强噪声图像上lsk分布的趋势，以模拟干净图像上的lsk分布。对于平坦区域的lsk,lsk的扩展变宽，基本上是各向同性的；对于纹理区域的lsk,lsk的扩展缩小到纹理轮廓。

步骤4：局部转向核lsk对待处理mri图像进行插值加权，将改进后的lsk权值与待处理mri图像对应像素计算乘积和，加权平均框架的实现公式如下：

其中，yi是需要估计的像素i的像素值,ω是规定的像素i邻域内有限的搜索区域,yk是搜索区域内的采样体素，w是像素k与i之间的相似性，z是一个归一化常数。

步骤5：rician偏差校正，校正由于直接将加权平均框架应用与mri数据集，rician噪声分布的不对称性而产生的偏差；

rician校正的计算公式：

z(xi)代表高分辨率图像上体素xi的估计像素值,y∈n(xi)表示xi的相邻采样体素,sum()是表示矩阵元素的总和的操作符,σ是mr图像噪声的标准差。

为了更直观的说明本发明重建方法的性能，将现有技术方案的重建结果和本发明的重建结果进行实验对比，如图5和图6所示，是现有技术方案和本发明重建结果的对比图。

nlm指：nlm即non-localmeansbasedupsampling(非局部均值上采样)，基本思想是当前像素点的灰度值与图像中所有与其结构相似的像素点加权平均得到。nlm能够在去除噪声和保持纹理细节方面都取得比较好的效果。

scn指：scn即super-resolutionconvolutionalneuralnetwork，srcnn是首个使用cnn结构的端到端的超分辨率算法。对输入的低分辨率图像使用插值算法进行放大，放大为目标尺寸。再将输入的比较模糊的低分辨率图像，经过卷积网络的处理，得到超分辨图像，使它尽可能与原图的高分辨率图像相似。这个cnn是个轻量级模型，能在实际应用快速的同时保证图像重建效果。

vdsr指：vdsr即verydeepsuper-resolution，其最大的结果特点就是层数很多，一般在20层。采用残差学习，因此收敛速度快。

图5是不同噪声水平图像上采样结果的比较结果图，图6是使用不同方法对hcp数据集进行上采样结果图。图5(a)真值图像,图5(b)噪声强度为最大强度的3％，图5(c)噪声强度为最大强度的5％,图5(d)噪声强度为最大强度的7％,图5(e)噪声强度为最大强度的9％，图5中第一行为本发明方法得到的结果，第二行为nlm方法得到的结果，第三行为scn方法得到的结果，第四行为vdsr方法德达偶读结果，从图5和图6中我们可以看到，本发明提出的方法在所有噪声图像中重建了更生动的细节。虽然该方法直接应用于有噪声的lr图像，但其去噪效果与对比方法处理去噪后的lr图像相当。另一方面，皮质和组织边界的精细细节的重建在本发明中更加明显，而依赖于预去噪的对比方法则产生模糊或光滑的边缘。重要的是要注意,虽然基于深度学习的方法，如scn、vdsr，能够重建高频图像细节,但它们并不适合噪声图像的上采样，重建的细节被随后的去噪方法模糊,使其整体性能下降。因此对磁共振图像进行上采样需要与去噪过程结合起来进行。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。