降低脑部核磁共振影像莱斯噪声的多域优化模型构建方法

1.本发明属于核磁共振医学影像处理领域，涉及人工智能、卷积神经网络、图像去噪等方法，以及深度学习在脑部核磁共振影像上去除莱斯噪声的应用技术，具体涉及一种降低脑部核磁共振影像莱斯噪声的多域优化模型构建方法。


背景技术：

2.磁共振成像(magnetic resonance imaging，mri)是一种医学影像放射学中用生成解剖和生理图像的成像技术。具有许多优点：1.无电离辐射，安全无创；2.相比于ct、超声、x-ray等其他成像技术，对脑部及软组织图像分辨率较高；3，多方位成像，直观呈现解剖结构和病变空间相互位置关系。一般来说，mri中的噪声主要是由于扫描系统的器件，周遭环境，扫描对象等因素造成，且由于初始的采样信号携带的高斯噪声经由k空间数据变换后，在所得图像中噪声演变为复杂的莱斯分布。被噪声污染严重的脑部mr图像数据甚至会对后续看片医生的分析诊断带来不利影响，因此，针对于mr图像中的莱斯噪声降低处理十分重要。
3.目前，流行的去噪方法是对于mri成像后期处理的模式。传统的去噪方法是基于图像空间域、频域以及统计方法三类的，利用神经网络方案的深度学习方法相对较少，对实际中的去噪应用并不广泛，同时因为医学数据的敏感性和稀少性，利用有限样本开展深度学习的mri有关降噪研究是存在挑战的。


技术实现要素：

4.本发明的目的是针对现有技术的不足，提供一种降低脑部核磁共振影像莱斯噪声的多域优化模型构建方法，旨在解决mr图像中受噪声污染像素的处理问题，尤其是降低脑部核磁共振影像中莱斯噪声的影响。
5.本发明降低脑部核磁共振影像莱斯噪声的多域优化模型构建方法，包含以下步骤：
6.步骤1、获取不同噪声水平的脑部mr图像数据，并对脑部mr图像数据进行横断方向切片处理。
7.步骤2、对切片处理后的数据进行去冗余处理，筛除无效切片后，划分数据集为训练集、验证集和测试集。
8.步骤3、建立mdnet去噪模型，包括图像域子模型和小波域子模型。
9.步骤4、将训练集中莱斯噪声水平为3％、5％、7％以及9％的脑部mr图像数据均输入mdnet去噪模型的图像域子模型，将得到的输出值作为图像域子模型的去噪数据。
10.步骤5、将训练集中莱斯噪声水平为3％、5％、7％以及9％的脑部mr图像数据均输入mdnet去噪模型的小波域子模型，将得到的输出值作为小波域子模型的去噪数据。
11.步骤6、将步骤4得到的去噪数据与步骤5得到的去噪数据连接作为初步去噪数据，并传入采样优化的非局部注意力模块，得到最终去噪后的脑部mr图像数据。
12.步骤7、设定mdnet去噪模型的损失函数mse，用于衡量去噪后的脑部mr图像数据与训练集中莱斯噪声水平为0％的干净mr图像数据之间的误差。
13.步骤8、利用步骤2生成的训练集对mdnet去噪模型进行训练，同时利用验证集对训练过程进行评估，当损失函数mse的loss值收敛到低于预设值时停止训练，保存mdnet去噪模型的参数。
14.优选地，执行步骤8后，将测试集输入训练好的mdnet去噪模型中，测试mdnet去噪模型性能。
15.优选地，所述步骤2中，训练集、验证集和测试集中均含有莱斯噪声水平为0％的干净mr图像数据，以及莱斯噪声水平为3％、5％、7％和9％的被噪声污染的脑部mr图像数据；且被噪声污染的脑部mr图像数据与干净mr图像数据中相同空间位置的切片进行配对处理，以便训练中计算损失。另外，去冗余处理为去除人体脖颈处以下的无效切片。
16.优选地，所述的图像域子模型包括特征修正单元和多尺度去噪模块，特征修正单元用于约束特征图谱的通道和尺寸参数，多尺度去噪模块用于捕获上下文信息和噪声分布特征。
17.所述的特征修正单元由1*1卷积层、批归一化层和参数修正线性单元激活函数组成。
18.所述多尺度去噪模块的输入经过初步3*3卷积层、批归一化层和参数修正线性单元激活函数后传入三支路结构，三支路结构组合了两路空洞卷积和一路5*5大参数卷积核的操作，其中两路空洞卷积的卷积核为3*3，其空洞率分别设置为2和3；各支路也分别经批归一化层和参数修正线性单元激活函数后在汇合层汇合，最后经过3*3卷积层、批归一化层和参数修正线性单元激活函数输出并加以残差连接以融合多种感受野下的噪声特征。
19.优选地，所述的小波域子模型由小波变换单元、特征修正单元、多尺度去噪模块和小波反变换单元组成。输入图像数据x经过小波变换单元的离散haar小波变换得到小波域的四个分量数据，利用小波域的四个分量作为训练数据，相比单一图像域，其明显优势在于低频信息完善了全局拓扑性，高频信息增强了纹理信息的恢复力度。离散haar小波变换得到小波域分量矩阵的计算公式如下：
[0020][0021]
其中，q是离散haar小波变换的系数矩阵，q
t
为q的转置矩阵。离散haar小波变换展开为：
[0022][0023]
其中，a，h，v，d分别代表低频平滑输出分量，水平高频分量，垂直高频分量，对角高频分量，不同分量包含不同的细节和纹理信息。
[0024]
经由离散haar小波变换得到的小波域分量矩阵传入特征修正单元和多尺度去噪模块，最终传至小波反变换单元进行小波反变换得到去噪数据x
′
。
[0025]
优选地，步骤6的计算公式如下：
[0026]fout
＝n(concat(f1，f2))
[0027]
其中，n为采样优化的非局部注意力表达式，concat为连接函数，f1为小波域子模型的去噪数据张量形式，f2为图像域子模型的去噪数据张量形式，f1和f2的尺寸相等，将f1与f2连接并转化格式为可视化，得到去噪后的脑部mr图像数据。
[0028]
采样优化的非局部注意力模块中的非局部注意力表达式如下：
[0029]
n＝softmax(wqx
·
sm(wkx)
t
)sm(v(x))
[0030]
v(x)＝wvx
[0031]
其中，softmax为归一化指数函数，sm()为优化采样器的输出，wq、wk和wv为输入的初步去噪数据x经过采样优化的非局部注意力模块中三个1*1卷积层线性变换后的三种独立特征图谱，v(x)表示输入的初步去噪数据x的特征提取信息。
[0032]
优化采样器具体包含特征映射层、空间混合多层感知器、通道混合多层感知器和像素重组层；特征映射层将输入数据分割为块后转化为列表，然后依次经由一个空间混合多层感知器和一个通道混合多层感知器完成区域间信息的融合，再经像素重组层实现从通道向空间上的重组，以变换为既定倍数缩小的特征图谱，最后经过另一个通道混合多层感知器融合后作为优化采样器的输出。
[0033]
其中，空间混合多层感知器由两个全连接层、一个高斯误差线性单元激活函数和一个层归一化函数layernorm构成，表示为：
[0034]
mlps＝ω2σ(ω1layernorm(x
γ
))，γ＝1
…s[0035]
x
γ
表示空间混合多层感知器mlps当前输入的第γ个空间信息，ω1和ω2表示两个不同的全连接层，σ为高斯误差线性单元激活函数，s表示块的数目。
[0036]
通道混合多层感知器包含一个全连接层和一个层归一化函数，表示为
[0037]
mlpc＝ω3layernorm(x
η
)，η＝1
…c[0038]
x
η
表示在通道混合多层感知器mlpc当前输入的第η个通道信息，ω3为mlpc中的全连接层，c表示通道数目。
[0039]
优选地，步骤8中损失函数mse的loss值loss
mse
计算如下：
[0040][0041]
式中，m，n分别表示mdnet去噪模型的输入图像的长度和宽度，i
tar
和i
gt
分别表示步骤6中去噪后的脑部mr图像数据和训练集中莱斯噪声水平为0％的干净mr图像数据，行序号i∈(1，m)，列序号j∈(1，n)。
[0042]
相对于现有技术，本发明具体如下有益效果：在图像域基础上，加入小波域对上述网络进行训练，由于小波域四个分量的加入，不仅丰富了模型的学习样本，其不同方向高频分量的特征还使小波域子模型能够关注到图像的结构级相似性，使重建后的图像边缘以及轮廓更为清晰；进一步，本发明创新提出采样优化的非局部注意力模块，其是一种对于特征图谱全局每一权重参数的重新标定，并基于采样优化后将特征图谱缩减为既定倍数，因此采样器轻量化的作用可以在进行训练时缓解算力，并且不破坏特征的全局性，图像域子模
型与小波域子模型各自输出经特征修正后，其去噪结果经过采样优化的非局部注意力模块进一步提升。因此，本发明解决了mr图像中受噪声污染像素的处理问题，尤其是降低了脑部核磁共振影像中莱斯噪声的影响，最终大大提高了从噪声图像中恢复脑灰质与脑白质区域较高对比度的能力。
附图说明
[0043]
图1为本发明的流程图；
[0044]
图2为本发明中mdnet去噪模型的示意图；
[0045]
图3为本发明中多尺度去噪模块的结构示意图；
[0046]
图4为本发明中小波变换单元的离散haar小波变换结构示意图；
[0047]
图5为本发明中采样优化的非局部注意力模块的结构示意图；
[0048]
图6为本发明中优化采样器的结构示意图；
[0049]
图7为采用本发明方法降噪前后图像的对比图。
具体实施方式
[0050]
为了便于本领域技术人员理解，力求本发明的目的，技术方案和优点更加明了清楚，下面结合实施例来进一步描述本发明。应当理解，此处描述仅仅是示例性质的，并非划定本发明的限制范围。
[0051]
如图1所示，本发明降低脑部核磁共振影像莱斯噪声的多域优化模型构建方法，主要包括如下步骤：
[0052]
s1、获取不同噪声水平的脑部mr图像数据，并对脑部mr图像数据的原始数据(raw data)进行横断方向切片处理。
[0053]
s2、对切片处理后的数据进行去冗余处理，筛除无效切片后，制作干净图像与噪声图像成对的数据集，划分数据集为训练集，验证集以及测试集，具体比例为8∶1∶1。其中，去冗余处理为去除人体脖颈处以下的无效切片，去除的无效切片表现出白色灰色带状条纹的特征。
[0054]
s3、建立mdnet去噪模型，包括图像域子模型和小波域子模型。
[0055]
如图2所示，图像域子模型包括特征修正单元以及多尺度去噪模块，特征修正单元用于约束特征图谱的通道和尺寸参数，多尺度去噪模块用于捕获更多的上下文信息和更大范围的噪声分布特征。
[0056]
特征修正单元由1*1卷积层、批归一化层和参数修正线性单元激活函数组成。
[0057]
多尺度去噪模块使用了不同空洞率的空洞卷积以及大参数卷积核的并行卷积操作。如图3所示，输入经过初步卷积操作后传入三支路结构，该结构组合了两路空洞卷积和一路5*5大参数卷积核的操作，其中两路空洞卷积的卷积核为3*3，其空洞率分别设置为2和3；多尺度去噪模块最后经过汇合层输出并经卷积操作和加以残差连接以便融合多种感受野下的噪声特征。
[0058]
小波域子模型中，输入图像数据经小波变换单元的离散haar小波变换，得到小波域的四分量，四分量依次输入特征修正单元和多尺度去噪模块，最后经过小波反变换单元输出为去噪数据。其中，离散haar小波变换的结果中a，h，v，d分别代表低频平滑输出分量，
水平高频分量，垂直高频分量，对角高频分量，不同分量包含不同的细节和纹理信息。利用小波域的四个分量作为模型的输入数据，相比单一图像域输入，其明显优势在于低频信息完善了全局拓扑性，高频信息增强了纹理信息的恢复力度。图4示意了离散haar小波变换的过程，分为两个阶段，第一阶段通过低通滤波器g
l
和高通滤波器gh分别沿列进行信号提取，提取的两个信号分别经过二倍下采样操作
↓2后，第二阶段继续对第一阶段的每个结果分别通过低通滤波器和高通滤波器沿行进行信号提取，提取得到的四个信号再分别经过二倍下采样操作，最终得到四分量a，h，v，d。
[0059]
s4、将训练集中莱斯噪声水平为3％、5％、7％以及9％的脑部mr图像数据均输入mdnet去噪模型的图像域子模型，将得到的输出值作为图像域子模型的去噪数据。
[0060]
s5、将训练集中莱斯噪声水平为3％、5％、7％以及9％的脑部mr图像数据均输入mdnet去噪模型的小波域子模型，将得到的输出值作为小波域子模型的去噪数据。
[0061]
s6、将s4得到的去噪数据与s5得到的去噪数据连接作为初步去噪数据，并传入采样优化的非局部注意力模块，得到最终去噪后的脑部mr图像数据。
[0062]
优化采样的非局部注意力模块公式如下：
[0063]fout
＝n(concat(f1，f2))
[0064]
其中，n代表采样优化的非局部注意力表达式，concat为连接函数，f1为小波域子模型的去噪数据张量形式，f2为图像域子模型的去噪数据张量形式，f1和f2的尺寸相等，将f1与f2连接并转化格式为可视化，得到去噪后的脑部mr图像数据。本发明中采样优化的非局部注意力模块是一种对于特征图谱全局每一权重参数的重新标定，并基于采样优化后将特征图谱缩减为既定倍数，因此采样器轻量化的作用可以在进行训练时缓解算力，并且不破坏特征的全局性。图像域子模型与小波域子模型各自输出经特征修正后，其去噪结果经过采样优化的非局部注意力模块进一步提升。
[0065]
采样优化的非局部注意力模块中的非局部注意力表达式如下：
[0066]
n＝softmax(wqx
·
sm(wkx)
t
)sm(v(x))
[0067]
v(x)＝wvx
[0068]
其中，softmax为归一化指数函数，sm()为优化采样器的输出，wq、wk和wv为输入的初步去噪数据x经过采样优化的非局部注意力模块中三个1*1卷积层线性变换后的三种独立的特征图谱，v(x)表示输入的初步去噪数据x的特征提取信息。
[0069]
如图5所示，采样优化的非局部注意力模块中，输入经过三个1*1卷积层线性变换后，wq分支变形后的形状参数为hw*c/2，h表示特征图谱的高，w表示特征图谱的宽，c表示特征图谱通道数；wk和wv分支经过优化采样器缩小特征图谱(由hw变为sm(hw))并转换维度后，形状参数分别变为c/2*sm(hw)和sm(hw)*c/2；之后，hw*c/2与c/2*sm(hw)所对应的两项特征图谱相乘，计算出特征中的自相关性，继而进行归一化操作，得到0～1的非局部注意力系数；最后该系数乘以wv分支特征图谱后和原来的输入x相加。
[0070]
如图6所示，优化采样器具体包含特征映射层、空间混合多层感知器(token-mixing mlp)、通道混合多层感知器(channel-mixing mlp)和像素重组层(pixelshuffle)；向优化采样器中输入一个形状参数为h*w*c的张量数据，特征映射层将输入数据分割为块(patch)后转化为列表，然后依次经由一个空间混合多层感知器和一个通道混合多层感知器完成区域间信息的融合，再经像素重组层实现从通道向空间上的重组，以变换为既定倍
数i缩小的特征图谱(h和w分别缩减为h/i和w/i)，最后经过另一个通道混合多层感知器融合后作为优化采样器的输出，其形状参数为h/i*w/i*c。
[0071]
其中，空间混合多层感知器由两个全连接层、一个高斯误差线性单元(gelu)激活函数和一个层归一化函数layernorm构成，表示为：
[0072]
mlps＝ω2σ(ω1layernorm(x
γ
))，γ＝1
…s[0073]
x
γ
表示空间混合多层感知器mlps当前输入的第γ个空间信息，ω1和ω2表示两个不同的全连接层，σ为高斯误差线性单元激活函数，s表示块的数目。
[0074]
通道混合多层感知器包含一个全连接层和一个层归一化函数，表示为
[0075]
mlpc＝ω3layernorm(x
η
)，η＝1
…c[0076]
x
η
表示在通道混合多层感知器mlpc当前输入的第η个通道信息，ω3为mlpc中的全连接层，c表示通道数目。
[0077]
s7、设定mdnet去噪模型的损失函数mse，用于衡量去噪后的脑部mr图像数据与训练集中莱斯噪声水平为0％的干净mr图像数据之间的误差。
[0078]
s8、利用s2生成的训练集对mdnet去噪模型进行训练，同时利用验证集对训练过程进行评估，当损失函数mse的loss值收敛到低于预设值(例如0.001)时停止训练，保存mdnet去噪模型的参数。
[0079]
本发明使用损失函数mse对模型进行优化，以训练集中噪声图像经过图像域子模型和小波域子模型汇合后输出的去噪数据为估计值，以数据集中原始无噪声图像为ground truth。损失函数mse的loss值loss
mse
计算如下：
[0080][0081]
式中，m，n分别表示mdnet去噪模型的输入图像的长度和宽度，i
tar
和i
gt
分别表示步骤6中去噪后的脑部mr图像数据和训练集中莱斯噪声水平为0％的干净mr图像数据，行序号i∈(1，m)，列序号j∈(1，n)。
[0082]
本发明使用pytorch1.4.0平台构建，在训练过程中，周期数为100，批大小为12，设置adam作为模型的优化器，初始学习率0.001，衰减率为0.00001，直至损失函数的loss值收敛到低于预设值(0.001)后停止训练，保存总网络的权重文件。
[0083]
图7示意了测试集中含噪声的脑部mr图像数据的去噪结果图，左边为原始含噪声图像，右边为采用本发明方法降低噪声后的脑部mr图像。可以看出，本发明提供的降低脑部核磁共振影像莱斯噪声的多域优化模型构建方法能够从受莱斯噪声污染的数据中重建出高质量的mr图像。