一种深度半监督分割的儿童脑部MRI脱髓鞘病灶定位方法

一种深度半监督分割的儿童脑部mri脱髓鞘病灶定位方法
技术领域
1.本发明涉及图像处理、深度学习领域，特别涉及一种基于患急性播散性脑脊髓炎的儿童脑部核磁图像的病灶分割定位方法。


背景技术：

2.急性播散性脑脊髓炎(acute disseminated encephalomyelitis，adem)是一种中枢神经系统(cns)炎性脱髓鞘疾病，常累及大脑和脊髓灰、白顶的多个部位，好发于儿童和青壮年，也可引起患者严重的神经功能障碍，常继发于感染或疫苗接种后，少部分病例无明显诱因。adem具有发病急、进展较快、单时相病程等特点。近年来对adem理解在发生转变，认为adem是多种病因导致的临床综合征，而并非是一特定的疾病，国际儿童多发性硬化研究组(international pediatric multiple sclerosis study group，ipmssg)还于2013年提出了新的儿童adem诊断标准。adem缺乏特异的生物学指标，诊断主要依靠临床表现和神经系统辅助检查，尤其神经影像学检查。
3.神经辅助检查在本病的诊断、鉴别诊断、评估预后及复发中意义重大，尤其是头颅磁共振(mri)检查，它们是adem最重要的临床诊断工具，对本病的诊断价值远远超过ct检查。颅脑mri的t1wi序列病灶通常不明显，但病灶较大时，t1wi可以显示低信号；flair像显示为多病灶、不对称、边界不清楚的高信号。典型adem病灶分布于颅内白质和深部灰质(如丘脑和基底核)。一般来说，adem颅脑mri显示颅内病变随临床症状出现而出现，随临床好转而好转，乃至消失，但少数adem患者头颅mri影像学改变较临床病程变化具有一定的“滞后性”，即影像学改变可以较临床表现延迟。
4.精确地分割定位患儿mri病灶，可以有效评估患儿的病情。但由于mr成像的灰度范围较广，并且adem病灶模糊(边界灰度梯度低)。临床上在进行病灶标注时需要首先调整灰度范围，提高病灶处对比度，使病灶边界更清晰。这种方式使得病灶边界的界定受所选择的灰度范围影响甚大，而灰度范围的选取取决于医生的视觉感受和临床经验，即受主观影响较大，可靠性较差。同时，精准的标注耗时较长，效率较低。
5.为了解决这个问题，本发明提出了一种基于深度学习的自动分割方法，通过医师对已有数据进行粗略的标注，再采用半监督的方式，建立深度网络进行训练学习，达到对儿童脱髓鞘病灶有效分割和定位，有效辅助医生对adem患儿脑部病灶进行定位，实现更准确地评估患儿地病情和康复程度。本发明创造性的引入版监督模型主要是为了解决目前adem病灶定位分析中存在的以下两个难点问题1)正如上面所述，adem病灶模糊使得医师无法准确对病灶位置边界进行有效鉴定，这也就导致无法准确对数据进行有效标注，从而采用全监督的方式会使得最终模型的无效化。而引入半监督的方式，可以减弱准确标注的影响，让网络既能学习到准确标注，又能学习到数据的分布，从而使决策边界远离聚类边界；2)对于adem的mr图像，病灶数量和大小对于不同病例差别巨大，对所有数据进行标注是一个非常费时且工作量巨大的过程，加入一部分无标注数据，在增大数据量的基础上更省时省力。因此，我们采用基于半监督算法的adem病灶分割方法，通过将数据分为有标注和无标注两部
分，有标注的部分执行全监督训练方法，无标注的部分则通过加入噪声学习其数据分布特征，其具有比全监督算法更好的泛化能力和病灶边界学习能力。


技术实现要素：

6.针对现有技术中存在的不足，本发明提供了一种深度半监督分割的儿童脑部mri脱髓鞘病灶定位方法。
7.一种深度半监督分割的儿童脑部mri脱髓鞘病灶定位方法，包括如下步骤：
8.步骤1、数据集构建，数据增强与标注。通过回溯医院病例构建原始数据集，使用3d slicer标注软件进行数据标注。并基于数据特性对图像数据进行裁剪、切割、清洗、数据增强。
9.步骤2、分割模型构建。分割模型包括student网络和teacher网络两个结构相同但参数更新方式不同的两个部分。
10.步骤3、基于所构建的分割模型，利用构建的数据集进行student网络训练，并根据反向传播后的student网络参数进行参数漂移得到teacher网络参数。
11.步骤4、模型测试与量化输出。通过训练好的分割模型对急性播散性脑脊髓炎患儿脑部mri进行病灶检测，输出其病灶的像素区域二值图mask。
12.所述步骤1，具体步骤如下：
13.1-1、收集急性播散性脑脊髓炎患者的脑部核磁共振图像数据。
14.1-2、使用3d slicer标注软件对原始数据中的病灶进行逐像素标注。对于原始的dicom格式的脑部核磁共振图像数据，提取图像保存为nrrd格式，图像为单通道16bit灰度图，标注结果采用二值图形式也保存为nrrd格式，并在标注过程中对图像进行进一步筛选，筛选出其中不符合急性播散性脑脊髓炎病变的图像。
15.1-3、中心裁剪：
16.根据图像特性，中心裁剪掉图像中大脑周围黑色边界，并补0使图像长宽一致；对标注图也做对应操作。
17.1-4、对过曝的图像进行清洗：
18.将1-3处理后的图像计算每幅图像的直方图均值和方差，并将计算结果作为特征训练一个简单的线性分类器对图像的过曝情况进行识别。迭代地将这部分图像的最大灰度部分降低，直到线性分类器识别结果为不过曝图像。
19.1-5、对图像进行增强：所述图像增强处理包括随机反转、随机剪裁、随机旋转和随机平移，增加训练数据量；对标注图做对应操作。
20.1-6、图像切割与数据集构建：将1-5处理后的图像与标注图切割为相同大小的图像块，所得图像与标注图的集合即为构建的adem数据集。
21.所述步骤2，具体步骤如下：
22.2-1、构建基本网络：
23.分割模型包括student网络与teacher网络两部分，两网络使用相同的网络结构(上述基本网络)与不同的参数更新规则。基本网络采用encode-decode结构，分为编码路径、解码路径两部分，设置输入为单通道16bit灰度图。
24.2-2、编码路径包括若干个(保证编码路径输出的特征图边长大于7)特征提取模
块，每个特征提取模块包括卷积层、池化层和批量归一化层，池化方法为最大值池化。
25.卷积层：
26.o
t
＝i
t
*c
27.其中o为向量化的输出特征图，i为向量化的输入图像，c为向量化的卷积矩阵，t表示转置。
28.批量归一化层：
[0029][0030][0031][0032][0033]
其中yi为第i维度批量归一化层输出，γ,β为可训练参数，为第i维度特征xi的归一化结果，b为输入数据集合，∈为一个极小的正数，μb为输入数据的样本均值，为输入数据的样本方差，m为输入数据的量；
[0034]
2-3、编码路径与解码路径通过一个过渡桥结构连接，所述的过渡桥结构包括卷积层和批量归一化层。
[0035]
2-4、解码路径与编码路径对称，包括若干个特征提取块，每个特征提取块包括上采样层、卷积层和批量归一化层。上采样方法为转置卷积，转置卷积定义为：
[0036]it
＝o
t
*c
t
[0037]
转置卷积是一个具有可学习参数的上采样算法，每次转置卷积使特征图通道数收缩为原来的二分之一，边长放大为原来的二倍。转置卷积(解码路径)的输出特征图与编码路径对称位置(特征提取块)的输出特征图以跳跃连接方式连接，方式为通过插值将编码路径输出特征图和解码路径输出特征图统一大小后进行通道堆叠，通道总维数变为原来二倍。
[0038]
2-5、teacher网络与student网络具有相同的网络结构。
[0039]
所述步骤3，具体步骤如下：
[0040]
3-1、分割模型包括student网络和teacher网络两个结构相同但参数更新方式不同的两个部分，student网络接受输入图像i加噪声η，输出softmax结果f(i,θ,η)；teacher网络接受输入图像i加噪声η
′
输出softmax结果f(i,θ
′
,η
′
)。其中θ为网络参数。
[0041]
3-2、数据加噪与student网络正向传播：
[0042]
为输入图像增加噪声，噪声η与η
′
均采用随机反转、随机剪裁、随机旋转和随机平移方式进行，两噪声所进行的操作方式与操作参数均随机确定。结合student网络的输出和标注mask构建损失函数focal loss l1，focal loss定义为：
[0043][0044]
其中为student网络的输出，即f(x,θ,η)，y为标注值,超参数γ》0为可调节因子，同时与teacher网络构建一致性损失l2，该损失函数可以有效平衡类样本不均衡。
[0045]
一致性损失定义为：
[0046]
l2＝e
x，η
′
，η
[||f(i，θ
′
，η
′
)-f(i，θ，η)||2]
[0047]
一致性损失用来评价同一幅图像加不同噪声在student网络和teacher网络下的熵。总损失定义为l＝l1+l2。
[0048]
3-3、使用adem数据集训练时，将adem数据集中的图像随机分为训练样本和测试样本两个部分。再将训练样本分为有标注和无标注两部分，对于训练数据中有标注的数据输入student网络并计算focal loss l1，无标注的数据分别输入student网络和teacher网络对输出计算一致性损失。
[0049]
3-4、student网络反向传播：计算整体损失函数后，所得梯度用adam优化器对student网络进行参数更新。
[0050]
3-5、teacher网络的参数更新由student网络通过指数滑动平均(ema)得到。更新规则如下：
[0051]
θ
′
t
＝αθ
′
t-1
+(1-α)θ
t
[0052]
其中θ
′
t
为本轮待更新的teacher网络参数，θ
′
t-1
为上轮更新得到的teacher网络参数，θ
t
为本轮通过adam更新的student网络参数，α为指数平滑率，为一个0到1之间的小数。
[0053]
3-6、重复上述3-2—3-5步骤，直到满足预先设置的停止条件。
[0054]
本发明有益效果如下：
[0055]
本发明针对急性播散性脑脊髓炎患儿脑部mri病灶分割难度大、相关领域研究欠缺提出了基于深度学习的儿童急性播散性脑脊髓炎mri病灶分割方法。通过回溯医院病例构建原始数据集，使用3d slicer标注软件进行数据标注。并基于数据特性对图像数据进行裁剪、切割、清洗、数据增强。半监督算法网络结构分为student网络和teacher网络两个结构相同但参数更新方式不同的两个部分。基于所构建的网络结构，利用构建的数据集进行student网络训练，并根据反向传播后的student网络参数进行参数漂移得到teacher网络参数。方法克服了图像病灶边缘模糊、图像过曝、标注困难等问题。针对性设计预处理方式，使得本发明对成像过程中可能出现的问题具有良好的补偿。利用图像增强、图像加噪声和半监督的方式，使得模型只需要少量的标注图像就能获得很好的分割性能，并对噪声和伪影获得良好的鲁棒性能。一定程度上解决了标注过程存在的难度大、不准确、费时费力的问题。本发明模型量化输出与全监督算法结果相比具有更好的边缘学习能力。实验结果也显示全监督算法与本发明提出的半监督算法在测试集dice系数上大致相等，但本发明hd95距离比全监督算法更优。
附图说明
[0056]
图1.本发明实施例基本网络结构图；
[0057]
图2.本发明实施例方法流程图；
[0058]
图3.本发明实施例系统结构示意图；
[0059]
图4.本发明模型量化输出与全监督算法结果比较图。
具体实施方式
[0060]
以下结合附图与实施例对本发明方法进行进一步描述。
[0061]
如图1所示，一种深度半监督分割的儿童脑部mri脱髓鞘病灶定位方法，包括如下步骤：
[0062]
步骤1、数据集构建，数据增强与标注。通过回溯医院病例构建原始数据集，使用3d slicer标注软件进行数据标注。并基于数据特性对图像数据进行裁剪、切割、清洗、数据增强。
[0063]
具体步骤如下：
[0064]
1-1、收集急性播散性脑脊髓炎患者的脑部核磁共振图像数据。
[0065]
1-2、使用3d slicer标注软件对原始数据中的病灶进行逐像素标注。对于原始的dicom格式的脑部核磁共振图像数据，提取图像保存为nrrd格式，图像为单通道16bit灰度图，标注结果采用二值图形式也保存为nrrd格式，并在标注过程中对图像进行进一步筛选，筛选出其中不符合急性播散性脑脊髓炎病变的图像。
[0066]
1-3、中心裁剪：
[0067]
根据图像特性，中心裁剪掉图像中大脑周围黑色边界，并补0使图像长宽一致；对标注图也做对应操作。
[0068]
1-4、对过曝的图像进行清洗：
[0069]
将1-3处理后的图像计算每幅图像的直方图均值和方差，并将计算结果作为特征训练一个简单的线性分类器对图像的过曝情况进行识别。迭代地将这部分图像的最大灰度部分降低，直到线性分类器识别结果为不过曝图像。
[0070]
1-5、对图像进行增强：所述图像增强处理包括随机反转、随机剪裁、随机旋转和随机平移，增加训练数据量；对标注图做对应操作。
[0071]
1-6、图像切割与数据集构建：将1-5处理后的图像与标注图切割为相同大小的图像块，所得图像与标注图的集合即为构建的adem数据集。
[0072]
步骤2、分割模型构建。分割模型包括student网络和teacher网络两个结构相同但参数更新方式不同的两个部分。
[0073]
具体步骤如下：
[0074]
2-1构建基本网络：
[0075]
本分割模型包括student网络与teacher网络两部分，两网络使用相同的网络结构(上述基本网络)与不同的参数更新规则。基本网络结构如图1所示，使用的模块及参数如表1所示。基本网络采用encode-decode结构，分为编码路径、解码路径两部分，设置输入为单通道16bit灰度图。
[0076][0077][0078]
表1.
[0079]
2-2、编码路径使用四个特征提取模块，每个特征块依次经过两次3*3卷积层(relu激活函数)和一次最大值池化，每个卷积层后加入批量归一化层进行归一化。
[0080]
2-3、编码路径的第一个特征提取模块的第一个卷积层使输入通道变为64，此后的每个池化层后的一个卷积层使特征图通道数扩展为输入的二倍，每个特征提取模块的第二个卷积层则保持通道数不变，无补零。在编码路径的最后特征通道维数为512。
[0081]
2-4、编码路径与解码路径通过一个过渡桥结构连接，所述的过渡桥结构包括两个3*3卷积层(relu激活函数)和批量归一化层，输出通道为1024。
[0082]
2-5、解码路径与编码路径对称，包括四个特征提取块，每个特征提取块包括一个上采样层和两个3*3卷积层(relu激活函数)，上采样方法为转置卷积。每次转置卷积使特征图通道数收缩为原来的二分之一，边长放大为原来的二倍，无补零。转置卷积(解码路径)的输出特征图与编码路径对称位置(特征提取块)的输出特征图以跳跃连接方式连接，方式为通过插值将上采样路径特征图和下采样路径的特征图统一大小后进行通道堆叠，通道总维数变为原来二倍，在下一次卷积时使特征图通道数收缩为原来的二分之一。插值方法为最邻近插值法。
[0083]
2-6、teacher网络与student网络具有相同的网络结构。
[0084]
步骤3、基于所构建的分割模型，利用构建的数据集进行student网络训练，并根据反向传播后的student网络参数进行参数漂移得到teacher网络参数。
[0085]
具体步骤如下：
[0086]
3-1、分割模型如附图3所示，分为student网络和teacher网络两个结构相同但参数更新方式不同的两个部分，student网络接受输入图像i加噪声η，输出softmax结果f(i,θ,η)；teacher网络接受输入图像i加噪声η
′
输出softmax结果f(i,θ
′
,η
′
)。其中θ为网络参数。
[0087]
3-2、数据加噪与student网络正向传播：
[0088]
为输入图像增加噪声，噪声η与η
′
均采用随机反转、随机剪裁、随机旋转和随机平移方式进行，两噪声所进行的操作方式与操作参数均随机确定。结合student网络的输出和标注mask构建损失函数focal loss l1，focal loss定义为：
[0089][0090]
其中为student网络的输出，即f(x,θ,η)，y为标注值,超参数γ》0为可调节因子，同时与teacher网络构建一致性损失l2，该损失函数可以有效平衡类样本不均衡
[0091]
一致性损失定义为：
[0092]
l2＝e
x，η
′
，η
[||f(i，θ
′
，η
′
)-f(i，θ，η)||2]
[0093]
一致性损失用来评价同一幅图像加不同噪声在student网络和teacher网络下的熵。总损失定义为l＝l1+l2。
[0094]
3-3、使用adem数据训练时，将adem数据集中的图像随机分为8：2两个部分，其中80％为训练样本，剩余的20％为测试样本。再将训练集分为有标注和无标注两部分，比例为1：9，对于每一个batch有标注的数据输入student网络并计算focal loss l1，无标注的数据分别输入student网络和teacher网络对输出计算一致性损失。
[0095]
3-4、student网络反向传播：计算整体损失函数后，所得梯度用adam优化器对student网络进行参数更新。
[0096]
3-5、teacher网络的参数更新由student网络通过指数滑动平均(ema)得到。更新规则如下：
[0097]
θ
′
t
＝αθ
′
t-1
+(1-α)θ
t
[0098]
其中θ
′
t
为本轮待更新的teacher网络参数，θ
′
t-1
为上轮更新得到的teacher网络参数，θ
t
为本轮通过adam更新的student网络参数，α为指数平滑率，为一个0到1之间的小数。初始学习率设置为10-4
，每个10个epoch进行一次衰减，直到衰减到10-5
。
[0099]
3-6、重复上述3-2—3-5步骤，直到迭代次数到达4000次。
[0100]
步骤4、模型测试与量化输出。通过训练好的分割模型对急性播散性脑脊髓炎患儿脑部mri进行病灶检测，输出其病灶的像素区域二值图mask。
[0101]
图4.本发明模型量化输出与全监督算法结果比较图两例：(a)为mri原图，(b)为人工标记图，(c)为本发明的半监督模型预测图，(d)为使用同样网络结构的全监督算法预测图。本发明模型量化输出与全监督算法结果相比具有更好的边缘学习能力。实验结果也显示全监督算法与本发明提出的半监督算法在测试集dice系数上大致相等，但本发明hd95距离比全监督算法更优。