非小细胞肺癌大体肿瘤靶区自动分割方法与流程

1.本发明涉及计算机视觉领域，特别涉及一种基于深度学习的医学图像自动分割领域，应用于小样本数据集的非小细胞肺癌的大体肿瘤靶区的自动分割。


背景技术：

2.肺癌的死亡率在世界范围居于首位，并且发病率也呈逐年上升的趋势，其中非小细胞肺癌约占肺癌的80-85％。对于无法接受手术或者拒绝接受手术的患者，根治性放疗依然是目前治疗非小细胞肺癌的有效手段之一。放疗中需要医师根据医学影像信息分割大体肿瘤靶区等肿瘤组织，然后由物理师制定放疗计划。医师手动分割靶区工作量大，效率较低，且分割结果易受到主观经验、工作状态等因素的影响从而出现错分割和漏分割的问题。若分割区域时遗漏了实际的肿瘤组织，那么放疗时无法对肿瘤进行有效治疗；若分割区域时包含了周围的正常组织，那么将对正常组织造成不必要的放射损伤。由此可见，分割精度直接影响放疗的效果。因此，为了提高医生工作效率，实现高精度的放疗自动化与智能化，需要研究非小细胞肺癌靶区自动分割方法。
3.传统的ct图像分割技术根据图像的对比度、亮度或者纹理设计特定的特征提取算法，然后与特定的分类器相结合完成图像的自动分割任务。由于受到部分容积效应、运动伪影等的影响，传统的图像分割方法在ct医学图像分割中效果欠佳。随着图形处理器的发展，深度神经网络用于ct图像自动分割成为可能。深度学习采用深度神经网络架构，在网络架构的输入和输出层之间设有多个隐含层，通过对复杂的非线性关系建模从数据集中学习特征。
4.目前常用的医学图像分割网络主要是以u-net为代表的u形网络。u-net网络结构分为下采样阶段和上采样阶段，网络结构中只有卷积层和池化层，没有全连接层，网络中较浅的高分辨率层用来解决像素定位的问题，较深的层用来解决像素分类的问题，从而可以实现图像语义级别的分割。与fcn网络不同的是，u-net的上采样阶段与下采样阶段采用了相同数量层次的卷积操作，且使用跃层连接结构将下采样层与上采样层相连，使得下采样层提取到的特征可以直接传递到上采样层，这使得u-net网络的像素定位更加准确，分割精度更高。


技术实现要素：

5.然而，u-net中所使用的卷积与池化构成的简单模块提取特征能力较差，需要采用大样本数据集进行训练。然而高质量、标准化的非小细胞肺癌靶区大样本集获得难度较大，此外，由于非小细胞肺癌靶区在ct图像中所占面积较少，每一批送入网络的图像正负样本不均衡，训练时网络梯度消失，网络难以提取有效特征。因此开发一种基于小样本数据集有效提取靶区特征的模块以提高靶区自动分割的精度，是一项亟待突破的技术难题。
6.本发明针对现有分割算法对非小细胞肺癌靶区分割精度低、神经网络训练难度大的问题，提供一种非小细胞肺癌大体肿瘤靶区自动分割方法，其使得深度学习网络能够从
不明确的边界提取更多特征，有效缓解梯度消失的问题，从而能够获得更好的自动分割效果。
7.为了解决上述技术问题，本发明提供一种非小细胞肺癌大体肿瘤靶区自动分割方法，其特征在于，包括：获取包含非小细胞肺癌大体肿瘤区域的病例图像的步骤；通过卷积神经网络对所述病例图像进行处理来获取所述病例图像的特征图的步骤，和基于所述特征图获得所述病例图像的非小细胞肺癌大体肿瘤靶区自动分割结果的步骤，其中，所述卷积神经网络中包括至少一个注意力残差块，每一注意力残差块包括：卷积层、批归一化层、空间与通道级联注意力层、以及块输入到块输出的跃层连接，所述注意力残差块中，所述空间与通道级联注意力层包括空间注意力阶段与通道注意力阶段，两者分别沿着特征图的通道维度以及宽、高两个空间维度进行全局最大池化以及全局平均池化，获得压缩后的全局最大池化特征图与全局平均池化特征图并将它们拼接，同时使用变尺度卷积实现通道融合，将激活后的权重回乘到特征图中，获得空间特征与通道特征重标定后的特征图。
8.优选的是，所述卷积神经网络包括任意深度的u形网络，所述注意力残差块的输入为所述卷积神经网络中的上一级模块的特征图，经过所述卷积层、所述批归一化层、和所述空间与通道级联注意力层将特征重标定，与经过跃层连接的上一级模块的特征图进行拼接，输出拼接后的特征图。
9.优选的是，所述注意力残差块为恒等注意力残差块和卷积注意力残差块的任一者，其中，所述的恒等注意力残差块中，所述卷积层、所述批归一化层、所述空间与通道级联注意力层依次级联，所述块输入到块输出的跃层连接为直通连接，所述的卷积注意力残差块中，所述卷积层、所述批归一化层、所述空间与通道级联注意力层依次级联，所述块输入到块输出的跃层连接为通过连接卷积层的连接。
10.优选的是，所述的恒等注意力残差块中，所述卷积层由多个步长为1的3
×
3卷积核组成，使用权重滑动平均法时，所述批归一化层的衰减率(momentum)设置为0.99，所述的卷积注意力残差块中，所述卷积层由多个步长为2的3
×
3卷积核组成，使用权重滑动平均法时，所述批归一化层的衰减率(momentum)设置为0.99，所述连接卷积层由多个步长为2的3
×
3卷积核组成。
11.优选的是，所述卷积神经网络包括任意深度的u形网络，在所述u形网络的下采样阶段，每个下采样层级均包括1个所述恒等注意力残差块和1个卷积注意力残差块，在所述u形网络的上采样阶段，每个上采样层级均包括1个所述恒等注意力残差块和1个上采样操作。
12.优选的是，所述空间注意力阶段将特征图沿着通道维度分别进行全局最大池化和全局平均池化，获得两张特征图z
s1
，z
s2
，拼接两张特征图，使用步长为1，3
×
3的卷积核将两张图像压缩成一张图像，使用sigmoid激活函数将该空间特征的每个位置重要程度映射到[0,1]的区间内，即在该区域获得出现肿瘤靶区的概率值。激活后将特征图的空间权重特征图回乘到原特征图中，获得空间特征重标定后的特征图，详细定义如下：
[0013]zs1
＝max(us(i),i∈[1,c]),z∈rs[0014]
[0015]
c表示通道数，rs后表示特征图大小的空间集合，us(i)表示对第i个通道的特征图向量空间，
[0016]
所述通道注意力阶段分别沿着特征图的宽、高两个空间维度进行全局最大池化和全局平均池化，获得特征图压缩后的1
×1×
c的通道特征图z
c1
，z
c2
，拼接两列特征图，使用步长为1，1
×1×
k的变尺度卷积核将两列通道融合，其中变尺度卷积核的大小与通道数n有关，即k＝log2c。卷积核将激活后的非小细胞肺癌通道权重回乘到特征图中，获得通道特征重标定后的特征图，详细定义如下：
[0017]zc1
＝max(uc(i，j)，i∈[1，w]j∈[1，h])，z∈rc[0018][0019]
所述变尺度卷积使用变尺度k
×1×
1卷积核，其中k＝log2c，卷积核的尺度随着特征图的通道数增加感受野也随之增大，其中，c表示通道数，rc后表示通道大小的空间集合，h，w分别表示特征图的高与宽，i，j表示特征图的坐标，uc(i,j)表示对特征图坐标i，j的通道。
[0020]
优选的是，所述病例图像为患者的肺部的、层厚和层间隔为5mm的ct影像。
[0021]
优选的是，还包括由专家对患者图像进行靶区分割来获取分割基准真值的步骤；和网络模型训练步骤：使用所述包括第一规定数量的病例图像的训练集数据和包括第二规定数量的病例图像的验证集数据对卷积神经网络模型进行训练，每次训练结束时使用验证集对网络性能进行评价，并调整可学习的参数以获得目标特征分布，存储自动分割结果与所述分割基准真值之间的误差计算值最小的网络模型。
[0022]
采用本发明的技术方案，能够提供一种非小细胞肺癌大体肿瘤靶区自动分割方法，其使得深度学习网络能够从不明确的边界提取更多特征，有效缓解梯度消失的问题，从而能够获得更好的自动分割效果。
附图说明
[0023]
图1是表示本发明的非小细胞肺癌大体肿瘤靶区自动分割方法的流程图；
[0024]
图2是两种注意力残差块结构的示意图；
[0025]
图3是用于说明空间与通道注意力级联机制的示意图；
[0026]
图4是表示数据集中的原图像与基准真值的计算机图像；
[0027]
图5是表示作为比较例的u-net基准网络的结构的示意图；
[0028]
图6表示作为实施例对图4所示的基准网络进行了优化后的网络的结构；
[0029]
图7为基准网络与优化后网络的dice指标箱型图；
[0030]
图8为基准网络与优化后网络的hd95指标箱型图；
[0031]
图9为基准网络与优化后网络的asd指标箱型图；
[0032]
图10是基准网络与优化后网络的分割结果对比示意图。
具体实施方式
[0033]
下面结合附图和具体实施方式对本发明的具体实施方式进行详细的说明。该部分
根据附图来说明本发明，但附图中描述的实例仅是该种分割方法的示意图，基于本发明实例所开发出的其他实施例，都归于本发明的保护范围。
[0034]
图1是表示本发明的非小细胞肺癌大体肿瘤靶区自动分割方法的流程图。如图1所示，本发明的非小细胞肺癌大体肿瘤靶区自动分割方法，包括获取包含非小细胞肺癌大体肿瘤区域的病例图像的步骤(s1)；通过包括至少一个注意力残差块的卷积神经网络对所述病例图像进行处理来获得所述病例图像的特征图的步骤(s2)，和基于所述特征图获得所述病例图像的非小细胞肺癌大体肿瘤靶区自动分割结果的步骤(s3)。本发明相对于现有技术的改进点在于，所述卷积神经网络中包括至少一个注意力残差块，每一注意力残差块包括：卷积层、批归一化层、空间与通道级联注意力层、以及块输入到块输出的跃层连接。
[0035]
下面，以卷积神经网络为u形网络(u-net)为例，来说明本发明的一个具体实施方式。但是，本发明中的卷积神经网络不限于u-net，还可以是u形网络延伸出的其他模型结构，如res-unet、dense-unet等。
[0036]
考虑到整个u形网络需要逐渐压缩特征图的尺度，在保持网络特征图包含信息平稳减少的同时也需要保持原尺度提取特征，因此，在本发明的一个实施方式中针对u形网络设计了减少特征图尺度提取特征的卷积注意力残差块，以及恒等注意力残差块，这两种残差块基本结构类似，如图1所示。
[0037]
图2是两种注意力残差块结构的示意图。在图2中，恒等注意力残差块的输入为神经网络中上一级模块的特征图，经过卷积层、批归一化层，和空间与通道级联注意力层后特征重标定，特征图经过跃层连接与输入模块的特征图进行拼接，输出为拼接后的特征图。卷积注意力残差块发挥作用以改变特征图的尺寸，使得图像信息总体上保持不变。上一层特征图经过步长为2的卷积后与经过卷积批层、归一化层，和空间与通道级联注意力层的特征图拼接，输出尺寸改变后的特征图。
[0038]
在模块内使用空间与通道级联注意力层获取输入图像的特征。空间注意力机制模拟医师勾画的先验知识，中心性非小细胞肺癌主要分布靠近纵隔的区域，周围型非小细胞肺癌主要分布于胸腔内壁周围区域，通过对空间注意力层的训练确定ct图像中特定病变区域，并分配更多的注意力，忽略其他一些无关区域。通道注意力对特征图权重重新标定，对包含更多分割信息的特征图分配更多注意力，抑制无关特征图，使网络更适用于非小细胞肺癌的分割。
[0039]
在本发明的一个实施方式中，恒等注意力残差块，由步长为1的3
×
3卷积层，批归一化层，注意力层级联组成，由跃层连接将输入与输出相连。卷积注意力残差块，由步长为2的3
×
3卷积层，批归一化层，注意力层组成，通过跃层连接经过步长为2的3
×
3卷积层将输入与输出相连。
[0040]
残差块总体结构可以表示为：
[0041]yl
＝h(x
l
)+f(x
l
,w
l
)
[0042]
x
l+1
＝f(y
l
)
[0043]
其中x
l
和x
l+1
表示相邻的两个残差块的输入，f(x
l
,w
l
)表示经过卷积层，批归一化层和通道与空间级联注意力机制的网络输出，w
l
表示网络中卷积核，f表示激活函数，该残差块的训练目标是形成恒等映射。h(x
l
)表示经过一层卷积后的输出，y
l
表示拼接后的网络输出。
[0044]
批归一化层作为近似白化预处理的操作，嵌入在网络中使得每一层的特征图输入都归一化到标准正态分布中，再通过引入可学习的参数恢复原始网络所要学习的特征分布，由于深度学习网络主要是学习目标特征分布，在每一层中嵌套批归一化层使得进入中间层数据分布相对固定，缓解神经网络中梯度消失的问题，具体操作如下：
[0045]
首先计算输入bn层的一个批次(batch)特征图的平均值ub：
[0046][0047]
其中m为特征图的个数，xi为第i张特征图。然后计算输入bn层的特征图的样本偏差σb：
[0048][0049]
将特征图的样本数据正态化：
[0050][0051]
为了保证该层的特征分布可以恢复，训练分布的参数使得网络在前向传播时能够：
[0052][0053]
γ和β指在该层下恢复到原数据分布的所学习到的比例系数和偏置。
[0054]
网络数据经过前向传播时可以通过分布的参数恢复原有层的数据分布，误差反向传播时通过链式求导法则对参数进行训练。使用测试集作为输入时，使用滑动平均法计算小批量的均值，其中衰减率设置为0.99。
[0055]
网络注意力层是针对非小细胞肺癌ct图像特点设计通道与空间注意力级联的注意力结构，指通过先验知识确定ct图像中特定病变区域并分配更多的注意力，忽略其他一些无关区域。网络使用了嵌入注意力机制的残差模块，其中空间与通道级联的注意力机制如图2所示。
[0056]
图3是用于说明空间与通道注意力级联机制的示意图。空间与通道注意力网络对特征图上所包含的信息进行量化，对容易产生癌变的区域分配更多的权重，以分割与正常组织粘连、不易识别的区域。通过级联通道注意力，激活具有更显著特征的通道，具体操作如下：
[0057]
对特征图空间的注意力，当c
×w×
h维度的特征图进入模块后首先将特征图的每一个通道进行全局最大池化得到特征图z
s1
：
[0058]zs1
＝max(us(i)，i∈[1，c])，z∈rs[0059]
对特征图的每一个通道进行全局平均池化z
s2
：
[0060][0061]
c表示通道数，rs后表示特征图大小的空间集合，us(i)表示对第i个通道的特征图
向量空间，压缩成2张1
×w×
h的特征图，分别衡量在图片尺度下的显著信息与平均信息，将两张特征图聚合，送入卷积层，通过激活函数获得w
×
h每个像素可能出现癌变区域的概率值，将1
×w×
h的概率对应乘回c
×w×
h的特征图，容易癌变的区域更容易被下一层激活。
[0062]
对特征图通道的注意力，经过第一步空间注意力的c
×w×
h的特征图，分别沿着宽与高方向进行通道维度的全局最大池化z
c1
：
[0063]zc1
＝max(uc(i，j)，i∈[1，w]j∈[1，h])，z∈rc[0064]
通道维度的全局平均池化z
c2
：
[0065][0066]
c表示通道数，rc后表示通道大小的空间集合，h，w分别表示特征图的高与宽，i，j表示特征图的坐标，uc(i,j)表示对特征图坐标i，j的通道。将通道压缩成2列c
×1×
1，分别获得通道尺度下的显著信息与平均信息，考虑到随着层数的加深通道数量c会激增，固定使用变尺度k
×1×
1卷积核，其中k＝log2c，随着特征图的通道数增加感受野也随之增大，实现通道间的信息融合，获得每个通道c包含病变信息的概率值，将c
×1×
1的概率乘回c
×w×
h特征图，显著特征的通道赋予更多权重。
[0067]
(实施例)
[0068]
下面，对本发明的上述实施方式的一个实施例进行说明。涉及通过卷积神经网络对病例图像进行处理来获得该病例图像的特征图的处理，提供以下非小细胞肺癌ct图像靶区分割中的实施例，本实施例使用的计算机cpu为intel(r)core(tm)i7-8700，3.2ghz，gpu为nvidia geforce gtx 1070 ti，内存为23.0gb。
[0069]
1、建立总体的网络模型
[0070]
目前图像分割网络主要使用编码解码结构，在图像的编码阶段，需要图像分辨率逐渐降低。因此需要使用恒等-恒等注意力残差块，保证特征图分辨率不变，使用恒等-卷积注意力残差块使得特征图尺度减少，交替使用两种残差块，加深网络层数。获得图像底层特征后，使用反卷积的方法，逐步恢复图像尺寸完成图像分割，获得图像的概率图，由像素点的概率判断出该点属于非小细胞肺癌靶区还是属于背景。
[0071]
2、空间与通道级联注意力残差块
[0072]
空间注意力阶段将特征图沿着通道维度分别进行全局最大池化和全局平均池化，获得两张特征图z
s1
，z
s2
，拼接两张特征图，使用步长为1，3
×
3的卷积核将两张图像压缩成一张图像，使用sigmoid激活函数将该空间特征的每个位置重要程度映射到[0,1]的区间内，即在该区域获得出现肿瘤靶区的概率值。激活后将特征图的空间权重特征图回乘到原特征图中，获得空间特征重标定后的特征图。
[0073]
详细定义如下：
[0074]zs1
＝f
sq
(us)＝max(us(i)，i∈[1，c])，z∈rs[0075][0076]
式中，c表示通道数，rs后表示特征图大小的空间集合，us(i)表示对第i个通道的特
征图向量空间。
[0077]
通道注意力阶段分别沿着特征图的宽、高两个空间维度进行全局最大池化和全局平均池化，获得特征图压缩后的1
×1×
c的通道特征图z
c1
，z
c2
，拼接两列特征图，使用步长为1，1
×1×
k的变尺度卷积核将两列通道融合，其中变尺度卷积核的大小与通道数n有关，即k＝log2c。卷积核将激活后的非小细胞肺癌通道权重回乘到特征图中，获得通道特征重标定后的特征图，详细定义如下：
[0078]zc1
＝f
sq
(uc)＝max(uc(i，j)，i∈[1，w]j∈[1，h])，z∈rc[0079][0080]
式中，c表示通道数，rc后表示通道大小的空间集合，h，w分别表示特征图的高与宽，i，j表示特征图的坐标，uc(i,j)表示对特征图坐标i，j的通道。
[0081]
3、训练与测试图像获得
[0082]
本实施例中用于训练和测试的病例图像为ct图像，由ct模拟机对患者喉部水平至肺底部层面进行螺旋断层扫描获取，层厚和层间隔均为5mm。经过一名经验丰富的专家分割，另外两名专家同行评审获得大体肿瘤靶区的分割信息。
[0083]
解析包含患者信息的dicom文件，将ct图像的像素值映射到0-255范围内，调整窗宽为400，窗位为40。解析该例患者的分割文件，找到大体肿瘤靶区对应的轮廓点序列，将绝对坐标系下的序列映射到512
×
512的图像坐标系下。对图像轮廓进行填充，获得png格式的ct掩码图。处理后的ct图像及其对应的掩码图如图4所示，其中，图4中的(a)表示数据集中的原图像，图4中的(b)表示分割基准真值(ct图像中对应的肿瘤靶区位置)。
[0084]
4、评价分割结果
[0085]
戴斯(dice)参数是衡量图像分割效果的评价指标，计算公式如下：
[0086][0087]
其中tp(true positive)表示图像中真阳性区域，fp(false positive)表示图像中假阳性区域，fn(false negative)表现图像中假阴性区域。dice表示预测值和真值的交集与并集之比，dice值越高，表明危及器官的自动分割和医生手动分割的基准值越相似。
[0088]
豪斯多夫距离(hausdorff distance，hd)是计算度量空间和真子集之间的最大不匹配程度的距离。为了避免离群噪声点对评价结果产生影响，通常选取计算每个点集之间距离从大到小前5％(hd95)的数据，hd的计算公式如下：
[0089]
h(a，b)＝max(h(a，b)，h(b，a))
[0090]
其中：
[0091]
h(a，b)＝max(a∈a)min(b∈b)||a-b||
[0092]
h(b，a)＝max(b∈b)min(a∈a)||b-a||
[0093]
平均表面距离(average symmetric surface distance，assd)是度量两个点集之间的平均距离，计算公式为：
[0094][0095]
本实施例中，将u-net作为基准网络即比较例。基准网络的结构如图5所示，u-net的左边一侧为下采样阶段，从上到下包括多个依次级联的下采样层级，每个下采样层级中包括一个卷积层和一个最大池化层。u-net的右边一侧为上采样阶段，从下到上包括多个依次级联的上采样层级，每个上采样层级中包括一个卷积层和一个上采样操作。
[0096]
本发明的实施例的优化后的网络的结构如图6所示。本发明的实施例是对上述基准网络进行了优化后的网络。具体而言，在下采样阶段，是将网络中的特征图尺度恒等的卷积层替换为恒等注意力残差块，特征图尺度缩减的最大池化层替换为卷积注意力残差块，在上采样阶段，是将特征图尺度恒等的卷积层替换为恒等注意力残差块，构建优化后的网络。
[0097]
115例病历图像(训练集69例，验证集23例，测试集23例)用于本实施例。训练代数为30代，每一代的训练时间为9.86min左右。每次训练结束时使用验证集对网络性能评价，并调整可学习的参数以获得目标特征分布，存储自动分割结果与基准真值之间的误差计算值(损失值)最小的网络模型。使用imagedatagenerator对每一个batch进行包括旋转，水平或垂直方向翻转、缩放、平移、尺度变换随机数据增强。将测试集中每例患者所有ct切片算得的指标求平均值作为该例的分割指标，指标计算结果如图7～图9所示：
[0098]
图7是基准网络与优化后网络的dice指标箱型图。根据图7可以看出，虽然优化后的dice箱型图的二分位点为0.71，比基准网络的二分位点0.74小，上四分位点为0.75，小于基准网络的上四分位点0.79，但是单例dice最大值为0.86，下四分位点为0.64，均优于基准网络空间与通道级联注意力机制优化后的网络，通过降低对具有特定分布样本掩码图的拟合能力使得网络一致性更强、分割结果更稳定。
[0099]
图8是基准网络与优化后网络的hd95指标箱型图。图8中的hd95是衡量两个点集之间距离最大差异的量，hd95为0意味着两个点集完全重合。从图中可以看出，优化前后的hd95值分别为17.72mm和17.69mm基本相同，但是上四分位点与下四分位点都有所降低，尤其是单例患者分割结果的hd95值相比优化前提高，引入空间与通道级联注意力机制对分割产生的畸变影响较小，这可能是由于使用了相同结构的基准网络，该基准网络误分割的像素区域特征具有一定的共通性。
[0100]
图9是基准网络与优化后网络的asd指标箱型图。图9中的assd是衡量非小细胞肺癌大体肿瘤靶区自动分割的掩码图与基准真值(ground truth,gt)之间单个像素点之间差异的量。由图9可以看出，基准网络的二分位点为5.81mm，与优化后的网络二分位点5.52mm基本持平，但是基准网络的上四分位点为11.74mm，远远大于优化后的网络6.5mm，优化后的网络下四分位点与上四分位点仅相差2.13mm，优化后的网络分割结果应当是围绕着gt值进行一定的扩张。
[0101]
图10是基准网络与优化后的网络分割结果对比示意图(上排为基准网络分割结果，下排为优化后网络分割结果，实线为gt值，虚线为自动分割结果)
[0102]
根据图10可以看出引入空间与通道级联注意力机制优化后，像素级的分割结果更细致；处理与胸壁或者与其他组织粘连的肿瘤靶区时，自动分割轮廓与gt值的差异比基准网络自动分割轮廓与gt值的差异更小。
[0103]
通过上述评价指标可以认为，引入空间与通道级联注意力机制能够有效地提升网络的自动分割精度。