基于神经网络的危及器官自动勾画方法、设备和存储介质与流程

本发明属于医学影像和计算机技术领域，涉及一种基于三级联卷积神经网络的危及器官自动勾画方法、设备和存储介质。

背景技术：

放射治疗是癌症治疗的三大手段之一，它能够通过电离辐射来破坏癌细胞的dna链，进而导致癌细胞的死亡。为了降低治疗过程中射线对正常组织的影响，医生需要在放疗前制定一个周密的放疗计划。ct影像由于具有成像速度快，空间精度和分辨率高等特点，通常被用于放疗计划的制定，医生需要在每张ct切片中精确勾画出每个危及器官，这是一个费时费力的过程，另外，由于软组织在ct影像中的对比度较低，例如：腮腺没有清晰的边界且形态复杂，这使得医生手工勾画时容易出错和费时，因此需要一个准确和快速的危及器官全自动分割算法，来辅助医生勾画危及器官，减少计划制定过程中的体力劳动和时间。

目前市面上的产品都是采用基于multi-atlas(多图谱)配准的方法，这种方法的分割准确率取决于模板的选择，鲁棒性较差，无法适应不同医院具有不同分辨率的ct影像数据，并且，由于采用了形变配准而导致分割时间较长。另一方面，为了提高分割的准确率，会尽量多的选择模板，但是分割的时间也会随着模板的增多而增加，并且目前的很多方法使用了大量的先验知识，泛化能力差。

深度学习是一个复杂的机器学习算法，其中的卷积神经网络近年来在图像识别和医学影像处理方面取得的效果，远远超过先前的相关技术。深度学习的核心是特征学习，旨在通过分层网络自动获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。

技术实现要素：

本发明的目的在于为克服上述现有技术的缺陷而提供一种基于三级联卷积神经网络的危及器官自动勾画方法、设备和存储介质。

为实现上述目的，本发明采用以下技术方案：

本发明基于深度学习技术，设计了一种三级联卷积神经网络，用于准确和快速的全自动分割医学影像中的危及器官，本发明经过临床试验，被证明能够有效的在临床中辅助医生进行危及器官的勾画。

一种基于三级联卷积神经网络的危及器官自动勾画方法，适于在计算设备中执行，包括如下步骤：

(1)输入三维医学影像；

(2)对三维医学图像进行预处理；

(3)将预处理的三维医学影像输入到训练好的三级联卷积神经网络的第一级网络中识别待分割器官所存在的横断面；

(4)将第一级网络筛选出的横断面输入到训练好的三级联卷积神经网络的第二级网络中粗定位待分割器官的感兴趣区域；

(5)对第二级网络输出的感兴趣区域进行标准化，随后输入到训练好的三级联卷积神经网络的第三级网络中，对感兴趣区域中的所有像素点进行分类，输出三维的二值分割结果；

(6)对三维的二值分割结果进行后处理；

(7)对经过后处理的二值分割结果进行边缘提取，经过边缘平滑后，得到自动勾画的危及器官；

其中，所述的三级联卷积神经网络模型由第一级网络、第二级网络和第三级网络三个卷积神经网络级联(cascade，串联)而成。

本发明中进一步优选地，步骤(1)中，所述的医学影像选自ct影像、核磁共振影像或pet影像(正电子发射型计算机断层显像)。

所述的医学影像为dicom格式或非dicom格式。

步骤(2)中，所述的预处理包括以下步骤：

(i)将医学影像插值成统一的空间分辨率；

(ii)将截取后的三维医学影像的灰度值进行min-max标准化；

优选地，所述的预处理还包括在步骤(i)与(ii)之间进行截取医学影像有效数据的步骤。

步骤(5)中，所述的标准化为z-score标准化。

步骤(6)中，所述的后处理包括腐蚀、膨胀、空洞填充、提取联通区域、并将分辨率恢复到与原医学影像初始空间分辨率相同中的一种或一种以上。

所述的第一级网络为二维的卷积神经网络，包括卷积层、batchnormalization层、relu激活层和最大池化层，最后连接有全连接层并通过softmax函数产生预测概率值。

所述的第二级网络为三维卷积神经网络，包括三维卷积层、relu激活层和三维池化层，深层网络产生的高维特征通过全连接层和softmax函数产生对三维小块预测概率值，从而定位待分割器官的感兴趣区域。

所述的第三级网络为全卷积网络，用于对第二级网络产生的感兴趣区域中的每一个像素做识别分类，包括卷积层、最大池化层、拼接层、反卷积层，通过sigmoid函数产生对每个像素的预测概率值，对概率值做阈值处理，得到最终分割的二值结果。

所述的三级联卷积神经网络模型的各级网络分开训练。

所述的第一级网络的训练步骤包括：

(a1)将原始三维医学影像进行插值，使x，y，z方向的分辨率为n×n×m，其中x，y方向的空间分辨率相同；

(a2)以含有待分割器官的横断面为正样本，其他横断面为负样本，将插值后的三维医学影像分别切割为n×n大小的二维切片；若插值后导致横断面边长大小小于n，则进行四周补零操作；

(a3)将所有切割下的二维切片输入到第一级网络中进行训练，得到训练好的第一级网络；

所述的第二级网络的训练步骤包括：

(b1)将原始三维医学影像进行插值，使x，y，z方向的分辨率为n×n×m，其中x，y方向的空间分辨率相同；并进行min-max标准化；

(b2)根据医生勾画的三维医学影像结果，以器官所在位置的质心为中心，从步骤(b1)得到的标准化三维医学影像中切割尺寸为n×m×k的三维小块作为网络的正样本，其中正样本中包含待分割器官，从其他不含待分割器官的区域中切割数量正样本小块n倍的三维小块作为网络的负样本；进一步优选地，负样本的数量为正样本数量的2～5倍；

(b3)对切割后的正负样本进行数据增强，所述的数据增强是指以三维小块的质心为中心在三个维度上进行平移；

(b4)将增强后的数据输入到第二级网络中进行训练，得到训练好的第二级网络；

所述的第三级网络的训练步骤包括：

(c1)在含有医生勾画待分割器官的各层横断面及其z方向的邻近横断面中，以医生勾画的质心为中心，从原始三维医学影像中切割n×m大小的二维切片作为训练图像，从医生勾画的二值掩模的对应位置切割同样大小的二维切片作为训练标签；

(c2)对所有的n×m大小的图像切片及训练标签进行数据增强，所述的数据增加是在横断面的两个维度方向进行平移；

(c3)对增强后的所有切片分别进行z-score标准化；

(c4)将标准化后的所有训练图像和训练标签对应的输入到第三级网络中进行训练，得到训练好的第三级网络。

本发明还提供一种计算设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括用于上述基于三级联卷积神经网络的危及器官自动勾画方法的指令。

本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述基于三级联卷积神经网络的危及器官自动勾画方法。

本发明具有以下有益效果：

本发明经过临床试验，被证明具有不需要先验知识，算法泛化能力好，鲁棒性强，速度快，全自动，分割准确率高的优点，对不同医院不同设备产生的ct影像都具有良好的分割效果，可以在放疗过程中辅助医生进行危及器官的自动勾画。

附图说明

图1为本发明实施例中三级联卷积神经网络算法流程图。

图2为本发明实施例中第一级神经网络效果示意图。

图3为本发明实施例中第二级神经网络结构示意图。

图4为本发明实施例中第二级神经网络定位右侧腮腺感兴趣区域(roi)效果示意图，

(a)是定位右侧腮腺roi的横断面效果图；

(b)是定位右侧腮腺roi的矢状面效果图；

(c)是定位右侧腮腺roi的冠状面效果图。

图5为本发明实施例中第三级神经网络的结构和输入输出示意图。

图6为本发明实施例中同一横断面右侧腮腺的自动分割勾画结果与医生手工勾画结果的对比图，

(a)是采用三级联卷积神经网络自动分割的勾画结果；

(b)是医生手工勾画结果。

图7为本发明实施例中同一横断面左侧腮腺的自动分割勾画结果与医生手工勾画结果的对比图，

(a)是采用三级联卷积神经网络自动分割的勾画结果；

(b)是医生手工勾画结果。

图8为本发明实施例中右侧腮腺不同切面的自动分割结果和三维效果图，

(a)为右侧腮腺横断面的分割效果图；

(b)为右侧腮腺矢状面的分割效果图；

(c)为右侧腮腺冠状面的分割效果图；

(d)为右侧腮腺的三维分割效果图。

图9为本发明实施例中左侧腮腺不同切面的自动分割结果和三维效果图，

(a)为左侧腮腺横断面的分割效果图；

(b)为左侧腮腺矢状面的分割效果图；

(c)为左侧腮腺冠状面的分割效果图；

(d)为左侧腮腺的三维分割效果图。

具体实施方式

以下结合具体实施例和附图进一步说明本发明。

本发明基于三级联卷积神经网络进行危及器官自动勾画方法，其中，本发明的三级联卷积神经网络模型由第一级网络、第二级网络和第三级网络三个卷积神经网络级联而成。

其中第一级网络为二维的卷积神经网络，包括卷积层、batchnormalization层、relu激活层和最大池化层，最后连接有全连接层并通过softmax函数产生预测概率值；其中第一级网络的输入为二维的横断面切片，经过网络对每张切片进行分类，最后筛选出符合要求，即包含待分割器官的所有横断面切片。

第二级网络为三维卷积神经网络，包括三维卷积层、relu激活层和三维池化层，深层网络产生的高维特征通过全连接层和softmax函数产生对三维小块预测概率值，从而定位待分割器官的感兴趣区域；第二级网络的输入为从第一级网络输出中切割下来的n×n×m(如60×60×20)(mm)大小的三维小块，通过滑窗的方法来遍历切割整个第一级网络的输出

第三级网络为全卷积网络，用于对第二级网络产生的感兴趣区域(roi)中的每一个像素做识别分类，包括卷积层、最大池化层、拼接层、反卷积层，通过sigmoid函数产生对每个像素的预测概率值，对概率值做阈值处理，得到最终分割的二值结果。由于不同医院不同设备拍摄的ct影像相同器官处的灰度值会有些许差异，因此在网络3的训练和预测的过程中，本发明首先对roi区域采用了z-score归一化操作(减均值除标准差，其中μ为均值，δ为标准差)，此举的好处是提高了算法对不同成像设备的鲁棒性。第三级网络的输入是第二级网络产生的roi区域内n×n(如60×60)大小的二维图像。

本发明中，三级联卷积神经网络模型的各级网络分开训练。

第一级网络的训练步骤包括：

(a1)将原始三维医学影像进行插值，使x，y，z方向的分辨率为n×n×m，其中x，y方向的空间分辨率相同；

(a2)以含有待分割器官的横断面为正样本，其他横断面为负样本，将插值后的三维医学影像分别切割为n×n大小的二维切片；

本实施例中进一步优选地，若插值后导致横断面边长大小小于n，则进行四周补零操作；

(a3)将所有切割下的二维切片输入到第一级网络中进行训练，得到训练好的第一级网络；

第二级网络的训练步骤包括：

(b1)将原始三维医学影像进行插值，使x，y，z方向的分辨率为n×n×m，其中x，y方向的空间分辨率相同；并进行min-max标准化，计算公式如下；

(b2)根据医生勾画的三维医学影像结果，以器官所在位置的质心为中心，从步骤(b1)得到的标准化三维医学影像中切割尺寸为n×m×k的三维小块作为网络的正样本，其中正样本中包含待分割器官，从其他不含待分割器官的区域中切割数量为正样本n倍的三维小块作为网络的负样本；本实施例中进一步优选地，负样本的数量为正样本数量的2～5倍；

(b3)对切割后的正负样本进行数据增强，所述的数据增强是指以三维小块的质心为中心在三个维度上进行平移；

(b4)将增强后的数据输入到第二级网络中进行训练，得到训练好的第二级网络；

第三级网络的训练步骤包括：

(c1)在含有医生勾画待分割器官的各层横断面及其z方向的邻近横断面中，以医生勾画的质心为中心，从原始三维医学影像中切割n×m大小的二维切片作为训练图像，从医生勾画的二值掩模的对应位置切割同样大小的二维切片作为训练标签；

(c2)对所有的n×m大小的图像切片及训练标签进行数据增强，数据增加是在横断面的两个维度方向进行平移；

(c3)对增强后的所有切片分别进行z-score标准化；

(c4)将标准化后的所有训练图像和训练标签对应的输入到第三级网络中进行训练，得到训练好的第三级网络。

在本发明一个示例性实施中，一种基于三级联卷积神经网络的危及器官自动勾画方法，适于在计算设备中执行，包括如下步骤：

(1)输入三维医学影像；

本实施例中进一步优选的，医学影像可以选自ct影像、核磁共振影像或pet影像等；

本实施例中进一步优选的，医学影像为dicom格式。

(2)对三维医学图像进行预处理；

在本发明一个示例性实施例中，对于ct影像(本领域技术人员应当理解，使用ct影像仅作为一个示例性实施例，不用于限定本发明的保护范围)，预处理包括以下步骤：

(i)将医学影像插值成统一的空间分辨率(如1mm×1mm×3mm)，；

由于不同医院拍摄的ct影像具有不同的横断面空间分辨率(约0.5mm至2mm之间)和层厚(约2mm至5mm之间)，此举可以有效提高算法的泛化能力和鲁棒性，适应不同分辨率的ct影像；

(ii)截取医学影像有效数据：

由于某些ct影像中含有金属伪影，会影响后续卷积神经网络的预测，所以首先截断ct值较高的金属伪影；优选地，截取的有效ct值区间为-1000～3000hu；

(iii)将截取后的三维医学影像的灰度值进行min-max标准化；

本实施例中进一步优选的，对于核磁共振影像，预处理包括以下步骤：

(i)将医学影像插值成统一的空间分辨率；

(ii)将核磁共振影像的灰度值进行min-max标准化。

(3)将预处理的三维医学影像输入到训练好的三级联卷积神经网络的第一级网络中识别待分割器官所存在的横断面；此举有利于降低分割假阳率，并通过减少搜索空间来提高分割速度；

(4)将第一级网络筛选出的横断面输入到训练好的三级联卷积神经网络的第二级网络中粗定位待分割器官的感兴趣区域；

(5)对第二级网络输出的感兴趣区域进行标准化，优选地，标准化为z-score标准化；

随后输入到训练好的三级联卷积神经网络的第三级网络中，对感兴趣区域中的所有像素点进行分类，输出三维的二值分割结果；

(6)对三维的二值分割结果进行后处理；

本实施例中进一步优选地，后处理包括腐蚀、膨胀、空洞填充、提取联通区域、并将分辨率恢复到与原医学影像初始空间分辨率相同中的一种或一种以上；

(7)对经过后处理的二值分割结果进行边缘提取，经过边缘平滑后，得到自动勾画的危及器官。

在本发明一个示例性实施例中，以分割腮腺为例，本领域技术人员应当知道，本发明提供的基于三级联卷积神经网络的危及器官自动勾画方法除了适用于腮腺外，还可以用于其他人体器官，本发明中分割腮腺仅为示例性实施例，不用于限定本发明的保护范围。图1所示为本发明的三级联卷积神经网络的算法流程图，该神经网络只需要输入原始dicom格式的三维医学影像(例如ct影像)，网络的输出是与输入尺寸相同的三维分割结果，整个过程实现了全自动。整个三级联卷积神经网络由三个卷积神经网络级联而成，第一神经网络是一个简单的二分类网络，用于识别三维ct中从眉骨到脖颈范围(包含待分割器官)的横断面，因为在实际的临床应用中，不同病人扫描的ct影像往往具有不同的层数，例如有的从颅顶到肺部，还有的从颅顶到腿部，范围差别较大。第一神经网络的输入是二维的横断面切片，第一神经网络由两个卷积层和两个最大池化层构成，每个卷积层后都接bn(batchnormalization)层和relu激活层，网络最后接全连接层并通过softmax产生预测概率值。网络1的好处是可以通过减小搜过空间来加速后续的操作，并且可以降低分割结果的假阳率，图2为第一神经网络的效果示意图。

第二神经网络是一个三维卷积神经网络，这是一个patch级别的粗分割网络，用于分别定位左右腮腺的感兴趣区域(roi)，同时，第二神经网络可以根据不同器官的三维结构和周围组织来将它们区分，达到分别左右的效果。图3是第二神经网络的结构示意图，第二神经网络的输入是从第一神经网络的输出中切割的n×n×m(如60×60×20)大小的三维小块，网络由三个三维卷积层(后接relu激活层)和三个三维池化层构成，高维特征最终通过全连接层和softmax产生预测概率值。第二神经网络改进了以往算法中需要人工提取感兴趣区域(roi)的缺点，达到了全自动的效果，图4是第二神经网络定位roi的效果示意图。

第三神经网络是一个全卷积网络，它是一个像素级的精细分割网络，用于对第二神经网络产生的感兴趣区域(roi)中的每一个像素做识别分类。由于不同医院不同设备拍摄的ct影像腮腺等组织处的灰度值会有些许差异，因此在第三神经网络的训练和预测的过程中，本发明首先对roi区域采用了z-score归一化操作，此举的好处是提高了算法对不同成像设备的鲁棒性。图5是第三网络的结构示意图，第三神经网络的输入是roi区域内n×n(如60×60)大小的二维图像，由于没有全连接层，第三神经网络的输出可以通过反卷积操作恢复到与输入同样的大小，最后通过sigmoid产生对每个像素的预测概率值。

图6～7分别为本发明实施例中同一横断面右侧和左侧腮腺的自动分割勾画结果与医生手工勾画结果的对比图。从图中可以发现，利用本发明提供的自动勾画结果与医生的手动勾画结果高度吻合。图8～9为本发明实施例中右侧腮腺和左侧腮腺不同切面的自动分割结果和三维效果图。从图中可以发现，本发明能够直接产生三维的分割结果，优于医生手工在二维切面上做勾画。

实施例2

本发明还提供一种计算设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括用于上述基于三级联卷积神经网络的危及器官自动勾画方法的指令，方法包括如下步骤：

(1)输入三维医学影像；

(2)对三维医学图像进行预处理；

(3)将预处理的三维医学影像输入到训练好的三级联卷积神经网络的第一级网络中识别待分割器官所存在的横断面；

(4)将第一级网络筛选出的横断面输入到训练好的三级联卷积神经网络的第二级网络中粗定位待分割器官的感兴趣区域；

(5)对第二级网络输出的感兴趣区域进行标准化，随后输入到训练好的三级联卷积神经网络的第三级网络中，对感兴趣区域中的所有像素点进行分类，输出三维的二值分割结果；

(6)对三维的二值分割结果进行后处理；

(7)对经过后处理的二值分割结果进行边缘提取，经过边缘平滑后，得到自动勾画的危及器官；

其中，所述的三级联卷积神经网络模型由第一级网络、第二级网络和第三级网络三个卷积神经网络级联而成。

实施例3

本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述基于三级联卷积神经网络的危及器官自动勾画方法，该方法包括如下步骤：

(1)输入三维医学影像；

(2)对三维医学图像进行预处理；

(3)将预处理的三维医学影像输入到训练好的三级联卷积神经网络的第一级网络中识别待分割器官所存在的横断面；

(4)将第一级网络筛选出的横断面输入到训练好的三级联卷积神经网络的第二级网络中粗定位待分割器官的感兴趣区域；

(5)对第二级网络输出的感兴趣区域进行标准化，随后输入到训练好的三级联卷积神经网络的第三级网络中，对感兴趣区域中的所有像素点进行分类，输出三维的二值分割结果；

(6)对三维的二值分割结果进行后处理；

(7)对经过后处理的二值分割结果进行边缘提取，经过边缘平滑后，得到自动勾画的危及器官；

其中，所述的三级联卷积神经网络模型由第一级网络、第二级网络和第三级网络三个卷积神经网络级联而成。

本发明提供基于三级联卷积神经网络的危及器官自动勾画方法经过临床试验，发现利用本发明提供的自动勾画结果与医生的手动勾画结果高度吻合。本发明提供的自动勾画方法被证明具有不需要先验知识，算法泛化能力好，鲁棒性强，速度快，全自动，分割准确率高的优点，对不同医院不同设备产生的ct影像都具有良好的分割效果，可以在放疗过程中辅助医生进行危及器官的自动勾画。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应当理解，这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、cd-rom、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。