一种基于卷积神经网络的危及器官自动分割方法与流程

本发明涉及图像处理技术领域，特别涉及一种基于卷积神经网络的危及器官自动分割方法。

背景技术：

恶性肿瘤，即人们常说的癌症，目前是一个全球性的难以治疗的疾病，在医学上就等同于夺命杀手，是全球第一大致死因素。其中，肺癌是目前发病率和死亡率增长最快，对人群健康和生命威胁最大的胸腔部恶性肿瘤之一。肺癌的病因至今尚不完全明确，但有大量的资料表明，长期大量吸烟、城市大气污染以及烟尘中含有的致癌物质都可能导致肺癌的发生。除此之外，食道癌也是常见的胸腔部肿瘤，据统计，全世界每年约有30万人死于食管癌，而我国则是世界上食道癌高发地区之一，每年平均病死约15万人。对于这类胸腔部肿瘤的治疗，通常以手术、放化疗、生物疗法联合治疗为主。随着科学技术的发展，放射治疗已经成为治疗恶性肿瘤的三大重要手段之一，大约有60％～70％的肿瘤病人需要接受放射治疗。而在放射治疗中，勾画危及器官(oar)对其进行保护是极为重要的一项任务。

放射治疗技术作为一种非介入式的治疗手段，己经成为一种非常重要的治疗恶性肿瘤的手段。为了实现精确的放射治疗，医生需要在进行放射治疗之前，根据病人的实际情况对ct图像进行勾画并制定精确的放疗计划。并在放疗计划中，根据放疗计划，对图像中已勾画的危及器官进行保护，从而避免放射线对其造成的无关伤害。

由于目前医疗资源的限制以及有经验的医师资源的紧缺，大量ct图像的勾画任务对于医生而言亦是一种巨大负担，不仅效率低，而且主观性强，导致勾画结果不精确，影响放射治疗计划的精确性和治疗的疗效。因此很有必要提供一种胸部ct危及器官自动分割方法来解决上述问题。

技术实现要素：

为了解决现有技术的问题，本发明实施例提供了一种基于卷积神经网络的危及器官自动分割方法，以克服现有技术不能实现危及器官完全自动分割、分割效率低、分割结果精度低以及分割后的图像效果差等问题。

为解决上述技术问题，本发明采用的技术方案是：

一种基于卷积神经网络的危及器官自动分割方法，所述方法包括如下步骤：

s1：获取患者ct图像数据以及相应的标注数据；

s2：对所述ct图形数据以及相应的标注数据进行预处理；

s3：建立3d卷积神经网络模型，输入数据块，获取模型输出的预测结果图像；

s4：优化处理所述3d卷积神经网络模型输出的预测结果图像。

进一步的，所述步骤s2具体包括：

s2.1：对ct图像数据进行清洗；

s2.2：将清洗后的ct图像数据进行重构；

s2.3：根据重构后的ct图像数据构建训练、验证数据集。

进一步的，所述步骤s2.1具体包括：

s2.1.1：去除噪声数据，即对ct图像数据进行筛选，去除带成像伪影的数据；

s2.1.2：对不同ct图像的数据进行标准化处理；

s2.1.3：标注数据规范化，将标注数据在空间坐标轴内的点坐标位置转换为图像坐标轴内的像素位置；

s2.1.4：将标注数据的坐标点连接成闭合区域，并对其进行相应类别的填充。

进一步的，所述步骤s2.2具体包括：

s2.2.1：三维图像重构，将二维ct图像根据实际的相对位置排列重组，重构出三维图像；

s2.2.2：三维数据块随机取样，通过选取随机中心坐标的方式，获取随机数据块，其中，数据块中心即为所选取中心；

s2.2.3：获取与所述随机数据块相对应的低分辨率的数据块。

进一步的，所述步骤s2.3具体包括：

s2.3.1：获取所述随机数据块及其对应的低分辨率的数据块和标注数据，将标注中的不同器官用不同标签区分；

s2.3.2：将有标注的的数据集划分为训练数据集和验证数据集。

进一步的，所述步骤s3具体包括：

s3.1：搭建双通道3d卷积神经网络模型，将所述训练数据集中的数据分别输入模型的两个通道中；

s3.2：将所述训练数据集中的数据分别放入卷积层中进行3d卷积操作，获取特征图；

s3.3：对卷积得到的特征图进行批归一化操作，并对批归一化后的特征图进行非线性激活；

s3.4：分别对激活后的特征图重复步骤s3.2和步骤s3.3的操作，直到主通道生成9x9x9的数据块，辅通道生成3x3x3的数据块，对3x3x3的数据块进行上采样，生成与主通道输出大小一致的数据块；

s3.5：对双通道所得的输出数据块进行级联操作，并将其放入1x1x1的卷积层中进行全连接操作，获取模型输出的预测结果图像。

进一步的，所述步骤s3还包括：

设置超参数，训练所述3d卷积神经网络模型。

进一步的，所述设置超参数，训练所述3d卷积神经网络模型具体包括：

确定超参数的取值范围，然后使用网格搜索方法，分别用每组参数进行试验，选取最优的超参数。

进一步的，所述步骤s4具体包括：

s4.1：对所述预测结果图像的连通区域进行重新标记；

s4.2：建立条件随机场模型，利用原始ct图像和预测结果图像对所述条件随机场模型进行训练，获取优化后的图像。

进一步的，所述步骤s4.1具体包括：

s4.1.1：对所述预测结果图像进行二值化操作，将前景图像灰度值设置为255，背景图像灰度值设置为0；

s4.1.2：遍历所述预测结果图像，寻找各个连通的区域；

s4.1.3：对获得的各个连通的区域重新标记，使得同一连通的标记相同。

进一步的，所述步骤s4.2具体包括：

s4.2.1：分离所述预测结果图像的各个类别，获取图像中各个像素属于某个类别的概率图；

s4.2.2：建立条件随机场模型，预测某一像素属于各个类别的概率；

s4.2.3：利用原始ct图像和所述各个类别概率图对所述条件随机场模型进行训练，获取优化后的图像。

本发明实施例提供的技术方案带来的有益效果是：

1、本发明实施例提供的基于卷积神经网络的危及器官自动分割方法，仅需要获取ct图像数据，使得原始数据的获取难度较小，应用范围较广；

2、本发明实施例提供的基于卷积神经网络的危及器官自动分割方法，利用现有数据资源，结合人工智能领域下机器学习、深度学习以及计算机视觉的相关算法，研发放疗过程中ct图像危及器官自动分割方案，实现ct影像中危及器官的自动分割，且分割过程无需人工干涉，有效提高分割效率以及分割结果精度，且对减轻医师的工作压力，降低就医成本，提高就医效率，缓解医疗资源紧缺都具有重大的意义，并且可有效缓解医疗资源缺乏的问题，推动医疗事业发展；

3、本发明实施例提供的基于卷积神经网络的危及器官自动分割方法，通过增加后处理操作，对分割结果进行进一步优化，去除图像中离散的噪声点和小噪声块，使得输出结果为光滑后的图像。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的基于卷积神经网络的危及器官自动分割方法的流程图；

图2是是根据一示例性实施例示出的对ct图形数据以及相应的标注数据进行预处理的流程图；

图3是根据一示例性实施例示出的建立3d卷积神经网络模型，输入数据块，获取模型输出的预测结果图像的流程图；

图4是是根据一示例性实施例示出的3d卷积神经网络模型结构示意图；

图5是是根据一示例性实施例示出的优化处理所述3d卷积神经网络模型输出的预测结果图像的流程图。

图6是是根据一示例性实施例示出的池化操作的示意图；

图7是是根据一示例性实施例示出的上采样的过程的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据一示例性实施例示出的基于卷积神经网络的危及器官自动分割方法的流程图，参照图1所示，所述方法包括如下步骤：

s1：获取患者ct图像数据以及相应的标注数据。

具体的，从医院影像科获取患者ct图像数据，并从标注平台上获取相应的标注数据，其中，标注数据包括患者胸部危及器官的勾画数据。由于只需获取ct图像数据及其标注数据，因此，原始数据的获取难度较小，应用范围较广。

s2：对所述ct图形数据以及相应的标注数据进行预处理。

具体的，对获取到的ct图形数据以及相应的标注数据进行预处理，其中，预处理包括：数据清洗、数据重构以及构建训练、验证数据集等。

s3：建立3d卷积神经网络模型，输入数据块，获取模型输出的预测结果图像。

具体的，本发明实施例提供的基于卷积神经网络的危及器官自动分割方法中，搭建的是双通道3d卷积神经网络模型，模型搭建好了以后，将上述训练数据集和验证数据集分别输入模型中，对模型进行训练和验证，并获取模型输出的预测结果图像。

通过搭建双通道3d卷积神经网络模型对ct影像中危及器官进行自动分割，分割过程无需人工干涉，对减轻医师的工作压力，降低就医成本，提高就医效率，缓解医疗资源紧缺都具有重大的意义，并且可有效缓解医疗资源缺乏的问题，推动医疗事业发展。

s4：优化处理所述3d卷积神经网络模型输出的预测结果图像。

具体的，对所述3d卷积神经网络模型输出的预测结果图像进行进一步处理，优化预测结果图像，去除图像中离散的噪声点和小噪声块，使得输出结果为光滑后的图像。

图2是根据一示例性实施例示出的对ct图形数据以及相应的标注数据进行预处理的流程图，参照图2所示，对ct图形数据以及相应的标注数据进行预处理具体包括：

s2.1：对ct图像数据进行清洗。

进一步的，对ct图像数据进行清洗具体包括：

s2.1.1：去除噪声数据，即对ct图像数据进行筛选，去除带成像伪影的数据。

具体的，ct图像数据在成像过程中可能因为硬件系统故障或误差和人为因素造成伪影。伪影的形成会造成图像质量的下降，甚至影响对病变的分析和诊断。因此，针对ct图像，需要对其进行筛选，剔除带明显成像伪影的数据。

s2.1.2：对不同ct图像的数据进行标准化处理。

具体的，由于设备和采集参数的差异性，不同ct图像的窗位与窗宽也可能不同，图像灰度可能因此产生较大差异，需对其进行标准化。通过读取ct图像的原始dicom文件信息中的窗位和窗宽，将原始特征进行变换操作，其具体计算公式如下：

wmin＝wcenter-0.5×wwidth

wmax＝wcenter+0.5×wwidth

其中，wcenter和wwidth分别表示dicom文件中的窗位和窗宽信息，i为图像上所有像素的集合，ii∈i。

s2.1.3：标注数据规范化，将标注数据在空间坐标轴内的点坐标位置转换为图像坐标轴内的像素位置。

具体的，将标注数据在空间坐标轴内的点坐标位置转换为图像坐标轴内的像素位置，通过dicom文件信息中的图像位置(imageposition)和像素间距(pixelspacing)的相关关系进行转换，转换公式如下：

其中，[xi，yi]表示标注的点坐标，[xnew_i，ynew_i]表示转换后的像素位置，[x^*，y^*]表示图像位置，即图像的左上角在空间坐标系中的x，y坐标，pixel_spacing即为所读取dicom文件中的像素间距参数。

s2.1.4：将标注数据的坐标点连接成闭合区域，并对其进行相应类别的填充。

具体的，通过bresenham算法依次生成相邻两个坐标间的直线，形成闭环，并用opencv库中的fillpoly方法对闭合区域进行填充。

s2.2：将清洗后的ct图像数据进行重构。

进一步的，将清洗后的ct图像数据进行重构具体包括：

s2.2.1：三维图像重构，将二维ct图像根据实际的相对位置排列重组，重构出三维图像。

具体的，上述从医院影像科获取的患者ct图像数据一般为二维图像，将乱序二维图像根据实际的相对位置(slicelocation)排列重组，重构出三维图像。

s2.2.2：三维数据块随机取样，通过选取随机中心坐标的方式，获取随机数据块，其中，数据块中心即为所选取中心。

具体的，本发明采用的双通道3d卷积神经网络模型是基于块的深度神经网络模型，为了降低计算开销、减少训练时间、提高模型效率，因此需要对重构出的三维图像数据和对应标注数据进行数据块随机采样。本发明实施例通过选取随机中心坐标的方式，获得随机数据块，数据块大小优选为25x25x25，数据块中心即为所选取中心(即选取的随机中心坐标对应的点)。

s2.2.3：获取与所述随机数据块相对应的低分辨率的数据块。

具体的，基于算法要求，还需要获取与步骤s2.2.2中所获取的随机数据块相对应的低分辨率但高感受野的数据块。具体实施时，可以通过步骤s2.2.2中选取的随机中心坐标，获取原数据3倍大小的数据块，并对其进行池化操作，生成大小为19x19x19的低分辨率数据块。此处池化操作采用maxpooling来进行，选择四个小格子中最大的数字，池化操作具体参照图6所示。

s2.3：根据重构后的ct图像数据构建训练、验证数据集。

进一步的，根据重构后的ct图像数据构建训练、验证数据集具体包括：

s2.3.1：获取所述随机数据块及其对应的低分辨率的数据块和标注数据，将标注中的不同器官用不同标签区分。

具体的，对于上述步骤获取的随机数据块及其对应的低分辨率的数据块和标注数据，将标注中的不同器官用不同标签区分。例如，设置“0”为背景，“1”为食管，“2”为心脏，“3”为脊柱，“4”为左肺，“5”为右肺。

s2.3.2：将有标注的的数据划分为训练数据集和验证数据集。

具体的，将有标注的数据划分为训练数据集和验证数据集两部分。本发明实施例采用80％的原始数据作为训练数据集用以训练模型，20％的数据作为验证数据集用于验证模型。

图3是根据一示例性实施例示出的建立3d卷积神经网络模型，输入数据块，获取模型输出的预测结果图像的流程图，参照图3所示，建立3d卷积神经网络模型，输入数据块，获取模型输出的预测结果图像具体包括：

s3.1：搭建双通道3d卷积神经网络模型，将所述训练数据集中的数据分别输入模型的两个通道中。

具体的，针对分割任务，搭建双通道3d卷积神经网络模型。该模型是一个基于块训练的全卷积神经网络，具有双通道结构，主通道处理正常分辨率数据块(及上述随机数据块)，辅通道处理低分辨率数据块(及与随机数据块对应的低分辨率的数据块)。主通道获取图像细节信息，辅通道获取图像位置信息以及周围整体信息。

将上述步骤中获取的训练数据集和验证数据集分别输入模型的两个通道中，对模型进行训练和验证，并获取模型输出的预测结果图像。

s3.2：将所述训练数据集中的数据分别放入卷积层中进行3d卷积操作，获取特征图。

具体的，将随机数据块及其对应的低分辨率的数据块中的数据分别放入卷积层c1i(k1i，f1i)和c2i(k2i，f2i)，(i＝1)中进行3d卷积操作，其中，k1i表示主通道第i层卷积的卷积核大小，k2i表示辅通道第i层卷积的卷积核大小，f1i和f2i分别表示主通道和辅通道的第i层卷积输出的特征图个数。

s3.3：对卷积得到的特征图进行批归一化操作，并对批归一化后的特征图进行非线性激活。

具体的，对卷积得到的特征图进行批归一化操作，并对批归一化后的特征图进行非线性激活，本发明实施例中的激活函数采用relu函数。

s3.4：分别对激活后的特征图重复步骤s3.2和步骤s3.3的操作，直到主通道生成9x9x9的数据块，辅通道生成3x3x3的数据块，对3x3x3的数据块进行上采样，生成与主通道输出大小一致的数据块。

具体的，针对i＝2，3，4…，分别对激活后所得的特征图重复步骤s3.2和步骤s3.3的操作，直到主通道最后生成9x9x9的数据块，辅通道生成3x3x3的数据块。对3x3x3的数据块进行上采样(即反卷积)，生成与主通道输出大小一致的数据块(即也生成9x9x9的数据块)。上采样的过程参照图7所示。

s3.5：对双通道所得的输出数据块进行级联操作，并将其放入1x1x1的卷积层中进行全连接操作，获取模型输出的预测结果图像。

具体的，参照图4所示，图4是是根据一示例性实施例示出的3d卷积神经网络模型结构示意图，最后模型输出的预测结果图像的大小为9x9x9。

进一步的，所述步骤s3还包括：

设置超参数，训练所述3d卷积神经网络模型。

具体的，本发明实施例中，双通道3d卷积神经网络使用的目标函数为softmax交叉熵函数，其定义如下：

其中，e(t，y)表示期望，t，y分别表示神经网络的目标标签和函数softmax输出。

3d卷积神经网络模型所使用的最优化方法为rmsprop，其公式如下：

其中，α为学习率，t表示epoch的次数，g表示梯度，gt即为第t步的梯度，θt为第t步的模型参数，ε是平滑项，用于避免分母为0，一般取值为1e-8。

进一步的，所述设置超参数，训练所述3d卷积神经网络模型具体包括：

对于3d卷积神经网络模型，可以先确定超参数的取值范围，然后使用网格搜索方法选择最优的超参数。例如，假设一个模型有n个参数，每个参数pi存在ni个候选值，通过排列组合，就会产生种参数组合方式，分别用每组参数进行试验，搜索最佳参数。

图5是根据一示例性实施例示出的优化处理所述3d卷积神经网络模型输出的预测结果图像的流程图，参照图3所示，优化处理所述3d卷积神经网络模型输出的预测结果图像具体包括：

s4.1：对所述预测结果图像的连通区域进行重新标记。

具体的，由于3d卷积神经网络模型输出的预测结果图像有可能出现中间类混淆的问题，因此需要对述预测结果图像的各个连通的区域进行重新标记。

进一步的，对所述预测结果图像的连通区域进行重新标记具体包括：

s4.1.1：对所述预测结果图像进行二值化操作，将前景图像灰度值设置为255，背景图像灰度值设置为0。

具体的，对预测结果图像进行二值化操作，通过调用opencv库中的threshold函数将前景图像灰度值设置为255，背景图像灰度值设置为0。由于预测结果采用标签“0”为背景，“1”为食管，“2”为心脏，“3”为脊柱，“4”为左肺，“5”为右肺，所以threshold函数中采用的阈值为0，即标签大于0的像素点的灰度均置为255。

s4.1.2：遍历所述预测结果图像，寻找各个连通的区域。

具体的，遍历过程中采用的像素相邻方式为4-邻域，即当a像素为b像素的上下左右任一像素时，我们称a像素与b像素连通。

s4.1.3：对获得的各个连通的区域重新标记，使得同一连通的标记相同。

s4.2：建立条件随机场模型，利用原始ct图像和预测结果图像对所述条件随机场模型进行训练，获取优化后的图像。

进一步的，所述步骤s4.2具体包括：

s4.2.1：分离所述预测结果图像的各个类别，获取图像中各个像素属于某个类别的概率图。

具体的，获取预测模型中softmax函数输出结果(即3d卷积神经网络模型输出的预测结果图像)，分离所述预测结果图像的各个类别，获取图像中各个像素属于某个类别的概率图，其个数与类别数目相同。

s4.2.2：建立条件随机场模型，预测某一像素属于各个类别的概率。

具体的，本发明实施例中条件随机场建模公式如下：

其中，下标i表示当前所在的节点位置(t为总节点数)，下标k表示第k个特征函数(m为总特征)，λk表示其权重，则p(i|o)表示了在给定的一条观测序列o的条件下，条件随机场求出来的隐状态序列i的概率。即在图像中，在已知某一像素周围像素类别的条件下，预测该像素属于各个类别的概率。

s4.2.3：利用原始ct图像和所述各个类别概率图对所述条件随机场模型进行训练，获取优化后的图像。

具体的，利用原始ct图像和所述各个类别概率图对所述条件随机场模型进行训练，输出为光滑后的预测结果图像。该操作可以去除图像中离散的噪声点和小噪声块。

综上所述，本发明实施例提供的技术方案带来的有益效果是：

1、本发明实施例提供的基于卷积神经网络的危及器官自动分割方法，仅需要获取ct图像数据，使得原始数据的获取难度较小，应用范围较广；

2、本发明实施例提供的基于卷积神经网络的危及器官自动分割方法，利用现有数据资源，结合人工智能领域下机器学习、深度学习以及计算机视觉的相关算法，研发放疗过程中ct图像危及器官自动分割方案，实现ct影像中危及器官的自动分割，且分割过程无需人工干涉，有效提高分割效率以及分割结果精度，且对减轻医师的工作压力，降低就医成本，提高就医效率，缓解医疗资源紧缺都具有重大的意义，并且可有效缓解医疗资源缺乏的问题，推动医疗事业发展；

3、本发明实施例提供的基于卷积神经网络的危及器官自动分割方法，通过增加后处理操作，对分割结果进行进一步优化，去除图像中离散的噪声点和小噪声块，使得输出结果为光滑后的图像。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。