基于深度学习的胃肠道间质瘤中核分裂象智能检测方法与流程

本发明涉及一种胃肠道间质瘤中核分裂象检测方法。特别是涉及一种基于深度学习的胃肠道间质瘤中核分裂象智能检测方法。

背景技术：

胃肠道间质瘤是一类起源于胃肠道间叶组织的肿瘤，占消化道间叶肿瘤的大部分，是最常见的腹部软组织恶性肿瘤。胃肠道间质瘤最常见于胃(50％～60％)、其次是小肠(30％～35％)、结肠和直肠(5％)、食道(<1％)，以及少部分消化道外(肠系膜，大网膜和腹膜后；<5％)。平均诊断年龄为63岁，无性别差异。胃肠道间质瘤患者常因肿瘤位于黏膜下层和肌层而无特征性症状,故术前诊断较为困难。传统的辅助检查缺乏特异性,内镜和影像学检查仅有助于确定肿瘤部位。病理诊断依靠应用超声内镜下细针穿刺活检得到组织样本,其诊断准确率较高，是胃肠道间质瘤诊断的“金标准”。因此,胃肠道间质瘤的诊断应结合临床症状、体征、消化道内镜及影像学检查,但最终必须依靠病理诊断。

病理学上使用苏木精-伊红染色方法处理活检采集的组织样本制成病理切片，染色试剂中中苏木精可以使细胞核内的染色质与胞质内的核酸着紫蓝色，而试剂中的伊红可以使细胞质和细胞外基质中的成分着红色，从而方便医生对病理切片进行观察。医生在显微镜下观察病理切片中的相关特征，从而判断患者的胃肠道间质瘤的危险程度。其中，核分裂象数量是一个非常重要的指导指标——显微镜视野内的核分裂象数目是医生判断胃肠道间质瘤危险程度的重要指标。核分裂象指的是细胞中处于有丝分裂前期、有丝分裂中期、有丝分裂后期和有丝分裂末期的细胞的统称。

深度学习方法作为一种机器学习算法，以其应用场景多、应用效果好等优点被广泛应用到医学的诊断中。深度学习方法起源于人工神经网络，它是一种对人类大脑中神经元的人工模拟，从而产生优异的拟合能力、泛化能力和问题解决能力。它被应用于自然语言处理、图像识别、语音识别等领域，而在图像识别领域，它又可细分为语义分割、目标检测、实例分割等方面。

由于病理切片图像中核分裂象的形态多变，其可以细分为前期、中期、后期和末期，使检测较为困难；图片中存在某些易混淆对象，如凋亡细胞，增大了检测难度；病理图像中非核分裂象细胞远多于核分裂象细胞，进一步降低了检测准确率，提高了检测难度。而深度学习方法具有泛化能力强等特征，非常适用于这种复杂情况下目标的检测。如近年来在目标检测领域应用效果良好的fasterr-cnn，其具有较高的检测准确率。但是由于病理图片具有类别单一、前景-背景极度不均衡等特点，需要一种结合深度学习检测方法、分割方法和分类方法的苏木精-伊红染色病理切片图像中核分裂象检测计数的方法。

技术实现要素：

本发明所要解决的技术问题是，提供一种基于深度学习的胃肠道间质瘤中核分裂象智能检测方法。

本发明所采用的技术方案是：一种基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，包括如下步骤：

1)对获取的苏木精-伊红染色病理图像进行预处理；

2)使用efficientdet-d0作为深度学习检测模型，并对深度学习检测模型进行训练；

3)使用u-net作为深度学习分割模型，并对深度学习分割模型进行训练；

4)构建深度学习分类模型；

5)训练深度学习分类模型；

6)使用训练好的深度学习检测模型对被试者的苏木精-伊红染色病理图像进行检测；

7)使用深度学习分割模型对病理图像进行分割，对分割后的结果进行检测；

8)将基于深度学习检测模型的核分裂象检测结果和基于深度学习分割模型的核分裂象检测结果进行比对，得到最终分类结果。

本发明的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，使用深度学习中分割算法对切片图像中的核分裂象和无关背景进行分割，根据分割结果对核分裂象的轮廓进行检测，同时将病理图像输入目标检测网络得到检测结果，然后参考分割得到的结果和检测得到的结果得到最终结果，从而为医生的病理诊断提供精准的中间数据。本发明可安装在服务器电脑上，通过分析输入的苏木精-伊红染色图像，检测其中核分裂象的数量，实现对胃肠道间质瘤危险程度的判断。

附图说明

图1是本发明基于深度学习的胃肠道间质瘤中核分裂象智能检测方法的流程图；

图2是本发明构建的深度学习分类模型的结构示意图；

图3是本发明所构建深度学习分类模型中第一卷积单元的结构示意图。

具体实施方式

下面结合实施例和附图对本发明的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法做出详细说明。

如图1所示，本发明的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，包括如下步骤：

1)对获取的苏木精-伊红染色病理图像进行预处理；包括：

(1)分别对每一个苏木精-伊红染色病理图像进行切块，分割成512*512大小；

(2)对切块后的病理图像使用高斯模糊方法进行去噪：

其中，g(u,v)代表高斯核在(u,v)的值，u和v分别表示图像空间坐标；表征模糊半径；σ是正态分布的标准差，为避免图像尺寸缩小，本发明在图像四周填充近邻值；

(3)对去噪后的病理图像采用如下公式进行正则化处理：

其中，ir、ig、ib分别代表正则化之前的红色通道、绿色通道和蓝色通道的像素值，i'r、i'g、i'b分别代表正则化之后的红色通道、绿色通道和蓝色通道的像素值；ur、ug、ub分别代表正则化之前所有病理图像的红色通道、绿色通道和蓝色通道的像素值均值；σr、σg和σb分别代表正则化之前所有病理图像的红色通道、绿色通道和蓝色通道的像素值标准差，计算公式如下：

其中，h和w分别代表图像的纵向高度和横向宽度，代表图像x在i,j位置上通道c的像素值，c＝r,g,b。

2)使用efficientdet-d0作为深度学习检测模型，并对深度学习检测模型进行训练；

具体是：使用efficientdet-d0作为深度学习检测模型，将预处理后的病理图像打乱顺序后输入到所述的深度学习检测模型中，使用adam优化器对所述的深度学习检测模型进行训练，批大小设置为每批8张图片，初始的学习率设置为0.001，并且每3000次迭代降低一次学习率，每次学习率降低为0.9，训练中使用的损失函数为focalloss，公式如下：

其中，p为深度学习检测模型对目标类别预测的概率，y为真正的类别标签，γ设置为2；

在训练50000次迭代后得到训练好的深度学习检测模型。

3)使用u-net作为深度学习分割模型，并对深度学习分割模型进行训练；

具体是：采用u-net作为深度学习分割模型，将预处理后的病理图像打乱顺序后输入所述的深度学习分割模型，并将深度学习分割模型得到的结果与输入图像相对应的掩膜进行对比训练，训练过程中，使用随机梯度下降优化器，所述随机梯度下降优化器的惯性参数设置为0.9，初始的学习率设置为0.01，并且每3000次迭代降低一次学习率，每次学习率降低为0.9，训练中使用的损失函数为diceloss，公式如下：

其中，ix是深度学习分割模型得到的分割结果，iy是掩膜；

在训练50000次迭代后得到训练好的深度学习分割模型。

4)构建深度学习分类模型；

所述的深度学习分类模型，包括：依次连接的第一卷积层、第一批量标准化层、第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元、输入一维化层、第一全连接层、第二全连接层、概率预测层；其中，所述第一卷积层的输入为外部输入数据，所述概率预测层的输出构成深度学习分类模型的概率输出；

所述的第一卷积单元、第二卷积单元、第三卷积单元和第四卷积单元结构相同，均包括：依次连接的第一最大池化层、第二卷积层、第二批量标准化层、第三卷积层、第三批量标准化层、第四卷积层、第四批量标准化层和第一跳跃连接融合层；其中最大池化层和跳跃连接融合层的输入为外部输入数据，最终从第一跳跃连接融合层输出；

所述的所述的深度学习分类模型中：

所述的第一～第四卷积层，通过卷积计算从模型的输入中提取有效特征，运算如下式：

x^l＝f(∑x^l-1*w^l+b^l)

其中，x^l和x^l-1分别表示当前层卷积层和上一卷积层的特征图，w^l表示权重，b^l表示偏置，f表示激活函数，选用relu激活函数；

所述的第一～第四批量标准化层，用于对每批数据进行标准化，减小输入特征的特征分布的差异，提高预测效果；

每个所述的最大池化层，用于扩大感受野，利用一个矩阵窗口在特征图上进行扫描，将每个矩阵中元素通过池化方法来减少元素的个数，保持特征的空间位置关系；

所述的输入一维化层用于将输入的多维数据扁平化，从而得到一维输出，用于第一全连接层；

第一全连接层和第二全连接层用于对输入特征进行进一步加工处理，起到对输入特征的特征空间进行变换的效果；

所述的概率预测层用于分别预测数据属于核分裂象和属于非核分裂象的概率。

5)训练深度学习分类模型；包括：

(1)对预处理后的病理图像进行切块，切割成大小为100*100的图像块，保证图像块中心存在细胞，然后依照切块后的病理图像块的中心细胞的类型进行分类，分为核分裂象和非核分裂象两类；

(2)将切块的病理图像打乱顺序并且输入到深度学习分类模型中进行分类；

(3)将分类结果和真实类别进行对比训练，训练过程中，使用随机梯度下降优化器，将随机梯度下降优化器的惯性参数设置为0.9，初始的学习率设置为0.01，并且每3000次迭代降低一次学习率，每次学习率降低为0.9，训练中使用的损失函数为binarycross-entropyloss，公式如下：

其中，m代表预处理后病理图像的数量，pk代表深度学习分类模型预测对图像k预测的属于核分裂象的概率，lk代表图像k的真实类别标签。

在训练50000次迭代后得到训练好的深度学习分类模型。

6)使用训练好的深度学习检测模型对被试者的苏木精-伊红染色病理图像进行检测；

具体是：将被试者的苏木精-伊红染色病理图像采用步骤1)的方式进行预处理，得到预处理后的病理图像，并且将预处理后的病理图像输入到训练好的深度学习检测模型中，得到核分裂象的边界框和类别，然后剔除其中边界框的面积大于10000和小于25的假例，得到基于深度学习检测模型的核分裂象检测结果。

7)使用深度学习分割模型对病理图像进行分割，对分割后的结果进行检测；

具体上：将步骤6)预处理后的被试者的苏木精-伊红染色病理图像输入训练好的深度学习分割模型，得到分割结果，然后使用高斯模糊方法对分割结果进行处理，再采用大津(otsu)算法对处理后的结果进行二值化，得到二值化的分割结果，采用opencv中findcontours工具来提取前景中的核分裂象的轮廓，并且剔除核分裂象的轮廓的像素面积大于8000和小于25的假例，得到基于深度学习分割模型的核分裂象检测结果。

8)将基于深度学习检测模型的核分裂象检测结果和基于深度学习分割模型的核分裂象检测结果进行比对，得到最终分类结果。具体包括：

遍历基于深度学习分割模型的核分裂象检测结果中的边界框，并和基于深度学习检测模型的核分裂象检测结果中的边界框采用交并比计算公式进行比对，当二者的交并比(iou)大于阈值0.7时，认为边界框位置处存在核分裂象，交并比计算公式如下：

否则，将边界框所在区域剪裁成100*100的图像块，并输入训练好的深度学习分类模型进行进一步分类，得到最终的检测结果，并且对边界框进行计数。