用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统的制作方法

本发明涉及一种胃肠道间质瘤中核分裂象检测方法。特别是涉及一种用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统。

背景技术：

胃肠道间质瘤是一类起源于胃肠道间叶组织的肿瘤，占消化道间叶肿瘤的大部分，是最常见的腹部软组织恶性肿瘤。胃肠道间质瘤最常见于胃(50％～60％)、其次是小肠(30％～35％)、结肠和直肠(5％)、食道(<1％)，以及少部分消化道外(肠系膜，大网膜和腹膜后；<5％)。平均诊断年龄为63岁，无性别差异。胃肠道间质瘤主要由梭形细胞和上皮样细胞构成，少数可见多形性肿瘤细胞，甚至破骨细胞样巨细胞.依据梭形和上皮样细胞的比例可分为上皮样细胞型、梭形细胞型和混合细胞型.排列方式多样，梭形细胞多以束状、漩涡状和栅栏状排列为主，上皮样细胞常呈弥漫片巢状排列.部分肿瘤可伴有囊性变、透明变性、黏液变性及钙化，并可见核周空泡细胞和印戒样肿瘤细胞，少数肿瘤间质可见"丝团样纤维"。胃肠道间质瘤患者常因肿瘤位于黏膜下层和肌层而无特征性症状，故术前诊断较为困难。传统的辅助检查缺乏特异性，内镜和影像学检查仅有助于确定肿瘤部位。病理诊断依靠应用超声内镜下细针穿刺活检得到组织样本，其诊断准确率较高，是胃肠道间质瘤诊断的“金标准”。因此，胃肠道间质瘤的诊断应结合临床症状、体征、消化道内镜及影像学检查，但最终必须依靠病理诊断。

医学上使用苏木精-伊红染色方法处理活检采集的组织样本制成病理切片，染色试剂中苏木精可以使细胞核内的染色质与胞质内的核酸着紫蓝色，而试剂中的伊红可以使细胞质和细胞外基质中的成分着红色，从而方便医生对病理切片进行观察。医生在显微镜下观察病理切片中的相关特征，从而判断患者的胃肠道间质瘤的危险程度。其中，核分裂象数量是一个非常重要的指导指标——显微镜视野内的核分裂象数目是医生判断胃肠道间质瘤危险程度的重要指标。本发明将深度学习中语义分割方法引入到胃肠道间质瘤诊断中，实现对病理切片中核分裂象的检测。

深度学习方法作为一种机器学习算法，以其应用场景多、应用效果好等优点被广泛应用到医学的诊断中。深度学习方法起源于人工神经网络，它是一种对人类大脑中神经元的人工模拟，从而产生优异的拟合能力、泛化能力和问题解决能力。它被应用于自然语言处理、图像识别、语音识别等领域，而在图像识别领域，它又可细分为语义分割、目标检测、实例分割等方面。

由于病理切片图像中核分裂象的形态多变，其可以细分为前期、中期、后期和末期，使检测较为困难；图片中存在某些易混淆对象，如凋亡细胞，增大了检测难度；病理图像中非核分裂象细胞远多于核分裂象细胞，进一步降低了检测准确率，提高了检测难度。而深度学习方法具有泛化能力强等特征，非常适用于这种复杂情况下目标的检测。如近年来在目标检测领域应用效果良好的fasterr-cnn，其具有较高的检测准确率。但是由于病理图片具有类别单一、前景-背景极度不均衡等特点，需要一种新的基于深度学习的检测方法。

技术实现要素：

本发明所要解决的技术问题是，提供一种为医生实现对胃肠道间质瘤危险程度的诊断提供精准的中间数据的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统。

本发明所采用的技术方案是：一种用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，包括如下步骤：

1)对获取的所有苏木精-伊红染色病理图像进行预处理；

2)建立深度学习分割模型；

3)将预处理后的所有病理图像输入深度学习分割模型，对深度学习分割模型进行训练；

4)采集被试者的苏木精-伊红染色病理图像，并对苏木精-伊红染色病理图像进行预处理；

5)将预处理后的被试者的苏木精-伊红染色病理图像输入训练好的深度学习分割模型，进行分割处理，得到到分割结果；

6)对分割结果中的核分裂象轮廓进行提取及计数。

本发明的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，使用深度学习中的语义分割网络对切片图像中的核分裂象和无关背景进行分割，并根据分割结果对核分裂象的轮廓进行检测和核分裂象计数，从而为医生的病理诊断提供诊断指标。本发明可安装在服务器电脑上，通过分析输入的苏木精-伊红染色图像，检测其中核分裂象的数量，为医生实现对胃肠道间质瘤危险程度的诊断提供精准的中间数据。

附图说明

图1是本发明的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统的流程图；

图2是本发明中建立的深度学习分割模型的结构示意图。

具体实施方式

下面结合实施例和附图对本发明的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统做出详细说明。

本发明的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，是针对移动端计算能力弱、运行内存低的特点进行针对性的调整，使用浅层深度学习分割模型并为了减少算力进行了相应的调整，最终实现核分裂象检测的检测计数，从而得到用于协助医生对患者胃肠道间质瘤危险程度进行判断的中间数据。

如图1所示，本发明的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，包括如下步骤：

1)对所有苏木精-伊红染色病理图像预处理；包括：

(1)分别将每一张图像进行切块，将每一张待检测的苏木精-伊红染色病理图像切块成512*512大小，减轻移动端的计算负荷；

(2)对切块后的病理图像使用高斯模糊方法实现去噪：

其中，g(u,v)代表高斯核在u,v的值，u和v分别表示图像空间坐标，表征模糊半径r，σ是正态分布的标准差；

当模糊半径r为1，标准差σ为1.5时，g(u,v)的3×3的高斯核为：

本发明使用以上高斯核对得到的图像块进行卷积以得到去噪的图像，为避免图像尺寸缩小，本发明使用在图像四周填充近邻值。

(3)对去噪后的病理图像进行正则化处理；根据对于苏木精-伊红染色病理切片图像的先验知识，采用以下公式进行正则化：

其中，ir、ig、ib分别代表正则化之前的红色通道、绿色通道和蓝色通道的像素值，i'r、i'g、i'b分别代表正则化之后的红色通道、绿色通道和蓝色通道的像素值；ur、ug、ub表示在公开数据集mitosdataset@icpr2012中采集器a所采集数据在红色通道、绿色通道和蓝色通道上的均值；σr、σg和σb分别表示在公开数据集mitosdataset@icpr2012中采集器a所采集数据在红色通道、绿色通道和蓝色通道上的标准差。

2)建立深度学习分割模型，其中所述的深度学习分割模型如图2所示，包括：依次连接的第一卷积块1、第二卷积块2、第三卷积块3、第一全局池化层4、第一权重预测层5、第一注意力融合6、第四卷积块7、第五卷积块8、概率预测层9；依次连接的第一最大池化层10、第六卷积块11、第七卷积块12、第八卷积块13、第二全局池化层14、第二权重预测层15、第二注意力融合16、第九卷积块17、第十卷积块18、第一反卷积层19；依次连接的第二最大池化层20、第十一卷积块21、第十二卷积块22、第十三卷积块23、第三全局池化层24、第三权重预测层25、第三注意力融合26、第十四卷积块27、第十五卷积块28、第二反卷积层29；依次连接的第三最大池化层30、第十六卷积块31、第十七卷积块32、第十八卷积块33、第三反卷积层34；其中，所述第一卷积块1的输入为外部输入数据，所述第二卷积块2的输出还构成第一最大池化层10的输入，第一反卷积层19的输出也构成第一注意力融合6的输入，第七卷积块12的输出还构成第二最大池化层20的输入，第二反卷积层29的输出也构成第二注意力融合16的输入，第十二卷积块22的输出还构成第三最大池化层30的输入，第三反卷积层34的输出也构成第三注意力融合26的输入，最终，输出结果从概率预测层9输出；其中，

第一～第十八卷积块由1个卷积层、1个批量标准化层和1个激活函数层串联组成，用于从输入中提取有效特征，激活函数层使用relu作为激活函数；

第一～第三最大池化层用于扩大感受野，利用一个矩阵窗口在特征图上进行扫描，将每个矩阵中元素通过池化方法来减少元素的个数，保持特征的空间位置关系；

第一～第三反卷积层用于扩大输入数据的形状，添加细节特征；

第一～第三全局池化层用于为每个特征图预测一个值用于权重的预测；

第一～第三权重预测层用于根据全局池化层输出的每个特征图的值来预测相应特征图的权重，权重预测层使用的sigmoid函数公式如下：

其中，v代表全局池化层输出的每个特征图的值；

第一～第三注意力融合层用于融合所连接的权重预测层和反卷积层的结果，将权重预测层得到的每个特征图的权重应用到反卷积层的结果上；

所述的概率预测层用于预测输入的每个点属于核分裂象的概率。

3)将预处理后的所有病理图像输入深度学习分割模型，对深度学习分割模型进行训练，具体包括：

将预处理后的病理图像输入建立的深度学习分割模型，并将深度学习分割模型得到的结果与输入图像相对应的掩膜进行对比训练，训练过程中，使用随机梯度下降优化器，将随机梯度下降优化器的惯性参数设置为0.9，初始的学习率设置为0.01，并且每3000次迭代降低一次学习率，每次降低0.9，训练中使用的损失函数为diceloss，公式如下：

其中，ix是深度学习分割模型的分割结果，iy是真正的掩膜；

在训练50000次迭代后得到训练好的深度学习分割模型。

4)采集被试者的苏木精-伊红染色病理图像，并对苏木精-伊红染色病理图像进行步骤1)所述的预处理；

5)将预处理后的被试者的苏木精-伊红染色病理图像输入训练好的深度学习分割模型，进行分割处理，得到分割结果；

6)对分割结果中的核分裂象轮廓进行提取及计数。具体包括：

(1)使用高斯模糊方法对分割结果进行处理，再采用大津(otsu)算法对处理后的结果进行二值化，得到二值化的分割结果；

针对分割结果均匀度较差的问题，采用大津(otsu)算法对分割结果进行二值化。大津算法是一种通过统计整个图像的直方图特性来实现全局阈值t的自动选取的算法，其应用思想是寻找能够最大化前景和背景的方差的阈值，最终起到对分割图像进行前景提取的作用，并且该方法能够一定程度上起到剔除噪声区域的作用。其算法流程如下：

(i)计算图像的灰度直方图并进行归一化；

(ii)使用t将直方图中的像素分为前景和背景，大于t的被归类为前景，小于t的被归类为背景。将t从0到255依次进行迭代；

(iii)对上步中的每次迭代，计算属于前景的像素点数占整幅图像的比例记为ωf，其平均灰度μf；背景像素点数占整幅图像的比例ωb，平均灰度μb。图像的总平均灰度记为μ，类间方差记为g，相应的计算公式如下:

μ＝ωf×μf+ωb×μb

g＝ωf×(μf-μ)²+ωb×(μb-μ)²

(iv)比较不同t下的类间方差g，并选取最大的g值对应的t作为最终的分割阈值。

(2)采用轮廓提取方法对二值化的分割结果提取核分裂象的轮廓，所述的轮廓提取方法，是opencv中findcontours方法；

(3)假例剔除

根据得到的核分裂象轮廓，计算每个核分裂象的像素面积，将像素面积大于8000和小于25的核分裂象视作假例并剔除，剩余的核分裂象轮廓即为检测到的核分裂象；

(4)对检测到的核分裂象进行计数。

以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。