一种利用深度学习的胃癌增强CT图像自动识别系统的制作方法

本发明涉及图像识别技术领域，特别涉及一种利用深度学习的胃癌增强ct图像自动识别系统。

背景技术：

胃癌目前在全球癌症发病率排名第五，死亡率排名第三，已成为威胁世界人民健康的第三大杀手。准确的术前胃癌分期对治疗计划的选取以及对患者术后疗效的预测都至关重要。

目前，应用于胃癌术前分期的检查有内窥镜超声(eus)、多排探测器计算机断层扫描(ct)、磁共振成像(mri)和组合正电子发射断层扫描(pet-ct)等相关检查。mri因为对检查者的要求较高及长时间扫描的局限性，所以并不是胃癌的常规检查；pet-ct检查因为费用及辐射损害等原因通常不用于常规检查。eus因为是一项侵入性检查所以并不为患者接受，并且不能用于检查转移性疾病的检查。ct检查由于具有非侵入性、实用性、便利性及稳定性等优点，是用于胃癌术前分期的常规检查。ct图像的纹理分析可用于检测人眼无法识别的细微差异，并且可以通过分析图像中的像素强度的分布及强弱来获取肿瘤异质性的定量信息，从而来提高ct的诊断价值。特别是增强ct检查的应用大大提高了胃癌分期的准确性，其术前t分期及n分期的准确性分别为62-75％和75-80％。t1期胃癌肿瘤细胞局限于胃壁粘膜下层，t2期胃癌肿瘤细胞局限于胃壁固有肌层，t3期表示肿瘤穿透浆膜下结缔组织但未能穿透浆膜及内脏腹膜，t4期胃癌表示肿瘤细胞侵入浆膜或浸透内脏腹膜或胃累及胃临近结构。

胃癌肿瘤细胞浸润深度对筛查胃癌疾病及制定治疗方案有重要的指导作用，因此，如何基于胃癌增强ct图像准确预测肿瘤细胞浸润胃壁深度，是目前亟待解决的问题。

目前，肿瘤细胞浸润胃壁深度需要专业医师人工辨别标识，一方面，对医师的专业素养要求较高，另一方面，医师的工作量非常大，诊断过程耗时长。

fasterrcnn网络是一类人工神经网络，在各种深度学习模型中，fasterrcnn网络是比较成熟的算法，在图像处理及识别方面的强大能力。如何利用fasterrcnn网络，使其能够预测肿瘤细胞浸润胃壁深度，是目前亟待解决的问题。

技术实现要素：

本发明提出一种利用深度学习的胃癌增强ct图像自动识别系统，解决了现有技术中需要人工基于胃癌增强ct图像预测肿瘤细胞浸润胃壁深度的问题。

本发明的技术方案是这样实现的：

一种利用深度学习的胃癌增强ct图像自动识别系统，包括：

fasterrcnn网络，所述fasterrcnn网络包括：特征提取网络、区域生成网络和感兴趣区域特征向量网络；

特征提取网络用于生成卷积特征图；区域生成网络对卷积特征图进行筛选，生成可能为胃癌肿瘤的区域；最后，由感兴趣区域特征向量网络对卷积特征图及生成区域进行回归与分类，最终输出胃癌肿瘤细胞浸润最深的位置以及分割肿瘤结果；

所述fasterrcnn网络的训练过程包括：

步骤一，获得进展期胃癌图像，构成数据集；

步骤二，人工利用labelimg软件对所述图像进行标识，标识所述图像中胃癌肿瘤细胞浸润最深的位置；

步骤三，利用fasterrcnn网络提取所述图像上的感兴趣区域；

步骤四，对数据集中的图像进行预处理，应用图像强度范围归一化和直方图均衡化方法来处理图像；

步骤五，对预处理后的图像进行标准化处理；

步骤六，随机抽样按比例将标准化处理后的图像划分为训练集及测试集；

步骤七，将训练集图像输入fasterrcnn网络，进行多变量logistic回归分析，首先确定胃的位置和形状，检测出胃癌肿瘤的位置后，标识所述图像中胃癌肿瘤细胞浸润最深的位置，得出分割肿瘤结果；

步骤八，通过测试集对训练集进行验证；

步骤九，当训练集的预测有效性达到预设值，则训练结束；当训练集的预测有效性低于预设值，重新构建训练集进行训练。

可选地，所述特征提取网络是vgg结构或者zf结构。

可选地，所述区域生成网络在所述特征提取网络的最后一层后添加一层卷积层，在提取出的卷积特征图上对所有待定的候选框进行判别，在卷积特征图上生成可能为胃癌肿瘤的区域。

可选地，所述感兴趣区域特征向量网络和所述区域生成网络共享卷积特征图，经过感兴趣区域特征向量网络的感兴趣区域池化层以及后面的两个子全连接层，得到预测边框的坐标与类别的概率分数。

可选地，所述fasterrcnn网络的训练过程的步骤三中，利用fasterrcnn网络提取所述图像上的感兴趣区域之后，还包括：使用数据增强算法获得更多图像，增加数据集。

可选地，所述fasterrcnn网络的训练过程的步骤五中，对经过预处理的图像进行z-score标准化处理。

本发明的有益效果是：

(1)fasterrcnn网络能够对增强ct图像进展期胃癌肿瘤进行识别，可以精确识别胃癌肿瘤部位；

(2)可以对进展期胃癌肿瘤进行t分期处理，其中对t3与t4期胃癌具有较高的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明一种利用深度学习的胃癌增强ct图像自动识别系统的原理图；

图1b为本发明的fasterrcnn网络的训练方法的流程图；

图2a为fasterrcnn网络对进展期胃癌识别的roc曲线示意图；

图2b为fasterrcnn网络对t2期胃癌识别的roc曲线示意图；

图2c为fasterrcnn网络对t3期胃癌识别的roc曲线示意图；

图2d为fasterrcnn网络对t4期胃癌识别的roc曲线示意图；

图3a为影像科医师根据病理结果手工标识图像中t2肿瘤位置示意图；

图3b为fasterrcnn网络对肿瘤的分割及t分期的识别示意图；

图3c为影像科医师根据病理结果手工标识图像中t3期肿瘤位置示意图；

图3d为fasterrcnn网络对肿瘤的分割及t分期的识别示意图；

图3e为影像科医师根据病理结果手工标识图像中t4期肿瘤位置示意图；

图3f为fasterrcnn网络对肿瘤的分割及t分期的识别示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种利用深度学习的胃癌增强ct图像自动识别系统，基于fasterrcnn网络，构建基于胃癌增强ct图像的肿瘤自动识别系统，完成病变区域分割标识，并分析预测胃癌t分期。

如图1a所示，本发明的一种利用深度学习的胃癌增强ct图像自动识别系统，包括：fasterrcnn网络，胃癌增强ct图像输入到fasterrcnn网络，fasterrcnn网络首先确定胃的位置和形状，然后检测出胃癌肿瘤的位置后得出分割肿瘤结果，预测胃癌t分期。

fasterrcnn网络包括：特征提取网络、区域生成网络和感兴趣区域特征向量网络。特征提取网络用于生成卷积特征图；区域生成网络对卷积特征图进行筛选，生成可能为胃癌肿瘤的区域；最后，由感兴趣区域特征向量网络对卷积特征图及生成区域进行多变量logistic回归分析，首先确定胃的位置和形状，检测出胃癌肿瘤的位置后，标识所述图像中胃癌肿瘤细胞浸润最深的位置，得出分割肿瘤结果。

其中，特征提取网络是已有的网络结构，如vgg结构或者zf结构。区域生成网络是在特征提取网络的最后一层后添加一层卷积层，在提取出的卷积特征图上对所有待定的候选框进行判别，在卷积特征图上生成可能为胃癌肿瘤的区域。感兴趣区域特征向量网络和区域生成网络共享卷积特征图，经过感兴趣区域特征向量网络的感兴趣区域池化层以及后面的两个子全连接层，即可得到候选框的坐标与类别的概率分数。

如图1b所示，所述fasterrcnn网络的训练过程，包括以下步骤：

步骤一，获得进展期胃癌图像，构成数据集；

步骤二，人工利用labelimg软件对所述图像进行标识，标识所述图像中胃癌肿瘤细胞浸润最深的位置；

步骤三，利用fasterrcnn网络提取所述图像上的感兴趣区域；

步骤四，对数据集中的图像进行预处理，应用图像强度范围归一化和直方图均衡化方法来处理图像；

步骤五，对预处理后的图像进行标准化处理；

步骤六，随机抽样按4：1比例将标准化处理后的图像划分为训练集及测试集；

步骤七，将训练集图像输入fasterrcnn网络，进行多变量logistic回归分析，首先确定胃的位置和形状，检测出胃癌肿瘤的位置后，标识所述图像中胃癌肿瘤细胞浸润最深的位置，得出分割肿瘤结果；

步骤八，通过测试集对训练集进行验证；

步骤九，当训练集的预测有效性达到预设值，则训练结束；当训练集的预测有效性低于预设值，重新构建训练集进行训练。

上腹部增强ct静脉期图像的诊断性能优于动脉期图像，可选地，上述步骤一中，选取上腹部增强ct静脉期图像作为上述数据集，例如，获得进展期胃癌增强图像的数量为2122张，图像基本信息如下表1所示。

表1

上述步骤二中，由两名放射科医师(分别具有8年及10年胃肠病学成像经验)在对临床信息(包括姓名、性别、患者年龄)不知情的情况下解释ct图像及独立标记肿瘤病变，采用肿瘤分割方法利用labelimg软件对图像进行标识，两名影像科医师仅标识图像中可以分辨胃癌肿瘤细胞浸润最深的位置，肿瘤标识框架距正常胃壁距离在0.5cm之内。根据术后病理结果，由第三位放射科医师检查增强ct图像上肿瘤标识部位，以保证两个增强ct图像中病变部位的准确性及一致性。

可选地，上述步骤三中，感兴趣区域至少包括图像中胃癌肿瘤细胞浸润最深的位置。

可选地，上述步骤三利用fasterrcnn网络提取上述图像上的感兴趣区域(roi)之后，还包括：使用数据增强算法获得更多图像，增加数据集，以减轻模型处理数据集时产生的过度拟合问题。可选地，上述增强算法包括裁剪、翻转或者其他数据增强算法。例如，对上述2122张上腹部增强ct静脉期图像进行图像增强后，共获得进展期胃癌图像5855张。

在训练fasterrcnn网络前需对上述图像进行预处理，在预处理步骤中，应用图像强度范围归一化和直方图均衡化方法来处理图像，以减少计算时间并提高图像的对比度。后对经过预处理的图像进行标准化处理，使得每个通道的像素值呈现以0为均值，1为方差的标准正态分布。可选地，对经过预处理的图像进行z-score标准化处理。

为了研究上述fasterrcnn网络的识别性能，绘制了fasterrcnn网络的roc曲线并计算了曲线下面积(auc)，计算了该fasterrcnn网络的准确率、召回率、f1-score及整体的微平均值、宏平均值及加权平均值，如下表2所示。

表2

表2示出了fasterrcnn网络学习的精确率、召回率、f1-score及整体的微平均值、宏平均值和加权平均值。实验结果为fasterrcnn网络将胃癌肿瘤识别出的接受者操作特征曲线的曲线下面积为0.93(95％的置信区间为0.90-0.97)，与人类影像科医师相比具有较高的准确性，可以得出该fasterrcnn网络对胃癌增强ct图像t分期的识别具有较高的准确性。测试完成后得出结果auc值为0.93，其中准确性为0.93，特异性为0.95。其中对t2期胃癌识别准确率：90％，t3期胃癌识别准确率：93％，t4期胃癌识别准确率：95％，可以得出该fasterrcnn网络对胃癌肿瘤具有较高的识别性能。

图2a为fasterrcnn网络对进展期胃癌识别的roc曲线，曲线下面积(auc)＝0.93；图2b为fasterrcnn网络对t2期胃癌识别的roc曲线，曲线下面积(auc)＝0.90；图2c为fasterrcnn网络对t3期胃癌识别的roc曲线，曲线下面积(auc)＝0.93；图2d为fasterrcnn网络对t4期胃癌识别的roc曲线，曲线下面积(auc)＝0.95。

图3a所示为影像科医师根据病理结果手工标识图像中t2肿瘤位置，用于fasterrcnn网络的训练及测试，图3b所示为fasterrcnn网络对肿瘤的分割及t分期的识别；图3c所示为影像科医师根据病理结果手工标识图像中t3期肿瘤位置，用于fasterrcnn网络的训练及测试，图3d所示为fasterrcnn网络对肿瘤的分割及t分期的识别；图3e所示为影像科医师根据病理结果手工标识图像中t4期肿瘤位置，用于fasterrcnn网络的训练及测试，图3f所示为fasterrcnn网络对肿瘤的分割及t分期的识别。由图3a-图3f中结果可以看出fasterrcnn网络对t3期及t4期肿瘤具有较高的识别性能。

本发明提出了一种利用深度学习的胃癌增强ct图像自动识别系统，fasterrcnn网络能够对增强ct图像进展期胃癌肿瘤进行识别，可以精确识别胃癌肿瘤部位，并且可以对进展期胃癌肿瘤进行t分期处理，其中对t3与t4期胃癌具有较高的准确性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。