基于大数据深度学习的胃肠间质瘤病理诊断支持系统和方法与流程

本发明涉及一种基于大数据深度学习的胃肠间质瘤病理诊断支持系统和方法。

背景技术：

深度学习是目前人工智能领域用于图像识别和语音分析的最契合、应用最广泛的算法，其灵感来自于人类大脑的工作机制，是通过建立卷积神经网络对外部输入的数据进行自动化特征提取，从而能够使机器理解学习数据，获得信息并输出。目前，基于深度学习的人工智能已应用于各个行业领域，包括语音识别、人脸识别、车标识别、手写汉字识别等。近年来人工智能辅助医疗技术的产品研发也取得重大进展，如由谷歌大脑及verily公司研发的用于乳腺癌病理诊断的人工智能产品可达到89％的肿瘤定位准确率；浙江大学附属第一医院利用人工智能实现快速分析甲状腺b超中结节区域的位置和良恶性。

在医疗诊断过程中，病理组织切片检查需要极高的规范化和精确度。目前绝大部分的病理组织切片是由人工制作，并由病理医生结合自身长期积累的临床诊断经验来分析和判断。胃肠间质瘤(gastrointestinalstromaltumors,gist)是好发于胃肠道的间叶源性的肿瘤。gist常伴随着胃肠道出血、吞咽困难，严重影响患者正常生活，因此gist患者需要得到及时有效的治疗以防病情持续恶化。但由于缺乏特异性临床表现，确诊gist必须依据病理组织学和免疫组化检测结果。将病变组织制备成病理切片标本，置于光学显微镜下观察，可见gist瘤细胞形态多变，主要是上皮样细胞和梭形细胞，前者呈圆形、椭圆形或多边形，胞浆丰富，核仁明显，嗜酸性较弱，多成弥漫、巢状或围绕血管成器官样排列；后者核仁不明显，两侧呈钝圆，嗜酸性可较弱也可为中度，染色质不集中，主要呈交叉束状、栅栏状、漩涡状排列。根据组织良恶性程度可见不同程度的细胞异型性和核分裂像。

因此，病理组织学方法诊断gist的缺点主要是：病理玻片的结果判断是由病理医生肉眼观察所得，这种人工阅片方法与病理医生自身经验、工作状态等主观因素密切相关，容易产生误差。临床上也往往因为胃肠道内环境复杂，gist常被误诊为平滑肌源性肿瘤或神经源性肿瘤，这对于经验不足的病理医生更容易漏诊、误诊。同时，病理医生要负责检查切片上的所有可见的生物组织，而每个病人都会有许多切片，在进行40倍放大时每个切片都有100多亿的像素，因此人工阅片工作量极大，容易受阅片者主观情绪和疲劳阅片等因素的影响。而且，不同的病理学家对同一病人可能给出相当不同的诊断结论。因此，这种高度依赖人为因素的病理组织学诊断方法具有主观差异性，加上其工作强度大、时间成本高且诊断不一致性等缺点，很大程度上会影响gist的早期诊治从而影响患者预后。另外，培养合格专业的病理医生需要进行长期的专业培训和实践过程，培养周期长，且易受当前社会经济、文化等社会因素的影响，意味着我国乃至全世界病理医生数量“供不应求”、职业缺口大的严峻形势亟需解决。

技术实现要素：

针对病理组织学人工阅片的缺点，本发明拟通过计算机对大量胃肠间质瘤病理图像进行深度学习，来建立智能化的胃肠间质瘤病理诊断数学模型，搭建基于大数据及深度学习算法的胃肠间质瘤辅助病理诊断人工智能平台，从而实现高准确率和高效率的智能读片，以辅助临床上胃肠间质瘤的病理诊断工作，提高其准确率、工作效率及工作持续状态。

基于此，本发明的目的在于克服上述现有技术的不足之处而提供一种可提高临床诊断胃肠间质瘤时的效率、降低医疗成本的胃肠间质瘤病理诊断支持系统。

为实现上述目的，本发明采取的技术方案为：一种基于大数据深度学习的胃肠间质瘤病理诊断支持系统，所述支持系统包括：图像数据获得单元，用于获得正常胃肠组织切片图像和已确诊的胃肠间质瘤病例的病理切片图像作为已输入图像数据；图像数据标注单元，用于对所述已输入图像数据进行标注，以及保证图像的标签和图像的真实病理诊断结果一致；图像数据库构建单元，用于对所述图像数据标注单元提供的已标注图像数据分类、整理，构建病理图像数据库；卷积神经网络构造单元，用于构造第一卷积神经网络模型；以及卷积神经网络模型训练单元，利用所述病理图像数据库的图像数据对所述第一卷积神经网络模型的参数进行调节，以及训练所述第一卷积神经网络模型，获得可用于检测患者病理图像数据的第二卷积神经网络模型。

由此，医生可结合所述支持设备针对输入的患者病理图像给出的分类结果和相应的概率，以及医生的专业知识和经验快速地诊断出该患者的是否患有胃肠间质瘤，显著提高临床诊断的效率，从而降低医疗成本；其中，为了保证收集到的图像数据准确无误，可以利用图像标注工具asap，对每张病理切片图像进行标注，以保证图像的标签和真实值一致；为了加快训练网络模型的速度，可以使用具有高速并行计算的gpu来代替cpu进行训练；为了加快卷积神经网络模型的检测速度，基于卷积神经网络训练单元，可以将训练好的网络模型重新建模为可变步长的cnn分类模型结构，以用于实际操作中的检测方法；该模型将对巨大的全切片图像进行分块化处理，将预选出的活体组织区域分割成大小相同的roi分块，由于分块间的检测可以高度并行化，使得检测的速度在多gpu的并行下得到显著提升，然后通过可变步长的cnn分类模型的检测，生成预测概率分布图像；图像数据库将病理图像数据分为训练集、测试集和校验集等；第一卷积神经网络模型的参数包括学习速率、训练次数和多少层网络等网络参数，训练指在寻求最优解时，自动调节参数的过程。

优选地，所述支持系统还包括卷积神经网络模型检验单元，用于获得理想的卷积神经网络模型。应当说明的是，此处“理想”是指卷积神经网络模型的准确率高，以及“鲁棒”。

优选地，所述卷积神经网络模型检验单元包括卷积神经网络模型校验单元和卷积神经网络模型测试单元，所述卷积神经网络模型校验单元用于检测所述第二卷积神经网络模型的准确率；所述卷积神经网络模型测试单元，用于检测所述第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型；应当说明的是，如若模型在测试集上的准确率与校验集训练中的准确率相差较大，则说明模型过拟合，此时，可返回卷积神经网络训练单元中，调节网络结构或参数，进行再次训练以获得更好的网络模型；如若在测试集上的准确率与校验集训练中的准确率十分接近，则说明该模型较为鲁棒。

优选地，所述支持系统还包括卷积神经网络模型预训练单元，用于当所述图像数据获得单元收集到的已输入图像数据不足时，对所述第一卷积神经网络模型进行预训练。

优选地，所述支持系统还包括病理图像数据预处理单元，用于筛选和示出患者病理图像中的待检测区域。

优选地，为了确保检测的有效性，所述预处理单元采用自适应阈值法筛选出所述待检测区域。

优选地，所述卷积神经网络训练单元采用微调法训练所述第一卷积神经网络模型。

作为本发明的另一方面，本发明还提供了一种胃肠间质瘤的病理诊断支持方法，所述支持方法包括以下步骤：

图像数据获得：获得正常胃肠组织切片图像和已确诊的胃肠间质瘤病例的病理切片图像作为已输入图像数据；

图像数据标注：对所述已输入图像数据进行标注，以及保证图像的标签和图像的真实病理诊断结果一致；

图像数据库构建：对所述图像数据标注单元提供的已标注图像数据分类、整理，构建病理图像数据库；

卷积神经网络构造：构造第一卷积神经网络模型；以及

卷积神经网络模型训练:利用所述病理图像数据库的图像数据对所述第一卷积神经网络模型的参数进行调节，以及训练所述第一卷积神经网络模型，获得可用于检测患者病理图像数据的第二卷积神经网络模型。

应当说明的是，图像数据标注和图像数据库构建可以看作病理图像数据库构建阶段。优选地，所述支持方法还包括卷积神经网络模型检验步骤：获得理想的卷积神经网络模型；所述卷积神经网络模型检验步骤包括卷积神经网络模型校验和卷积神经网络模型测试，所述卷积神经网络模型校验用于检测所述第二卷积神经网络模型的准确率；所述卷积神经网络模型测试，用于检测所述第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。应当说明的是，卷积神经网络构造、卷积神经网络模型训练和卷积神经网络模型检验可看作卷积神经网络的训练阶段，用于获得理想的卷积神经网络模型。

作为本发明的第三个方面，本发明还涉及上述支持系统在病理诊断胃肠间质瘤中的临床应用。

综上所述，本发明的有益效果为：

与现有的病理医生人工阅片相比较，本发明基于大数据和深度学习算法的胃肠间质瘤病理诊断的支持设备具有准确率高、耗时短且工作持续时间长的优点，且此发明在各大医院包括三甲、基层医院的推广和云端服务化将有助于解决医疗资源分配不均匀、实现远程优质医疗等，为广大患者提供更便捷、更准确的病理诊断服务；上述优点的实现是因为本发明的设备和方法利用深度学习算法在图像识别的优势，让计算机进行大数据级别的胃肠间质瘤病理切片的深度学习，从而训练出能模拟病理医生阅片并与之媲美的智能化神经网络模型，经过不断学习和验证，该神经网络模型可以实现对胃肠间质瘤病理切片的智能阅片、快速识别并得出科学结论。

附图说明

图1为本发明的胃肠间质瘤病理诊断支持系统的结构框图；

图2为本发明实施例二的胃肠间质瘤病理诊断支持方法的流程图；

图3为对胃肠间质瘤切片图；

图4为本发明的实施例二的快速检测模型的原理图；

图5为本发明的胃肠间质瘤病理诊断支持系统在应用时的流程图；

其中，1、胃肠间质瘤病理诊断支持系统，2、图像数据获得单元，3、图像数据标注单元，4、卷积神经网络构造单元，5、卷积神经网络模型训练单元，6、卷积神经网络模型检验单元，7、图像数据库构建单元，8、病理图像数据预处理单元，9、输入终端，10、输出终端。

具体实施方式

为更好的说明本发明的目的、技术方案和优点，下面将结合附图和具体实施例对本发明作进一步说明。

实施例1

参见图1，本发明的胃肠间质瘤病理诊断支持系统1的一种实施例，其包括：

图像数据获得单元2，用于获得正常胃肠组织切片图像和已确诊的胃肠间质瘤病例的病理切片图像作为已输入图像数据；

图像数据标注单元3，用于对已输入图像数据进行标注，以及保证图像的标签和图像的真实病理诊断结果一致；

图像数据库构建单元7，用于对图像数据标注单元提供的已标注图像数据分类、整理，构建病理图像数据库；

卷积神经网络构造单元4，用于构造第一卷积神经网络模型；

卷积神经网络模型训练单元5，利用病理图像数据库的图像数据对第一卷积神经网络模型的参数进行调节，以及训练第一卷积神经网络模型，获得可用于检测患者病理图像数据的第二卷积神经网络模型；

卷积神经网络模型检验单元6，用于获得理想的卷积神经网络模型，包括卷积神经网络模型校验单元(图中未显示)和卷积神经网络模型测试单元(图中未显示)，卷积神经网络模型校验单元用于检测第二卷积神经网络模型的准确率；卷积神经网络模型测试单元，用于检测第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。

卷积神经网络模型预训练单元(图中未显示)，用于当图像数据获得单元收集到的已输入图像数据不足时，对第一卷积神经网络模型进行预训练；以及

病理图像数据预处理单元8，用于筛选和示出患者病理图像中的待检测区域。

其中，病理图像数据预处理单元8采用自适应阈值法筛选出待检测区域；卷积神经网络模型训练单元5采用微调(fine-tune)法训练第一卷积神经网络模型；数据库中包括以下四类数据集：训练集、消验集、测试集以及常规的已公开病理图像数据集。

另外，输入终端9用于将现有的正常胃肠组织切片图像和已确诊的胃肠间质瘤病例的病理切片图像输入图像数据获得单元2，并且，这些输入的数据最后将由图像数据库构建单元7分类收集，用于支持后续的临床诊断工作；

以及将待检测的患者的病理切片图像输入病理图像数据预处理单元8；

输出终端10，用于将由卷积神经网络模型训练单元5获得的鲁棒的卷积神经网络模型对输入病理图像数据预处理单元8的待检测的患者的病理切片图像分类检测的结果(病理类型和相应的概率)呈现给医生，以供临床诊断参考。

实施例2

参见图2，本发明的胃肠间质瘤诊断支持方法的一种实施例，其包括如下步骤：

(1)采集图像数据

以中山大学附属第六医院医学生物库数据为数据来源，采集12000张病理切片图像，包括6000张正常组织切片图像和6000张胃肠间质瘤组织切片，并分别按照训练集：校验集：测试集＝3：1：1的数量比例进行随机分组。如下表1所示：

表1病理切片图像的具体数据。

(2)标注图像信息

利用现有的asap图像标注软件对步骤(1)所收集的训练集、校验集和测试集的病理切片图像进行数据标记。为保证信息标注的准确性，需在标注前对图像进行优化处理。对图像的标注工作主要包括：用不同颜色/粗细/虚实线条勾勒出图像中各种病理结构区域，例如，gist瘤细胞形态多变，主要是上皮样细胞和梭形细胞，前者呈圆形、椭圆形或多边形，胞浆丰富，核仁明显，嗜酸性较弱，多成弥漫、巢状或围绕血管成器官样排列；后者核仁不明显，两侧呈钝圆，嗜酸性可较弱也可为中度，染色质不集中，主要呈交叉束状、栅栏状、漩涡状排列。根据组织良恶性程度可见不同程度的细胞异型性和核分裂像，然后对图像分类并赋予分值，并将所勾勒的区域进行标签命名。将正确标注后的病理图像进行数字化存储，以进行下一步的网络模型训练和校验。图3为对胃肠间质瘤中不典型增生区域的标注图。

(3)训练卷积神经网络

①设计模型

(a)按照卷积层、最大采样层、非线性函数、全连接层级联的方式来构造卷积神经网络；

(b)采用多层网络来增强网络的拟合能力；

(c)网络最后的全连接层的输出的通道数设为2，分别代表该图像是正常胃肠组织切片图像、胃肠间质瘤组织切片图像。

②训练网络

(a)根据步骤(1)、(2)中收集到的图像数据，对卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率；

(b)为了加快训练网络的速度，使用具有高速并行计算的gpu来代替cpu进行训练；

(c)卷积神经网络权值参数的更新的方法使用sgd来求解,如若收敛速度较慢，使用adadelta,adam等优化方法来求解；

(d)如若步骤(1)收集到的训练数据(即图像数据)数目太少，卷积神经网络模型采用先在常规的公开病理图像数据集预训练，再将收集到的图像数据采用fine-tune(微调)的方法来训练卷积神经网络模型；

(e)如在现有卷积神经网络模型上训练，分类的准确率无法上升，可以通过增加卷积神经网络网络模型的深度来增加卷积神经网络模型的拟合能力。

③设计快速检测模型(如图4所示)

1.为了提高检测效率，在预处理阶段采用自适应阈值法，从全切片图像中预选出活体组织区域，作为卷积神经网络的检测对象(如图4箭头101所示，代表预处理过程)。

2.为了提高检测的准确度以及灵活性，基于步骤(3)，可以将训练好的卷积神经网络重新建模为可变步长的cnn分类模型，以用于实际操作中的检测方法；该模型将对巨大的全切片图像进行分块化处理，将预选出的活体组织区域分割成大小相同的roi分块；由于分块间的检测可以高度并行化，使得检测的速度在多gpu的情况下得到有效的提升(如图4箭头102所示，代表模型快速检测过程)。通过卷积神经网络模型的检测，生成预测概率分布图像。

3.基于第2步的预测概率分布图像，在后处理中，筛除零散点后，分析预测概率分布图，以得到最终全切片图像的预测结果(如图4箭头103所示，代表后处理过程)。

(4)测试集验证

(a)基于步骤③的可变步长的分类模型结构，使用步骤(3)中训练好的卷积神经网络模型来对测试集测试，观察模型在测试集上的准确率。

(b)如若步骤(3)中训练好的卷积神经网络模型在测试集的上准确率与训练中的校验集的准确率相差较大，则说明模型过拟合；此时，可返回步骤(3)中，调节卷积神经网络模型网络结构或参数，获得更好的网络模型。

(c)如若步骤(3)中训练好的卷积神经网络模型在测试集上的准确率与训练中的校验集的准确率十分接近，则说明该训练所得的卷积神经网络模型较为鲁棒，可作为合适的检测病患的病理图像的网络模型。

实施例3

本发明的胃肠间质瘤病理诊断支持系统的一种应用例，将待检测的病理图像通过输入终端9输入本发明的胃肠间质瘤诊断支持设备中的病理图像数据预处理单元8，之后的运行流程参见图5，其中，

(a)为了确保检测的有效性，在预处理阶段采用自适应阈值法，从患者组织全切片图像中预选出活体组织区域，然后以组织重心为中心提取或框选出待检测区域(即患者病理组织区域)；

(b)之后，对患者病理组织区域图片进行预处理，预处理包括去噪、直方图均衡、归一化等步骤；

(c)用先前训练好的卷积神经网络模型(即实施例1中第二卷积神经网络模型)对预处理后的图片中待检测区域进行分类检测，从而得出胃肠间质瘤的预测结果，包括该病理切片所属的胃肠间质瘤类别以及相应的概率。

实施例4本发明的胃肠间质瘤病理诊断支持方法与现有方法的比较

目前临床上病理诊断工作是由经过规范化培训的病理医生人工阅读病理组织切片，结合自身长期积累的临床诊断经验来作出分析和诊断。由于这种人工肉眼阅片方法与病理医生自身经验、工作状态、主观情绪等因素密切相关，故准确率不高，但耗时长，工作持续时间有限，容易产生漏诊、误诊及诊断不一致等情况。本发明则利用计算机对标准化的大量胃肠间质瘤病理图像的深度学习，对卷积神经网络进行参数调节和拟合训练，从而获得较为鲁棒的网络模型。这种基于大数据和深度学习的神经网络能模拟人工阅片，根据输入的新病理图像得出对应的输出值即病理诊断结论。再者，通过模型重建，在不影响检测准确度的情况下，极大提高了检测速度。

选取35名具有3年以上胃肠间质瘤诊断与治疗经验的医生，分别每人提供40张疑似胃肠间质瘤的病理图像，判断其类型，然后计算准确率和平均时间，统计医生诊断状态，与本发明的诊断支持方法相比较，其结果如下表2所示。

表2胃肠间质瘤诊断结果的比较

从上表2可知，采用本发明的方法阅读病理组织切片，其准确率比专业病理医生的水平更高，且耗时更短，工作持续时间长。

最后所应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。