基于深度学习的甲状腺癌细胞病理图辅助分析方法及系统与流程

本发明属于病理图形辅助分析技术领域，尤其是涉及一种基于深度学习的甲状腺癌细胞病理图辅助分析方法及系统。

背景技术：

对甲状腺结节等病灶的最终确诊需要病理诊断，细针穿刺细胞学(fna)经济、操作简便、创伤小、准确率较高，可以提高病灶诊断的准确性。但是由于细针穿刺的组织量及其细胞成分较少，标本中的组织形态和细胞间质结构大部分丧失，且与穿刺及细胞学诊断的经验有关，结节过小、针太细都可能会导致取材不充分或不能准确于病变部位取材。由于所取组织少，制片、阅片较困难等均能影响检查结果，通常难以确定病变类型，给医院和医生做出准确诊断带来了很大困难，由于甲状腺癌90％以上为乳头状癌，因此关键问题是乳头状癌的诊断。

近年来，医疗领域的数字化进程不断向纵深方向推进，并逐渐向智慧医疗阶段迈进。随着人工智能(artificialintelligence，ai)技术的高速发展和成熟，在图像识别、深度学习、神经网络等关键技术领域的突破，人工智能+医疗的智能模式已开启，主要应用于数据采集、辅助诊断、检测反馈、教学培训、精准医疗等各个方面。而在人工智能技术中，图像识别是其最先突破的领域，目前医疗数据中有超过90％来自医疗影像图像，这些数据大多要进行人工分析与比对，如果能够运用算法自动化分析图像，再将图像与其它病例记录进行对比，就能极大提高临床诊断效率和降低医学误诊率，帮助做出精准诊断。

为了实现上述设想，人们进行了长期的探索，例如中国专利公开了一种消化道病灶图像识别系统及识别方法[申请号：cn201610405322.3]，步骤1：在存储器中存入机器学习训练数据，其中，所述机器学习训练数据包括训练样本图像、测试样本图像、图像分类信息，数据解析模块从存储器中提取机器学习训练数据，并对提取的机器学习训练数据进行格式转换，生成所需图片格式的图像；

步骤2：图像特征提取模块使用尺度不变特征转换算法和完整局部二值模式算法提取机器学习训练数据中训练样本图像的图像纹理特征，同时使用超像素方法和网格法对机器学习训练数据进行分割，然后提取分割后机器学习训练数据中训练样本图像的熵特征和颜色矩特征；图像特征提取模块还将图像纹理特征、熵特征和颜色矩特征分别传输给机器学习模块和图像识别模块；图像特征提取模块还将机器学习训练数据传输给机器学习模块；

步骤3：机器学习模块采用卷积神经网络的深度学习方法根据图像分类信息对机器学习训练数据进行消化道位置分类，得到消化道位置分类数据，机器学习模块还根据图像纹理特征、熵特征和颜色矩特征，并依据支持向量机算法进行学习训练生成消化道病灶信息数据模型；机器学习模块还将消化道位置分类和消化道病灶信息数据模型传输给图像识别模块；

步骤4：图像识别模块对机器学习训练数据按照消化道位置分类数据进行分类，并基于消化道位置分类的结果对不同消化道部位的机器学习训练数据提取图像纹理特征、熵特征和颜色矩特征，然后采用adaboost算法对不同消化道部位的机器学习训练数据提取的图像纹理特征、熵特征和颜色矩特征进行病灶识别得到病灶的疑似区域，最后使用支持向量机应用消化道病灶信息数据模型对病灶识别疑似区域进行分类得到准确的病灶信息。

上述方案应用人工智能技术，对提升医疗工作效率、提高医生判断的准确性等方面起到了良好的辅助作用。但是上述方案只能实现提高图像的识别效率和准确性，并不能辅助数据量非常大的全切片数字病理的分析，也因为数据量大等原因无法应用于细胞病理和组织病理的全切片图像分析。

技术实现要素：

本发明的目的是针对上述问题，提供一种基于深度学习的甲状腺癌细胞病理图辅助分析方法；

本发明的另一目的是针对上述问题，提供一种采用上述方法的基于深度学习的病理图像辅助分析系统。

为达到上述目的，本发明采用了下列技术方案：

一种基于深度学习的甲状腺癌细胞病理图辅助分析方法，包括以下步骤：

s1.构建用于数字病理标注的云平台以获得经过标注的训练集、验证集和测试集；

s2.创建用于存储病理数字全切片图像的数据库；

s3.利用所述训练集、验证集和测试集对卷积神经网络模型进行训练以获得数字病理模型；

s4.调用数字病理模型以对病理数字全切片图像进行数字病理图像分析。

在上述的基于深度学习的甲状腺癌细胞病理图辅助分析方法中，所述病理数字全切片图像包括针对细胞病理的全切片图像和针对组织病理的全切片图像；

且在步骤s3中，所述的数字病理模型包括针对细胞病理的细胞病理模型和针对组织病理的组织病理模型。

在上述的基于深度学习的甲状腺癌细胞病理图辅助分析方法中，在步骤s3中，组织病理模型通过以下方法训练获得：

s301.使用组织病理训练集对scannet网络模型进行模型训练；

s302.使用组织病理验证集对训练后的模型进行模型校验，若校验通过则执行步骤s303，否则调整网络结构或参数并返回步骤s301；

s303.使用组织病理测试集对经过训练的模型进行测试以验证模型是否存在过拟合问题，若存在，则调整网络结构或参数并返回步骤s301。

在上述的基于深度学习的甲状腺癌细胞病理图辅助分析方法中，在步骤s3中，对细胞病理模型的训练包括针对阶段一初步筛查系统的训练和针对阶段二复核筛查系统的训练。

在上述的基于深度学习的甲状腺癌细胞病理图辅助分析方法中，阶段一初步筛查系统的训练过程包括：

s3121.使用细胞病理训练集对scannet网络模型进行模型训练；

s3122.使用细胞病理验证集对训练后的模型进行模型校验，若校验通过则执行步骤s3123，否则调整网络结构或参数并返回步骤s3121；

s3123.使用细胞病理测试集对经过步骤s3122处理的scannet模型进行测试以验证模型是否存在过拟合问题，若存在，则调整网络结构或参数并返回步骤s3121。

在上述的基于深度学习的甲状腺癌细胞病理图辅助分析方法中，阶段二复核筛查系统的训练过程包括：

s3131.构建细胞病理的阶段二训练集、阶段二验证集和阶段二测试集；

s3132.使用阶段二训练集训练深度残差网络模型；

s3133.使用阶段二验证集对训练后的模型进行校验，若校验通过则执行步骤s3134，否则调整网络结构或参数并返回步骤s3132；

s3134.使用阶段二测试集对经过步骤s3133处理的深度残差网络模型进行测试以验证模型是否存在过拟合问题，若存在，则调整网络结构或参数并返回步骤s3132。

在上述的基于深度学习的甲状腺癌细胞病理图辅助分析方法中，使用细胞病理模型进行细胞病理图像分析的过程包括：

s41.对病理数字全切片图像进行图片预处理；

s42.使用scannet初步筛查系统对预处理后的全切片图像进行阶段一筛查以得到候选目标；

s313.使用dresnet复核筛查系统对候选目标进行阶段二复核筛查以获得预测结果。

在上述的基于深度学习的甲状腺癌细胞病理图辅助分析方法中，通过多次迭代过程训练相应的网络模型，且在每次迭代过程中均挖掘和添加错误的分类结果至训练样本以使网络模型提高困难案例的训练比重。

在上述的基于深度学习的甲状腺癌细胞病理图辅助分析方法中，采用虚拟图像生成技术，通过现有的图像资源随机组合并仿真生成虚拟病理图像以扩充训练样本。

一种基于所述基于深度学习的甲状腺癌细胞病理图辅助分析方法的甲状腺癌细胞病理图像辅助分析系统，包括云平台、数据库、深度学习模型和决策系统，其中，

云平台，用于从数据库中接收病理数字全切片图像，并供专业医生在平台内对病理数字全切片图像进行数字病理标注；

数据库，用于接收并存储病理数字全切片图像和训练样本；

深度学习模型，用于采用训练样本对卷积神经网络进行模型训练、验证和测试，以获得数字病理模型；

决策系统，用于从数据库中获取待分析的病理数字全切片图像并调用数字病理模型以对所述病理数字全切片图像进行数字病理图像分析。

本发明的优点在于：1采用数字化病理系统，具有易于保存、传输、管理和方便浏览等优点；2、提供用于数据标注的云平台，数据传输和标注在线上进行，且没有特殊的设备需求，提高标注和数据传输的效率；3、构建用于存储全切片图像的数据库，标注过程、训练过程和之后的分析检测过程均从数据库中获取相应的病理数字全切片图像，从而实现辅助数据流非常大的全切片数字病理的分析；4、在基本框架下，引入残差网络结构模型，提高网络模型对病灶的分辨能力。

附图说明

图1是本发明实施例一基于深度学习的甲状腺癌细胞病理图辅助分析方法的方法流程图；

图2是本发明实施例一中细胞病理的全切片图像；

图3是图1中圈出部位的放大图；

图4本发明实施例一中组织病理的全切片图像；

图5是图3中圈出部位的放大图；

图6是本发明实施例一甲状腺癌细胞组织病理模型的训练流程图；

图7是本发明实施例一阶段一初步筛查系统的训练流程图；

图8是本发明实施例一阶段二复核筛查系统的训练流程图；

图9是本发明实施例一使用细胞病理模型进行细胞病理分析的方法流程图；

图10是本发明实施例二甲状腺病理图像辅助分析系统的结构框图。

附图标记：云平台1、数据库2、深度学习模型3、决策系统4。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细的说明。

实施例一

如图1所示，本实施例公开了一种基于深度学习的甲状腺癌细胞病理图辅助分析方法，主要针对甲状腺乳头状癌细胞的病理图像辅助分析，具体包括以下步骤：

s1.构建用于数字病理标注的云平台以获得经过标注的训练集、验证集和测试集；

s2.创建用于存储病理数字全切片图像的数据库；

s3.利用所述训练集、验证集和测试集对卷积神经网络模型进行训练以获得数字病理模型；

s4.由决策系统调用数字病理模型以获得病理数字全切片图像的数字病理图像分析结果。

与传统图像不同，全切片数据非常大，一般的情况下，普通图片的大小都在10k-10m的量级。但是，全切片图像(wsi)图片一般占用1g-10g的空间。本实施例构建专门用于存储病理数字全切片图像的数据库，并在医院部署全切片扫描仪，全切片扫描仪直接或间接对接数据库，由数据库批量、自动地采集和整理数字病理数据，并进行合理的管理。将数据库分为历史数据库区、样本数据库区和待分析数据库区，作为样本的病理数字全切片图像、历史病理数字全切片图像和待分析的病理数字全切片图像分别存储在样本数据库区、历史数据库区和待分析数据库区，以便于云平台或决策系统提取以及后期的再训练。

另外，本实施例通过构建一个用于数字病理标注的云平台，可以为人工智能训练数据的准备提供很大帮助。

需要说明的是，深度学习技术是目前比较成熟的技术，故这里只对本实施例的重点过程进行说明，对卷积神经网络的具体训练过程不再进行详述。此外，当投入使用时，全切片扫描仪获取病理数字全切片图像，由于每次扫描获取到的病理数字全切片图像数量巨大，所以决策系统分批接收全切片扫描仪当前扫描到的病理数字全切片图像，并调用数字病理模型对每个病理数字全切片图像进行计算处理后输出分析结果，计算分析过程与本领域技术人员选取的网络模型架构，算法和模型训练过程有关，具体计算分析过程不在此进行赘述。

本实施例的重点在于通过构建用于数字病理标注的云平台和用于存储全切片图像的数据库，基于深度学习技术实现辅助数据量非常大的全切片数字病理的诊断，同时借助用于数字病理标注的云平台，使数据标注和传输能够在线上进行，没有特殊设备需求，大大提高标注、数据传输和整理的效率。

具体地，病理数字全切片图像包括针对细胞病理的全切片图像和针对组织病理的全切片图像，其中细胞病理的全切片图像如图2和图3所示，组织病理的全切片图像如图4和图5所示。

且在步骤s3中，数字病理模型包括针对细胞病理的细胞病理模型和针对组织病理的组织病理模型。

所以这里数据库的每个区分别分为相应的细胞病理数据区和组织病理数据区，例如历史数据区被分为细胞病理历史数据区和组织病理历史数据区，样本数据区被分为细胞病理样本数据区和阻值病理样本数据区。下面以细胞病理为例进行标注说明：由专业医生在云平台中进行操作，依次调取细胞病理历史数据库区中的细胞病理数字全切片图像在云平台中进行标注，每个被标注的细胞病理数字全切片图像作为训练样本并放入细胞病理样本数据库，标注的量由标注人员自行确定，标注越多，越有利于后期的模型训练，另外，被标注后的细胞病理数字全切片图像从细胞病理历史数据区中删除或移至其他区域。然后，在云平台中，将经过标注的训练样本分为细胞训练集、细胞验证集和细胞测试集三部分以对卷积神经网络模型进行训练以获得相应的细胞病理模型，训练样本以训练集、验证集和测试集＝2:1:1的方式分配。

具体地，如图6所示，在步骤s3中，组织病理模型通过以下方法训练获得：

s301.对组织病理的所有训练样本进行图片预处理；

s302.使用训练集对scannet网络模型进行模型训练；

s303.使用组织病理验证集对训练后的模型进行模型校验，若校验通过则执行步骤s304，否则调整网络结构或参数并返回步骤s302；

s304.使用组织病理测试集对经过训练的模型进行测试以验证模型是否存在过拟合问题，若存在，则调整网络结构或参数并返回步骤s302，若不存在则获取理想的经过训练的组织病理模型。

在投入使用时，当需要对组织病理数字全切片图像进行分析时，获取组织病理数字全切片图像并调用组织病理模型对全切片图像进行计算分析即可输出最终分析/测试结果。

优选地，细胞病理的细胞分型较多，所以这里对细胞病理模型的训练包括针对阶段一初步筛查系统的训练和针对阶段二复核筛查系统的训练。

具体地，如图7所示，阶段一初步筛查系统的训练过程包括：

s3121.对细胞病理的训练样本进行图片预处理；

s3122.使用训练集对scannet网络模型进行模型训练；

s3123.使用细胞病理验证集对训练后的模型进行模型校验，若校验通过则执行步骤s3124，否则调整网络结构或参数并返回步骤s3122；

s3124.使用细胞病理测试集对经过步骤s3123处理的scannet模型进行测试以验证模型是否存在过拟合问题，若存在，则调整网络结构或参数并返回步骤s3122。

如图8所示，阶段二复核筛查系统的训练过程包括：

s3131.构建细胞病理的训练样本，并对训练样本进行图片预处理，训练样本分为阶段二训练集、阶段二验证集和阶段二测试集；

s3132.使用阶段二训练集训练深度残差网络模型；

s3133.使用阶段二验证集对训练后的模型进行校验，若校验通过则执行步骤s3134，否则调整网络结构或参数并返回步骤s3132；

s3134.使用阶段二测试集对经过步骤s3133处理的深度残差网络模型进行测试以验证模型是否存在过拟合问题，若存在，则调整网络结构或参数并返回步骤s3132。

具体地，如图9所示，使用细胞病理模型进行细胞病理分析的过程包括：

s41.对病理数字全切片图像进行图片预处理；

s42.使用scannet初步筛查系统对预处理后的全切片图像进行阶段一筛查以得到候选目标；

s313.使用dresnet复核筛查系统对候选目标进行阶段二复核筛查以获得预测结果。

本实施例对于细胞病理模型，基于当前scannet基本框架，引入残差网络结构等神经网络模型，提高细胞病理模型对病灶的分辨能力。

优选地，这里通过多次迭代过程训练相应的网络模型，且在每次迭代过程中均挖掘和添加错误分类结果至训练样本以使网络模型提高困难案例的训练比重。

另外，病理标记数据的获取是及其昂贵的，本实施例采用虚拟图像生成技术，例如对抗生成网络(gan)，通过现有的图像资源，随机组合，并仿真生成虚拟病理图像，进而扩充我们的训练样本。从一方面来说，这将极大地降低对医学图像的获取成本；从另一方面说，这将有利于提高神经网络的泛化能力。

病理数据集体量巨大，然而很大部分的例子是较为容易区分的，如果对所有例子一视同仁地进行学习训练，会使得整个训练过程变得低效，所以本实施例对不同训练样本给予不同的学习权重，让网络在训练过程中可以更加专注于疑难例子，提高网络的训练效率，从而提高模型的分辨能力。

进一步地，针对每个数字病理模型，本实施例优选同时训练至少两个网络模型，并主动降低多个网络模型间公认不一致性高的噪声样本的权重。众所周知，病理标记是一项极其依赖于医生经验的一项专业性工作。由于不同医生的从业经验水平的不同，这也必然导致了标记的样本存在一定的分歧，所以无法100％保证所有训练数据标记的准确性，本实施例通过主动降低多个网络模型间公认不一致性高的噪声样本的权重，以保证训练效果从而提高最终的数字病理模型对病灶识别的整体表现。

实施例二

如图10所示，本实施例公开了一种根据实施例一所述的基于深度学习的甲状腺癌细胞病理图辅助分析方法的病理图像辅助分析系统，包括云平台1、数据库2、深度学习模型3和决策系统4，其中，

云平台1，用于从数据库中接收病理数字全切片图像，并供专业医生在平台内对病理数字全切片图像进行数字病理标注，以获得经过标注的训练样本，即训练集、验证集和测试集；

数据库2，用于接收并存储病理数字全切片图像和经过标注的训练样本，训练样本包括训练集、验证集和测试集；

深度学习模型3，用于采用训练集、验证集和测试集分别对卷积神经网络进行模型训练、验证和测试，以获得数字病理模型；

决策系统4，用于从数据库中获取待分析的病理数字全切片图像并调用数字病理模型以对所述病理数字全切片图像进行数字病理图像分析。

其中决策系统4和云平台1均可以通过电脑等终端接入，以用于病理标注和分析结果的获取。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了云平台1、数据库2、深度学习模型3和决策系统4等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。