肿瘤确定系统、方法及存储介质与流程

本发明实施例涉及图像处理技术领域，尤其涉及一种肿瘤确定系统、方法及存储介质。

背景技术：

脑胶质瘤也称作脑胶质细胞瘤，是因为大脑和脊髓胶质细胞癌变所产生的最常见的原发性颅脑恶性肿瘤，其发病率约占颅内肿瘤的46％。在1998年，世界卫生组织公布了按照死亡率的排位顺序，恶性胶质瘤居34岁以下肿瘤患者死亡原因的第2位，是35～54岁肿瘤患者死亡原因的第3位。胶质细胞瘤偏良性者生长缓慢，病程较长，自出现症状至就诊时间平均两年，恶性者瘤体生长快，病程短，自出现症状到就诊时多数在3个月之内，70％～80％多在半年之内，严重危害患者的身体健康。

脑部胶质瘤的临床症状可分为两方面，一是颅内压增高症状，如头痛、呕吐、视力减退、复视、精神症状等；二是肿瘤压迫、浸润、破坏脑组织所产生的局灶症状，早期可表现为刺激症状如局限性癫痫，后期表现为神经功能缺失症状如瘫痪。当出现以上症状时，需及时到医院就医。

在传统的脑胶质细胞瘤分型评估诊断中，主要是通过以下步骤：(1)活检，(2)切片，(3)染色，(4)医生经验识别，(5)诊断结果。活检是活体组织检查的简称，也称为外科病理学检查，是指应诊断、治疗的需要，通过切取、钳取或穿刺等方式，从患者体内取出病变组织，进行病理学检查的技术。活检取出的组织经过甲醛固定、脱水、石蜡包埋等步骤后被切成很薄的切片，然后再经过贴片、烤片、脱蜡、水化、染色等步骤才能制成可以在显微镜下观察的切片。染色的目的是使细胞组织内的不同结构呈现不同的颜色以便于观察。经过染色后，可显示细胞内不同的细胞器及内含物以及不同类型的细胞组织。病理医生先肉眼观察标本，再将标本置于显微镜下观察，然后根据病理切片在显微镜下所见的描述综合分析判断结果。最后，病理医生根据观察结果给出病理报告。

但传统的人工方式对病理切片进行检查存在以下弊端：1、有些肿瘤特征不好找，比如细胞核分裂，低年资医生可能会忽略，高年资医生需要很多时间去对图像逐一寻找；2、在整张载玻片上，医生会逐步缩小查找范围，直到定位某些特征。在这个过程中，不同医生可能有不同的查看方式，选择不同的查看区域，最终导致诊断不一致的情况出现。

综上，现有技术的肿瘤分型依赖医生的经验，而且肿瘤分型的准确性较低。

技术实现要素：

本发明实施例提供了一种肿瘤确定系统、方法及存储介质，以解决现有技术中肿瘤分型依赖医生的经验，肿瘤分型的准确性较低的问题。

第一方面，本发明实施例提供了一种肿瘤确定系统，包括：

图像获取模块，用于获取被检组织的病理图像；

图像提取模块，用于从被检组织的病理图像提取一种或多种尺寸的分析图像；

分析模块，用于基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型至少用于确定一种分类特征；

输出模块，用于根据所述分类特征确定并输出肿瘤识别结果。

第二方面，本发明实施例还提供了一种肿瘤确定方法，基于第一方面所述的肿瘤确定系统，包括：

获取图像获取模块获取的被检组织的病理图像；

通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像；

控制分析模块基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型至少用于确定一种分类特征；

通过输出模块根据所述分类特征确定并输出肿瘤识别结果。

第三方面，本发明实施例还提供了一种计算机可执行指令的存储介质，其上存储有计算机程序，该计算机程序被计算机处理器执行时实现本发明任意实施例所提供的肿瘤确定方法。

本发明实施例提供的肿瘤确定系统的技术方案，通过图像获取模块获取的被检组织的病理图像；通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像；控制分析模块基于一个或多个已训练的检测模型对分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型至少用于确定一种分类特征；通过输出模块根据分类特征确定并输出肿瘤识别结果。上述方案解决了现有技术中肿瘤分型依赖医生的经验，肿瘤分型的准确性较低的问题，依据病理医生的诊断思路实现了肿瘤的自动分型与分级。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例一提供的肿瘤确定系统的结构框图；

图1b是本发明实施例一提供的又一肿瘤确定系统的结构框图；

图2a是本发明实施例一提供的人机交互界面示意图；

图2b是本发明实施例一提供的又一人机交互界面示意图；

图3是本发明实施例一提供的分析图像的示意图；

图4a是本发明实施例一提供的“荷包蛋状”细胞示意图；

图4b是本发明实施例一提供的核分裂示意图；

图4c是本发明实施例一提供的细胞坏死示意图；

图4d是本发明实施例一提供的血管内皮细胞增生示意图；

图4e是本发明实施例一提供的少突细胞瘤示意图；

图4f是本发明实施例一提供的星形细胞瘤示意图；

图5是本发明实施例二提供的肿瘤确定方法的流程图；

图6本发明实施例三提供的检测模型训练方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域技术人员可以理解的是，病理切片可以认为是医生诊断病情的黄金标准，病理医生通常会通过检查患者的生物组织样品后给出诊断意见，并且对肿瘤进行详细的肿瘤分型和分级。以脑部胶质瘤为例，病理医生在获得肿瘤组织病理图像后，可以通过观察病理图像中是否存在大量“荷包蛋状”的细胞单元、核分裂现象、细胞坏死、血管内皮细胞增生等特征对肿瘤进行肿瘤分型与分级。因此，基于病理医生的诊断流程提出了下述各种技术方案，以实现自动进行肿瘤分型以及肿瘤分级。

实施例一

图1a是本发明实施例一提供的肿瘤确定系统的结构框图。该系统包括：图像获取模块11、图像提取模块12、分析模块13和输出模块14，图像获取模块11用于获取被检组织的病理图像；图像提取模块12用于从被检组织的病理图像提取一种或多种尺寸的分析图像；分析模块13用于基于一个或多个已训练的检测模型对分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征；输出模块14用于根据分类特征确定并输出肿瘤识别结果。

其中，病理图像优选为被检组织的ct图像或mr图像，或者为被检组织的切片的显微图像，本实施例以病理图像为被检组织的切片的显微图像为例进行说明。

可以理解的是，如图1b所示，该肿瘤确定系统通常还包括存储模块15，用于存储病理图像和分析图像。

其中，图像获取模块11可以是具有读取功能或接收功能的读取模块，用于接收或读取被检组织的病理图像，并将病理图像存储于存储模块15；或者是具有拍摄功能的显微镜装置，直接获取被检组织的病理图像。若图像获取模块为显微镜装置，该肿瘤确定系统通常还包括图像读取模块，用于从显微镜获取被检组织的病理图像，然后将病理图像存储于存储模块15中。

其中，图像提取模块12在从病理图像上提取分析图像之前，通常需要用户在人机交互界面上的尺寸输入框输入一种或多种需求尺寸，或者在人机交互界面17上的尺寸选择菜单(参见图2a)上选择一个或多个尺寸，然后根据用户的输入或选择的一个或多个尺寸从病理图像上提取对应尺寸的分析图像。可以理解的是，如果分析图像的尺寸是固定的单个尺寸或者固定的多个尺寸，也可以将该单个尺寸或该多个尺寸设置为默认尺寸。图像提取模块12直接根据默认尺寸从病理图像上提取分析图像，并将分析图像存储于存储模块15的指定位置，简单、快捷，无需每次进行分析图像的尺寸设置。

具体地，图像提取模块12通过滑动窗口从病理图像上提取分析图像，以获取两种尺寸的分析图像为例，使用预设的滑动窗口策略在完整的大尺寸的病理图像上获取重叠延伸(overlap)为10％、尺寸为512*512的图像块作为分析图像；同样地，还可以获取重叠延伸(overlap)为10％、尺寸为1024*1024的图像块作为分析图像，如图3所示。在实际处理中，可以根据实际情况采用其他重叠延伸的数值和图像块尺寸。

优选地，本实施例还提供了模型选择模块16，用于为用户提供可选择的已训练的检测模型。考虑到输出模块14需要基于多个分类特征来确定肿瘤识别结果，因此用户需要在模型选择模块为每个分类特征选择合适的已训练的检测模型，然后由分析模块13控制所选择的已训练的检测模型对分析图像进行分析，以得到相应的分类特征。

为了便于模型选择，本实施例还设置有检测模型组，该检测模型组包括识别某一人体部位的肿瘤分类特征的已训练的检测模型。基于此，本实施例的人机交互界面上设置有模型选择菜单(参见图2a)。如果用户在人机交互界面上的模型选择菜单上选择了某个检测模型组，则选择了该检测模型组所封装的所有已训练的检测模型。

可以理解的是，如果每个人体部位对应一个检测模型组，那么模型选择模块16可以通过人体部位确定检测模型组。如图2b所示，用户在人机交互界面上的人体部位选择菜单选择人体部位之后，比如头部、胸部、腹部、盆腔等，模型选择模块16即可根据所选的人体部位在模型选择菜单输出对应的检测模型组。

为了满足不同的用户需求，本实施例为每个人体部位设置了基于不同算法构建的检测模型组，此时，如图2b所示，用户通常需要在人机交互界面的人体部位选择菜单输入或选择人体部位，模型选择模块根据接收的人体部位筛选检测模型组，然后用户通过模型选择菜单，从筛选出来的检测模型组中选择需要的检测模型组。其中，本实施例已训练的检测模型优选基于深度学习模型构建，比如yolo、fastr-cnn、unet、vnet和fcn等卷积神经网络模型。

可以理解的是，对于每个已训练的检测模型，通常会对应一个或几个优选分析图像尺寸，因此，本实施例的图像提取模块可以获取用户在模型选择模块所选择的检测模型组，然后根据该检测模型组确定并输出分析图像的优选尺寸明细，如果用户默认或接收该尺寸明细，则直接根据该尺寸明细从被检组织的病理图像上提取对应尺寸的分析图像。

在用户确定了检测模型组，即确定了已训练的检测模型，以及图像提取模块根据用户需求提取了相应尺寸的分析图像之后，分析模块控制已训练的检测模型对分析图像进行分析，以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征。优选地，每个已训练的检测模型用于确定一种分类特征。

示例性的，以脑部胶质细胞瘤为例，可能涉及到的细胞分类特征有：大量“荷包蛋状”细胞单元(如图4a所示)、核分裂(如图4b所示)、细胞坏死(如图4c所示)以及血管内皮细胞增生(如图4d所示)，其中，核分裂又分为有核分裂和无核分裂。

如果检测模型组包括一个已训练的检测模型，且用户设置有两种分析尺寸的分析图像，那么分析模块将两种尺寸的分析图像输入至该已训练的检测模型中，该已训练的检测模型对这两种尺寸的分析图像进行分析，并输出分类特征的识别结果。具体为：是否有大量“荷包蛋状”细胞单元、是否为核分裂、是否有细胞坏死以及是否有血管内皮细胞增生。需要说明的是，该已训练的检测模型优选采用小尺寸的分析图像分析是否存在大量的“荷包蛋状”细胞单元及核分裂现象，采用大尺寸的分析图像分析是否存在细胞坏死、血管内皮细胞增生。

如果检测模型组包括四个已训练的检测模型，对应两种尺寸的分析图像。可以设定第一个已训练的检测模型对小尺寸分析图像进行分析，用于确定有无大量“煎蛋状”细胞单元；设定第二个已训练的检测模型对大尺寸的分析图像进行分析，用于确定有无有核分裂；设定第三个已训练的检测模型对大尺寸的分析图像进行分析，用于确定有无无核分裂；设定第四个已训练的检测模型对两种尺寸的分析图像进行分析，用于确定有无细胞增生和细胞坏死。上述各个已训练的检测模型在对所接收的分析图像进行分析后，输出是否存在相应分类特征的标识。

本实施例的肿瘤识别结果为肿瘤分型，或者为肿瘤分型和肿瘤分级。以脑部胶质细胞瘤为例，可能涉及到的肿瘤识别结果中的肿瘤分型有：少突细胞瘤的范畴(如图4e所示)和星形细胞瘤的范畴(如图4f所示)，肿瘤分级可以包括星形细胞瘤(whoⅱ级，参见世界卫生组织中枢神经系统肿瘤分类方法)、胶质母细胞瘤(whoⅳ级)和间变型星形细胞瘤(whoⅲ级)。

输出模块根据得到的分类特征确定了肿瘤识别结果，仍以脑部胶质瘤为例，当识别出大量“荷包蛋状”细胞单元时，可以确定肿瘤识别结果是少突细胞瘤的范畴，否则，可以确定肿瘤识别结果是星形细胞瘤的范畴；当识别出大量“荷包蛋状”细胞单元，且未识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是少突细胞瘤；当识别出大量“荷包蛋状”细胞单元，且识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是间变性少突细胞瘤；

当未识别出大量“荷包蛋状”细胞单元，且未识别出细胞核分裂，以及未识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是星形细胞瘤(whoⅱ级)；当未识别出大量“荷包蛋状”细胞单元，未识别出细胞核分裂，同时还识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是胶质母细胞瘤；当未识别出大量“荷包蛋状”细胞单元，识别出细胞核分裂，同时还识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是胶质母细胞瘤(whoⅳ级)；当未识别出大量“荷包蛋状”细胞单元，识别出细胞核分裂，未识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是间变型星形细胞瘤(whoⅲ级)。

输出模块在确定了肿瘤分型，或者肿瘤分型和肿瘤分级之后，将肿瘤分型，或者肿瘤分型和肿瘤分级输出至人机交互界面的结果显示区，后者可使医生清楚地了解到肿瘤识别结果所基于的分类特征，使得肿瘤识别结果更加具有解释性以及说服力，有利于医生接受。

本发明实施例提供的肿瘤确定系统的技术方案，通过图像获取模块获取的被检组织的病理图像；通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像；控制分析模块基于一个或多个已训练的检测模型对分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型至少用于确定一种分类特征；通过输出模块根据分类特征确定并输出肿瘤识别结果。上述方案解决了现有技术中肿瘤分型依赖医生的经验，肿瘤分型的准确性较低的问题，依据病理医生的诊断思路实现了肿瘤的自动分型与分级。

实施例二

图5是本发明实施例二提供的肿瘤确定方法的流程图。本实施例可适用于自动进行肿瘤分型的情况，尤其适合于自动进行肿瘤分型以及肿瘤分级的情况。该方法可以由本发明实施例提供的肿瘤确定系统来执行，该系统可以由软件和/或硬件的方式实现。参见图1a、图1b和图5，本发明实施例的方法可以具体包括如下步骤：

s110、获取图像获取模块获取的被检组织的病理图像。

可以理解的是，该肿瘤确定系统通常还包括存储模块15，用于存储病理图像和分析图像。

其中，图像获取模块11可以是具有读取功能或接收功能的读取模块，用于接收或读取被检组织的病理图像，并将病理图像存储于存储模块15；或者是具有拍摄功能的显微镜，直接获取被检组织的病理图像。若图像获取模块11为显微镜装置，染色后的肿瘤切片可以放置于具有自动位移功能的微动平台上，通过具有拍摄功能的显微镜获取被检组织的病理图像。具体的，控制显微镜基于遍历的方式对肿瘤切片进行拍摄，得到病理图像。其中，不同病理图像之间可以具有相同的区域。该肿瘤确定系统通常还包括图像读取模块和图像拼接模块，图像读取模块用于从显微镜读取或接收被检组织的病理图像，然后将病理图像存储于存储模块中。图像拼接模块采用预设的基于特征提取的图像拼接算法，将所有病理图像拼接成一幅完整的大尺寸的病理图像。

s120、通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像。

在得到上述病理图像的基础上，图像提取模块12通过滑动窗口在病理图像上进行滑动，提取一种尺寸或是多种尺寸的图像作为分析图像。具体地，可以通过不同尺寸的滑动窗口获取不同尺寸的分析图像。获取不同尺寸的分析图像的目的在于可以同时兼顾识别效率和识别准确性，因为分析图像的尺寸越大，包含的细节特征越多，识别的准确度越高，但是识别效率会有所降低；反之亦然。

以获取两种尺寸的分析图像为例，使用预设的滑动窗口策略在完整的大尺寸的病理图像上获取重叠延伸(overlap)为10％、尺寸为512*512的图像块作为分析图像；同样地，还可以获取重叠延伸(overlap)为10％、尺寸为1024*1024的图像块作为分析图像，如图3所示。在实际处理中，可以根据实际情况采用其他重叠延伸的数值和图像块尺寸。

s130、控制分析模块基于一个或多个已训练的检测模型对分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征。

在用户确定了已训练的检测模型，图像提取模块12根据用户需求提取了相应尺寸的分析图像之后，分析模块13控制用户确定的一个或多个已训练的检测模型对分析图像进行分析，以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征。优选地，每个已训练的检测模型用于确定一种分类特征。

s140、通过输出模块根据得到的分类特征确定并输出肿瘤识别结果。

输出模块14得到分类特征后，根据得到的分类特征确定肿瘤识别结果。其中，肿瘤识别结果可以是肿瘤分型，还可以是肿瘤分型和肿瘤分级。

输出模块14在确定了肿瘤识别结果后，将肿瘤分型输出至人机交互界面的结果显示区，或者将肿瘤分型和肿瘤分级输出至人机交互界面的结果显示区(参见图2a和图2b)。另外，在输出肿瘤识别结果的同时，还可以输出分类特征，使得医生可以清楚地了解到肿瘤识别结果所基于的分类特征，使得肿瘤识别结果更加具有解释性以及说服力，有利于医生接受。

本发明实施例的技术方案，包括：获取图像获取模块获取的被检组织的病理图像；通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像；控制分析模块基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征；通过输出模块根据分类特征确定并输出肿瘤识别结果。上述技术方案解决了现有技术中肿瘤分型依赖医生的经验，肿瘤分型的准确性较低的问题，依据病理医生的诊断思路实现了肿瘤的自动分型和分级。

实施例三

图6本发明实施例三提供的检测模型训练方法的流程图。本实施例与上述各实施例相同或相应的术语的解释在此不再赘述。在本实施例中，可选的，可以通过如下步骤得到已训练的检测模型：

s210、构建检测模型。

基于深度学习算法，比如卷积神经网络的yolo、fastr-cnn、unet、vnet和fcn算法构建检测模型。本实施例以所有检测模型均基于yolo算法构建为例，检测模型可以是：首先通过特征提取网络对输入的分析图像进行特征提取，得到固定尺寸例如m×m的特征图；然后将输入的分析图像划分为m×m个网格单元，若具有正确标记的金标准(groundtruth)中某个目标的中心坐标落在哪个网格单元中，则由该网格单元来预测该目标。

可以理解的是，因为每个网格单元都有固定数量的边框，例如yolov3中是3个边框，只有金标准中交并比(iou)最大的边框才被用来预测该目标。其中，金标准可以理解为：在有监督学习中，数据是有标记的，以(x,t)的形式出现，其中x是输入数据，t是标记。正确的t标记是金标准，错误的t标记则不是金标准。进一步的，边框的坐标可以通过如下公式预测：

bx＝σ(tx)+cx

by＝σ(ty)+cy

其中，tx、ty、tw、th表示检测模型的预测输出；cx和cy表示网格单元的坐标，例如，第0行第1列的网格单元的坐标cx为0，cy为1；pw、ph为预测前边框的大小；bx、by、bw、bh分别为预测所得边框的中心坐标和预测边框的大小。

s220、对已构建的检测模型进行训练。

在对检测模型训练之前，先确定每个检测模型所对应的分析图像的图像尺寸和所对应的分类特征。示例性的，每个检测模型对应一个分类特征和两种尺寸的分析图像，那么对于脑部胶质瘤，需要通过5个已训练的检测模型来识别其分类特征。

请至少两位经验丰富的病理科医生对用于模型训练的大尺寸的病理图像进行诊断，标记出每个病理图像的分类特征，然后通过滑动窗口从包含某分类特征的病理图像中提取512*512尺寸的分析图像n1张，1024*1024尺寸的分析图像n2张，然后将小尺寸分析图像、大尺寸分析图像和该分类特征的标识输入该分类特征对应的检测模型中，以对该分类特征对应的检测模型进行训练。以此类推，完成每个分类特征对应的检测模型的训练，得到各个分类特征对应的已训练的检测模型，使已训练的检测模型具有自动识别分类特征的能力。

实施例四

本发明实施例四提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种肿瘤确定方法，包括：

获取图像获取模块获取的被检组织的病理图像；

通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像；

控制分析模块基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征；

通过输出模块根据得到的分类特征确定并输出肿瘤识别结果。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的肿瘤确定方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。