病理图关键区域确定方法、装置、电子设备及存储介质与流程

文档序号:17843952发布日期:2019-06-11 21:31阅读:180来源:国知局
病理图关键区域确定方法、装置、电子设备及存储介质与流程

本发明涉及计算机技术领域,特别是涉及一种病理图关键区域确定方法、装置、电子设备及存储介质。



背景技术:

随着计算机科学技术的发展,病理图像数字化技术已经取得了长足的进步。其中涉及到的技术主要包括wsi(wholeslideimage,全切片数字图像)的扫描技术和计算机软件的相关自动化处理。特别是近些年来,随着高分辨率摄像头的产生和计算机处理性能的不断提升,wsi的放大倍数与清晰度已经完全可以满足病理医生的日常诊断,这也让医生的工作从显微镜转移到了计算机上。通过指定的wsi处理软件,医生可以方便的进行手动拖拽病理图像、寻找病灶区域,并进行相应的标注等等,一定程度上加快了诊断的效率。同时,wsi数据也包含了传统电子图像数据的特性,可以进行裁切、降采样放缩等处理,可操作化更强。

现有技术中通过传统的卷积神经网络对wsi进行处理,其方法为:将wsi图片直接放缩至合适的尺寸,进而研究放缩后的wsi图像中的包含的关键信息。

然而,发明人发现将wsi图片放缩至合适的尺寸进行关键信息研究方法中,容易导致了病理图局部包含的目标信息的丢失。因此,如何减少病理图中目标信息的丢失,得到所有目标信息的病理图关键区域,仍然是亟待解决的技术问题。



技术实现要素:

本发明实施例的目的在于提供一种病理图关键区域确定方法、装置、电子设备及存储介质,以实现减少病理图中目标信息的丢失,得到所有目标信息的病理图关键区域。具体技术方案如下:

第一方面,本发明实施例公开了一种病理图关键区域确定方法,所述方法包括:

获取待处理病理图;

将所述待处理病理图分割为多个待处理病理子图;

将各所述待处理病理子图输入到预先确定的分类器中进行分析,确定各所述待处理病理子图中包含目标信息的目标待处理病理子图,以及所述目标待处理病理子图的目标特征;

针对各所述目标待处理病理子图,将该目标待处理病理子图的目标特征输入到预先确定的分割模型中,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片;

组合各所述目标图片,得到针对于所述待处理病理图的病理图关键区域。

可选地,所述目标待处理病理子图的目标特征为:所述分类器中,所述分类器与预设分割模型相同的前n个卷积层的第n个卷积层的卷积结果,所述分割模型为去掉所述前n个卷积层的所述预设分割模型,其中,所述n为大于零的自然数。

可选地,在所述将各所述待处理病理子图输入到预先确定的分类器中进行分析之前,所述方法还包括:

将各所述待处理病理子图的色彩调节为与标准图片的色彩一致的图片。

可选地,所述将各所述待处理病理子图输入到预先确定的分类器中进行分析,确定各所述待处理病理子图中包含目标信息的目标待处理病理子图,包括:

针对各所述待处理病理子图,通过所述分类器判断该待处理病理子图中是否包目标信息;

若所述待处理病理子图中包含所述目标信息,则确定所述待处理病理子图为目标待处理病理子图。

可选地,所述将该目标待处理病理子图的目标特征输入到预先确定的分割模型中,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片,包括:

针对该目标待处理病理子图的目标特征,通过所述分割模型的多个卷积层对该目标待处理病理子图进行第一卷积运算,得到第一结果;

对所述第一结果进行空洞卷积金字塔池化以及全局平均池化,得到第二结果;

提取所述分割模型中指定卷积层的卷积结果,对所述卷积结果进行第二卷积运算,得到第三结果;

对所述第二结果、所述第三结果,进行求和及第三卷积运算,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片。

第二方面,本发明实施例公开了一种病理图关键区域确定装置,所述装置包括:

待处理病理图获取模块,用于获取待处理病理图;

待处理病理图分割模块,用于将所述待处理病理图分割为多个待处理病理子图;

目标待处理病理子图确定模块,用于将各所述待处理病理子图输入到预先确定的分类器中进行分析,确定各所述待处理病理子图中包含目标信息的目标待处理病理子图,以及所述目标待处理病理子图的目标特征;

目标图片确定模块,用于针对各所述目标待处理病理子图,将该目标待处理病理子图的目标特征输入到预先确定的分割模型中,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片;

关键区域确定模块,用于组合各所述目标图片,得到针对于所述待处理病理图的病理图关键区域。

可选地,所述装置还包括:

待处理病理子图色彩调节模块,用于将各所述待处理病理子图的色彩调节为与标准图片的色彩一致的图片。

可选地,所述目标待处理病理子图确定模块,包括:

目标信息判断子模块,用于针对各所述待处理病理子图,通过所述分类器判断该待处理病理子图中是否包目标信息;

目标待处理病理子图确定子模块,用于若所述待处理病理子图中包含所述目标信息,则确定所述待处理病理子图为目标待处理病理子图。

可选地,所述目标图片确定模块,包括:

第一结果确定子模块,用于针对该目标待处理病理子图的目标特征,通过所述分割模型的多个卷积层对该目标待处理病理子图进行第一卷积运算,得到第一结果;

第二结果确定子模块,用于对所述第一结果进行空洞卷积金字塔池化以及全局平均池化,得到第二结果;

第三结果确定子模块,用于提取所述分割模型中指定卷积层的卷积结果,对所述卷积结果进行第二卷积运算,得到第三结果;

目标图片确定子模块,用于对所述第二结果、所述第三结果,进行求和及第三卷积运算,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片。

第三方面,本发明实施例公开了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现上述病理图关键区域确定方法中任一所述的方法步骤。

又一方面,本发明实施例公开了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上述病理图关键区域确定方法中任一所述的方法步骤。

又一方面,本发明实施例公开了一种包含指令的计算机程序产品,当其在计算机上运行时,实现上述病理图关键区域确定方法中任一所述的方法步骤。

在本发明实施例提供的一种病理图关键区域确定方法、装置、电子设备及存储介质中,鉴于医疗图像自身分辨率高、尺寸大等情况,将待处理病理图分割为多个待处理病理子图。将各待处理病理子图进行特征提取,获得待处理病理子图的多尺度特征,得到各待处理病理子图中包含目标信息的目标待处理病理子图,以及目标待处理病理子图的目标特征。并对每个目标待处理病理子图通过分割模型进行分割,得到划分出目标信息区域的目标图片;最后组合各目标图片,得到针对于待处理病理图的病理图关键区域。本发明实施例通过对待处理病理图划分后的所有待处理病理子图进行分析,实现了减少病理图中目标信息的丢失,得到病理图所有目标信息的关键区域信息。另外,本发明实施例中通过分类器确定出目标待处理病理子图的目标特征,将目标待处理病理子图的目标特征输入到分割模型中,避免了分割模型对未处理的目标待处理病理子图,进行与分割器相同的重复处理。以及只将包含目标信息的目标待处理病理子图的目标特征输入到分割模型中进行处理,过滤了不需要计算的图片。因此,本发明实施例还节省了计算量,提高了确定病理图关键区域的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种病理图关键区域确定方法流程图;

图2为本发明实施例的一种病理图关键区域确定方法中目标待处理病理子图确定方法流程图;

图3为本发明实施例的一种病理图关键区域确定方法中目标图片确定方法流程图;

图4为本发明实施例的一种病理图关键区域确定系统架构图;

图5为本发明实施例的一种病理图关键区域确定系统中分类器的结构示意图;

图6为本发明实施例的一种病理图关键区域确定系统中分割模型的结构示意图;

图7为本发明实施例的一种病理图关键区域确定装置示意图;

图8为本发明实施例的一种电子设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在过去的几十年里,癌症的病例个数不断增长。研究表明,癌症的平均发病率仍呈增长趋势。

对于治愈癌症来说,早期诊断、精确诊断是十分必要的。在早期诊断中,细针穿刺(fineneedleaspiration,fna)活组织检查是最成功的一种医疗检测方式。fna使用细针从患者的肿瘤中取得一小块活体样本,并将样本经过一系列操作后制成细胞病理切片。医生在显微镜下观察全切片中关键区域的特征,做出相应的诊断。随着病理样本的增加,由于细胞病理学切片中细胞的特性,医生在诊断过程需要耗费很多时间,投入巨大的精力,以确保诊断的准确性。

所以,研究基于细胞病理图像的计算机诊断技术,快速提取关键区域是十分重要的。现存的细胞病理计算机辅诊技术包含病理图像数字化技术和病理图像的处理与自动诊断技术两个方面。病理图像数字化技术将病理切片进行数字化,即为通过数字切片扫描仪可以将整张组织切片扫描生成wsi(wholeslideimage,全切片数字图像)。使用较高放大倍数对细胞病理切片进行扫描,确保关键区域特征的完整性。病理图像数字化技术在病理分析中,不仅能减轻病理医师的工作负担,降低所需时间,还可以侧面提升病理诊断的准确率。

现有技术中通过传统的卷积神经网络对wsi进行处理,其方法为:将wsi图片直接放缩至合适的尺寸,进而研究放缩后的wsi图像中的包含的关键信息。

然而,发明人发现将wsi图片放缩至合适的尺寸进行关键信息研究方法中,容易导致了病理图局部包含的目标信息的丢失。因此,如何减少病理图中目标信息的丢失,得到所有目标信息的病理图关键区域,仍然是亟待解决的技术问题。

为解决上述技术问题,本发明实施例公开了一种病理图关键区域确定方法、装置、电子设备及存储介质,以实现减少病理图中目标信息的丢失,得到所有目标信息的病理图关键区域。具体方法如下:

第一方面,本发明实施例公开了一种病理图关键区域确定方法,如图1所示。图1为本发明实施例的一种病理图关键区域确定方法流程图,方法包括:

s101,获取待处理病理图。

该待处理病理图可为指定研究的wsi,例如:甲状腺穿刺细胞的wsi。

s102,将待处理病理图分割为多个待处理病理子图。

wsi扫描技术虽然使得传统的工作流程转移到了计算机上,但是其巨大的画面尺寸,使得医生寻找病灶区域变得十分困难。医生通常花费大量的时间寻找关键区域,并且整个过程需要时刻注视计算机监视器,容易造成疲劳、降低诊断效率。并且,wsi通常具有十分庞大的数据量。因此,本发明实施例中对待处理病理图的wsi进行裁切处理,得到多个待处理病理子图的图像块。

s103,将各待处理病理子图输入到预先确定的分类器中进行分析,确定各待处理病理子图中包含目标信息的目标待处理病理子图,以及目标待处理病理子图的目标特征。

本发明实施例中,为了更好地确定待处理病理图中目标信息的关键区域,可预先确定能够识别目标信息的分类器。利用该分类器判断输入的待处理病理子图中是否包含目标信息,以及将不包含目标信息的其他待处理病理子图丢弃。

该分类器为对神经网络模型训练,得到的可准确识别出目标信息的神经网络模型。其中的目标信息为需要识别的待处理病理图中的关键信息。例如,待处理病理图为甲状腺穿刺细胞的wsi,则目标信息可为滤泡细胞。滤泡细胞在甲状腺细胞病理切片中分布稀疏。在一张wsi分成的上万张小图中,仅有不到10%的图片包含滤泡细胞。因此采用分类器可过滤掉不包滤泡细胞的大部分图片,减少分割模型的任务量。

可选地,上述目标待处理病理子图的目标特征为:分类器中,分类器与预设分割模型相同的前n个卷积层的第n个卷积层的卷积结果,分割模型为去掉前n个卷积层的预设分割模型,其中,n为大于零的自然数。

本发明实施例中,为了更好地确定待处理病理图中目标信息的关键区域,可将分类器确定的包含目标信息的目标待处理病理子图输入到分割模型。通过分割模型的卷积计算,划分出每个包含目标待处理病理子图中的目标信息区域。该分割模型也是对神经网络模型训练,得到的可识别图片中包含目标信息区域的模型,即为对待处理病理子图中目标信息识别是通过卷积计算得到的,划分目标待处理病理子图中包含目标信息的区域也是通过卷积计算得到的,它们在对待处理病理子图进行处理的过程中具有相同的浅层卷积运算。为了减少计算量,可预先将分类识别与分割识别过程、具有相同的前几层卷积层确定出来,在后期分割识别过程中不需要重复进行卷积运算。即本发明实施例中的分割模型为:将预设分割器中,分类识别与分割识别过程具有的相同前n个卷积层去掉后所得到的预设分割模型。

在本发明实施例中,通过分类器的卷积运算分析,可确定出输入的述待处理病理子图中包含目标信息的目标待处理病理子图,以及通过该分类器中,输出目标特征,该目标特征为分类器与预设分割模型相同的前n个卷积层的第n个卷积层的卷积结果。

可选地,在s103中将各待处理病理子图输入到预先确定的分类器中进行分析之前,为了降低wsi的染色差异,便于分类器的有效识别,可将包含目标信息的图片作为标准图片,使用色彩调节方法调整各待处理病理子图的色彩与该标准图片的色彩一致。

可选地,上述s103中将各待处理病理子图输入到预先确定的分类器中进行分析,确定各待处理病理子图中包含目标信息的目标待处理病理子图,可如图2所示。图2为本发明实施例的一种病理图关键区域确定方法中目标待处理病理子图确定方法流程图,包括:

s1031,针对各待处理病理子图,通过分类器判断该待处理病理子图中是否包目标信息。

例如,本发明实施例的待处理病理图为甲状腺穿刺细胞的wsi,目标信息为滤泡细胞。本步骤中,将各甲状腺穿刺细胞的子wsi输入到分类器中,通过该分类器判断各甲状腺穿刺细胞的子wsi的特征是否有滤泡细胞。

s1032,若待处理病理子图中包含目标信息,则确定待处理病理子图为目标待处理病理子图。

例如,上述步骤s1032中,分类器判断甲状腺穿刺细胞的wsi含有滤泡细胞的,则将该甲状腺穿刺细胞的子wsi确定为目标待处理病理子图。

另外,分类器将不包含目标信息的待处理病理子图丢弃,即为分类器将不会将不包含目标信息的待处理病理子图输入后直接丢弃,并不将其输入到分割模型中。进而有效减少分割模型的任务处理量。

例如,本发明实施例的待处理病理图为甲状腺穿刺细胞的wsi,目标信息为滤泡细胞。则分类器可直接将干扰的只有胶质信息的甲状腺穿刺细胞的wsi,以及没有信息的wsi丢弃。

s104,针对各目标待处理病理子图,将该目标待处理病理子图的目标特征输入到预先确定的分割模型中,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片。

本发明实施例中,通过分割模型对输入的目标待处理病理子图的目标特征进行卷积运算,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片

可选地,上述s104中将该目标待处理病理子图的目标特征输入到预先确定的分割模型中,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片,可如图3所示。图3为本发明实施例的一种病理图关键区域确定方法中目标图片确定方法流程图,包括:

s1041,针对该目标待处理病理子图的目标特征,通过分割模型的多个卷积层对该目标待处理病理子图进行第一卷积运算,得到第一结果;

s1042,对第一结果进行空洞卷积金字塔池化以及全局平均池化,得到第二结果;

在本步骤中,首先通过分割模型的多个卷积层对该目标待处理病理子图进行第一卷积运算,得到第一结果。

s1043,提取分割模型中指定卷积层的卷积结果,对卷积结果进行第二卷积运算,得到第三结果;

本发明实施例的分割模型提出了加强空洞卷积金字塔池化的算法,在空洞卷积金字塔池化中引入更低尺度特征,提高低尺度特征对分割结果的影响,以达到提高分割结果的准确度。

具体为,可见分割模型中任一中层卷积层作为指定卷积层。在分割模型对该目标待处理病理子图进行处理的过程中,提取该指定卷积层的卷积结果,进而对该卷积结果通过卷积核为256个1*1,步长为1的卷积层进行一次指定卷积运算,得到卷积后的第三结果。

s1044,对第二结果、第三结果,进行求和及第三卷积运算,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片。

s105,组合各目标图片,得到针对于待处理病理图的病理图关键区域。

将上述各目标图片,按照目标信息区域进行拼接,得到待处理病理图的完整关键信息对应的病理图关键区域。

在本发明实施例提供的一种病理图关键区域确定方法中,鉴于医疗图像自身分辨率高、尺寸大等情况,将待处理病理图分割为多个待处理病理子图。将各待处理病理子图进行特征提取,获得待处理病理子图的多尺度特征,得到各待处理病理子图中包含目标信息的目标待处理病理子图,以及目标待处理病理子图的目标特征。并对每个目标待处理病理子图通过分割模型进行分割,得到划分出目标信息区域的目标图片;最后组合各目标图片,得到针对于待处理病理图的病理图关键区域。本发明实施例通过对待处理病理图划分后的所有待处理病理子图进行分析,实现了减少病理图中目标信息的丢失,得到病理图所有目标信息的关键区域信息。另外,本发明实施例中通过分类器确定出目标待处理病理子图的目标特征,将目标待处理病理子图的目标特征输入到分割模型中,避免了分割模型对未处理的目标待处理病理子图,进行与分割器相同的重复处理。以及只将包含目标信息的目标待处理病理子图的目标特征输入到分割模型中进行处理,过滤了不需要计算的图片。因此,本发明实施例还节省了计算量,提高了确定病理图关键区域的效率。

为了更好地说明本发明实施例的一种病理图关键区域确定方法,可有图4所示的本发明实施例的一种病理图关键区域确定系统架构图。

该病理图关键区域确定系统包括分类器,以及分割模型。分类器与预设分割模型具有相同的前n个卷积层,本发明实施例中为了减少计算量,可将该前n个卷积层作为共享结构,本发明实施例的分割模型即为预设分割模型去掉该n个卷积层的预设分割模型。即为,分类器的前n个卷积层对待处理病理子图进行卷积运算后得到目标特征,将该目标特征直接输入到分割模型中。

通过该病理图关键区域确定系统,可实现如下方法:

步骤一,对待处理病理图分割的各待处理病理子图,进行数据预处理;

具体为:可将包含目标信息的图片作为标准图片,使用色彩调节方法调整各待处理病理子图的色彩与该标准图片的色彩一致。

步骤二,将预处理后的输入到分类器中进行分类处理,该分类器可对输入的待处理病理子图进行特征分析,判断待处理病理子图中是否包含目标信息,将包含目标信息的待处理病理子图作为目标待处理病理子图,将不包含目标信息的各待处理病理子图丢弃。

该病理图关键区域确定系统中分类器的结构可如图5所示。

该分类器中包含多个卷积结构层,分别对应图5中的区块1、区块2到区块4。其中的区块1为共享结构。

以deeplabv3为例阐述具体共享方式。其基础模型为resnet101,结构如图3中(a)所示。共享结构为resnet101中区块1。图2中(c)展示了分类器除共享结构外其他部分结构。加入卷积核大小为3×3的卷积层对block1的特征进行进一步提取。两个全连接层节点个数分别为4096和3,其中第二个全连接层的节点个数与所要区分的类别个数相一致。通过一个卷积层和两个全连接层,对图像特征进行进一步分析提取,得到分类结果,例如,待处理病理图为甲状腺细胞wsi,则将所有图片从整体上分类三类,即为包含滤泡信息的图片、胶质信息图片、无信息图片,其中,包含滤泡信息的图片为目标待处理病理子图。

通过该分类器后可为每个待处理病理子图打上标签,将目标待处理病理子图送入随后的分割模型中,其他图片丢弃。

步骤三,针对各目标待处理病理子图,将该目标待处理病理子图的目标特征输入到分割模型中,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片。

该病理图关键区域确定系统中分割模型的结构可如图6所示。

其中,该分割模型中包含aspp(atrousspatialpyramidpooling,空洞卷积金字塔池化)以及全局平均池化处理。由于细胞病理图像的自身特征,目标信息的体积较小、分布稀疏,为了提高分割的准确率,本发明实施例中在已有的aspp处理中,将更精确的更低尺度的特征加入到aspp中,构成了e-aspp。

从图6中可知,针对每个目标待处理病理子图,通过分割模型中多个区块的卷积层的对该目标待处理病理子图进行第一卷积运算,得到第一结果;对该第一结果进行空洞卷积金字塔池化以及全局平均池化,得到第二结果;提取该分割模型中区块3的卷积层的卷积结果,对该卷积结果进行指定卷积运算,得到第三结果;对第二结果、第三结果,进行求和及第三卷积运算,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片。

例如,本发明实施例的待处理病理图为甲状腺细胞病理wsi,则通过该病理图关键区域确定系统中的分类器以及分割模型处理后,可得到每个目标甲状腺细胞病理子图中包含的滤泡细胞区域。最后将各目标甲状腺细胞病理子图按照滤泡细胞区域位置进行拼接,得到该甲状腺细胞病理wsi中所有的滤泡细胞区域。

本发明实施例中,通过在分割模型中已有的aspp处理中,加入更低尺度的特征,提高了低尺度特征对分割结果的影响,提高了对待处理病理图中目标信息分割的准确率。

本发明的一种病理图关键区域确定方法,基于深度学习中卷积神经网络对图片特征强大的提取能力,通过cnn提取图像的多尺度特征信息,并将特征信息进行融合,使得从细胞病理切片wsi中提取出包含目标信息的关键区域。针对细胞病理切片特性,为了得到更加准确的分割结果,在原有的分割模型aspp中加入低尺度特征。本发明最终实现了减少病理图中目标信息的丢失,得到病理图所有目标信息的关键区域信息。

另外,为了降低整张wsi计算时间,本发明实施例中使用了分类器以及分割模型,通过分类器过滤不需要计算的图片。以及提出共享结构的思想,使得分割模型不再重复处理与分类器相同的底层卷积运算,整体节省了计算量,提高分割效率。医生可以通过观察提取出的关键区域,进行进一步诊断,节省了医生的时间。

第二方面,本发明实施例公开了一种病理图关键区域确定装置,如图7所示。图7为本发明实施例的一种病理图关键区域确定装置结构示意图,装置包括:

待处理病理图获取模块701,用于获取待处理病理图;

待处理病理图分割模块702,用于将待处理病理图分割为多个待处理病理子图;

目标待处理病理子图确定模块703,用于将各待处理病理子图输入到预先确定的分类器中进行分析,确定各待处理病理子图中包含目标信息的目标待处理病理子图,以及目标待处理病理子图的目标特征;

目标图片确定模块704,用于针对各目标待处理病理子图,将该目标待处理病理子图的目标特征输入到预先确定的分割模型中,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片;

关键区域确定模块705,用于组合各目标图片,得到针对于待处理病理图的病理图关键区域。

在本发明实施例提供的一种病理图关键区域确定装置中,鉴于医疗图像自身分辨率高、尺寸大等情况,将待处理病理图分割为多个待处理病理子图。将各待处理病理子图进行特征提取,获得待处理病理子图的多尺度特征,得到各待处理病理子图中包含目标信息的目标待处理病理子图,以及目标待处理病理子图的目标特征。并对每个目标待处理病理子图通过分割模型进行分割,得到划分出目标信息区域的目标图片;最后组合各目标图片,得到针对于待处理病理图的病理图关键区域。本发明实施例通过对待处理病理图划分后的所有待处理病理子图进行分析,实现了减少病理图中目标信息的丢失,得到病理图所有目标信息的关键区域信息。另外,本发明实施例中通过分类器确定出目标待处理病理子图的目标特征,将目标待处理病理子图的目标特征输入到分割模型中,避免了分割模型对未处理的目标待处理病理子图,进行与分割器相同的重复处理。以及只将包含目标信息的目标待处理病理子图的目标特征输入到分割模型中进行处理,过滤了不需要计算的图片。因此,本发明实施例还节省了计算量,提高了确定病理图关键区域的效率。

可选地,在本发明的病理图关键区域确定装置的一种实施例中,装置还包括:

待处理病理子图色彩调节模块,用于将各待处理病理子图的色彩调节为与标准图片的色彩一致的图片。

可选地,在本发明的病理图关键区域确定装置的一种实施例中,目标待处理病理子图确定模块703,包括:

目标信息判断子模块,用于针对各待处理病理子图,通过分类器判断该待处理病理子图中是否包目标信息;

目标待处理病理子图确定子模块,用于若待处理病理子图中包含目标信息,则确定待处理病理子图为目标待处理病理子图。

可选地,在本发明的病理图关键区域确定装置的一种实施例中,目标图片确定模块704,包括:

第一结果确定子模块,用于针对该目标待处理病理子图的目标特征,通过分割模型的多个卷积层对该目标待处理病理子图进行第一卷积运算,得到第一结果;

第二结果确定子模块,用于对第一结果进行空洞卷积金字塔池化以及全局平均池化,得到第二结果;

第三结果确定子模块,用于提取分割模型中指定卷积层的卷积结果,对卷积结果进行第二卷积运算,得到第三结果;

目标图片确定子模块,用于对第二结果、第三结果,进行求和及第三卷积运算,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片。

第三方面,本发明实施例公开了一种电子设备,如图8所示。图8为本发明实施例的一种电子设备结构示意图,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信;

存储器803,用于存放计算机程序;

处理器801,用于执行存储器803上所存放的程序时,实现以下方法步骤:

获取待处理病理图;

将待处理病理图分割为多个待处理病理子图;

将各待处理病理子图输入到预先确定的分类器中进行分析,确定各待处理病理子图中包含目标信息的目标待处理病理子图,以及目标待处理病理子图的目标特征;

针对各目标待处理病理子图,将该目标待处理病理子图的目标特征输入到预先确定的分割模型中,得到划分出目标信息区域的该目标待处理病理子图对应的目标图片;

组合各目标图片,得到针对于待处理病理图的病理图关键区域。

上述电子设备提到的通信总线804可以是外设部件互连标准(peripheralcomponentinterconnect,pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,eisa)总线等。该通信总线804可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口802用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(randomaccessmemory,ram),也可以包括非易失性存储器(non-volatilememory,nvm),例如至少一个磁盘存储器。可选的,存储器803还可以是至少一个位于远离前述处理器801的存储装置。

上述的处理器801可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessing,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明实施例提供的一种电子设备中,鉴于医疗图像自身分辨率高、尺寸大等情况,将待处理病理图分割为多个待处理病理子图。将各待处理病理子图进行特征提取,获得待处理病理子图的多尺度特征,得到各待处理病理子图中包含目标信息的目标待处理病理子图,以及目标待处理病理子图的目标特征。并对每个目标待处理病理子图通过分割模型进行分割,得到划分出目标信息区域的目标图片;最后组合各目标图片,得到针对于待处理病理图的病理图关键区域。本发明实施例通过对待处理病理图划分后的所有待处理病理子图进行分析,实现了减少病理图中目标信息的丢失,得到病理图所有目标信息的关键区域信息。另外,本发明实施例中通过分类器确定出目标待处理病理子图的目标特征,将目标待处理病理子图的目标特征输入到分割模型中,避免了分割模型对未处理的目标待处理病理子图,进行与分割器相同的重复处理。以及只将包含目标信息的目标待处理病理子图的目标特征输入到分割模型中进行处理,过滤了不需要计算的图片。因此,本发明实施例还节省了计算量,提高了确定病理图关键区域的效率。

又一方面,本发明实施例公开了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上述病理图关键区域确定方法中任一所述的方法步骤。

在本发明实施例提供的一种计算机可读存储介质中,鉴于医疗图像自身分辨率高、尺寸大等情况,将待处理病理图分割为多个待处理病理子图。将各待处理病理子图进行特征提取,获得待处理病理子图的多尺度特征,得到各待处理病理子图中包含目标信息的目标待处理病理子图,以及目标待处理病理子图的目标特征。并对每个目标待处理病理子图通过分割模型进行分割,得到划分出目标信息区域的目标图片;最后组合各目标图片,得到针对于待处理病理图的病理图关键区域。本发明实施例通过对待处理病理图划分后的所有待处理病理子图进行分析,实现了减少病理图中目标信息的丢失,得到病理图所有目标信息的关键区域信息。另外,本发明实施例中通过分类器确定出目标待处理病理子图的目标特征,将目标待处理病理子图的目标特征输入到分割模型中,避免了分割模型对未处理的目标待处理病理子图,进行与分割器相同的重复处理。以及只将包含目标信息的目标待处理病理子图的目标特征输入到分割模型中进行处理,过滤了不需要计算的图片。因此,本发明实施例还节省了计算量,提高了确定病理图关键区域的效率。

又一方面,本发明实施例公开了一种包含指令的计算机程序产品,当其在计算机上运行时,实现上述病理图关键区域确定方法中任一所述的方法步骤。

在本发明实施例提供的一种包含指令的计算机程序产品中,鉴于医疗图像自身分辨率高、尺寸大等情况,将待处理病理图分割为多个待处理病理子图。将各待处理病理子图进行特征提取,获得待处理病理子图的多尺度特征,得到各待处理病理子图中包含目标信息的目标待处理病理子图,以及目标待处理病理子图的目标特征。并对每个目标待处理病理子图通过分割模型进行分割,得到划分出目标信息区域的目标图片;最后组合各目标图片,得到针对于待处理病理图的病理图关键区域。本发明实施例通过对待处理病理图划分后的所有待处理病理子图进行分析,实现了减少病理图中目标信息的丢失,得到病理图所有目标信息的关键区域信息。另外,本发明实施例中通过分类器确定出目标待处理病理子图的目标特征,将目标待处理病理子图的目标特征输入到分割模型中,避免了分割模型对未处理的目标待处理病理子图,进行与分割器相同的重复处理。以及只将包含目标信息的目标待处理病理子图的目标特征输入到分割模型中进行处理,过滤了不需要计算的图片。因此,本发明实施例还节省了计算量,提高了确定病理图关键区域的效率。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1