用于宫颈图像的分析管理的装置和方法、设备及存储介质与流程

文档序号:26267414发布日期:2021-08-13 19:20阅读:106来源:国知局
用于宫颈图像的分析管理的装置和方法、设备及存储介质与流程

本公开涉及宫颈图像分析技术领域,更具体地,涉及一种用于宫颈图像的分析管理的装置和方法、设备及计算机可读存储介质。



背景技术:

宫颈癌是最常见的妇科恶性肿瘤,且近年来其发病率有低龄化趋势,全世界每年子宫颈癌新发病例52.8万,死亡病例26.6万,其中,85%的宫颈癌死亡病例发生在普查率低的低中等收入地区。此外,宫颈癌是一种可以预防并治愈的疾病,并且早期治愈率可以达到90%。因此,早期的筛查和诊断是防治宫颈癌的关键。

基于病理形态学的宫颈癌筛查和诊断方法有宫颈细胞学、免疫组化和宫颈组织学。传统的病理形态学的宫颈癌筛查和诊断方法主要依赖于医生的人工阅片,工作量大、工作效率低,而且容易误诊/漏诊。

近年来,随着人工智能技术的发展,可以通过自动拍摄病理图像,并自动分析和识别异常细胞来实现宫颈病理图像的智能分析,从而有效地减少了医生诊断的工作量,并提高了诊断的准确率。然而,现有的基于深度学习的宫颈筛查分析系统仅提供单一的基于tbs报告系统的液基细胞学图像分析。

由于细胞学制片染色方法多样、制片不规范等问题对人工智能(artificialintelligence,ai)液基细胞学图像分析引入诸多不确定因素,此外诸如腺癌、萎缩、化疗等特殊病例ai分析容易发生误诊漏诊。这些问题给现有的宫颈智能筛查分析系统的普及应用带来了很大的挑战。



技术实现要素:

提供了本公开以解决现有技术中存在的上述问题。

本公开需要一种用于宫颈图像的分析管理的装置和方法、设备及计算机可读存储介质。该装置通过获取受检者的宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,并基于第一分析结果和可选的第二分析结果及可选的第三分析结果,生成分析报告,其中,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,包括:基于所获取的宫颈液基细胞图像并利用第一学习网络确定基于tbs的第一分析结果,基于所获取的宫颈细胞免疫组化图像并利用第二学习网络确定第二分析结果,基于所获取的宫颈组织学图像并利用第三学习网络确定第三分析结果,能够基于宫颈液基细胞图像、宫颈细胞免疫组化图像和宫颈组织学图像的类别对所获取的各个图像进行更精准、更有针对性的自动分析,从而快速、准确地获取分析结果并生成分析报告,因此,提高了宫颈图像的分析管理的质量和效率,减少了宫颈图像的分析管理过程中出现误诊/漏诊的可能性。

根据本公开的第一方面,提供了一种用于宫颈图像的分析管理的装置。该装置包括至少一个处理器,该至少一个处理器配置为:获取受检者的宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像;基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果;以及基于第一分析结果和可选的第二分析结果及可选的第三分析结果,生成分析报告,其中,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,包括:基于所获取的宫颈液基细胞图像并利用第一学习网络确定基于tbs的第一分析结果;基于所获取的宫颈细胞免疫组化图像并利用第二学习网络确定第二分析结果;基于所获取的宫颈组织学图像并利用第三学习网络确定第三分析结果。

根据本公开的第二方面,提供了一种用于宫颈图像的分析管理的方法。该方法包括:由至少一个处理器,获取受检者的宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像;由至少一个处理器,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果;以及由至少一个处理器,基于第一分析结果和可选的第二分析结果及可选的第三分析结果,生成分析报告,其中,由至少一个处理器,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,包括:由至少一个处理器,基于所获取的宫颈液基细胞图像并利用第一学习网络确定基于tbs的第一分析结果;由至少一个处理器,基于所获取的宫颈细胞免疫组化图像并利用第二学习网络确定第二分析结果;由至少一个处理器,基于所获取的宫颈组织学图像并利用第三学习网络确定第三分析结果。

根据本公开的第三方面,提供了一种用于宫颈图像的分析管理的设备,包括存储器和处理器,其中,存储器用于存储一条或多条计算机程序指令,其中,一条或多条计算机程序指令被处理器执行以实现一种用于宫颈图像的分析管理的方法。

根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储计算机程序指令,其中,计算机程序指令在被处理器执行时实现一种用于宫颈图像的分析管理的方法。

利用根据本公开各个实施例的用于宫颈图像的分析管理的装置和方法、设备及计算机可读存储介质,通过获取受检者的宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,并基于第一分析结果和可选的第二分析结果及可选的第三分析结果,生成分析报告,其中,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,包括:基于所获取的宫颈液基细胞图像并利用第一学习网络确定基于tbs的第一分析结果,基于所获取的宫颈细胞免疫组化图像并利用第二学习网络确定第二分析结果,基于所获取的宫颈组织学图像并利用第三学习网络确定第三分析结果,能够基于宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像的类别对所获取的各个图像进行更精准、更有针对性的自动分析,从而快速、准确地获取分析结果并生成分析报告,因此,提高了宫颈图像的分析管理的质量和效率,减少了宫颈图像的分析管理过程中出现误诊/漏诊的可能性。此外,本公开还能够为临床医生提供宫颈癌筛查和诊断的全流程一站式智能辅助诊断工作站,解决了人工智能单一诊断模型在处理复杂病例时面临的挑战。

附图说明

在不一定按比例绘制的附图中,相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例,并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候,在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的,而并非旨在作为本装置或方法的穷尽或排他实施例。

图1示出根据本公开实施例的一种用于宫颈图像的分析管理的装置的框图;

图2示出根据本公开实施例的一种用于宫颈图像的分析管理的方法的流程图;

图3示出根据本公开实施例的另一种用于宫颈图像的分析管理的方法的流程图;以及

图4示出根据本公开实施例的一种用于宫颈图像的分析管理的设备的结构框图。

具体实施方式

为使本领域技术人员更好的理解本公开的技术方案,下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述,但不作为对本公开的限定。本文中所描述的各个步骤,如果彼此之间没有前后关系的必要性,则本文中作为示例对其进行描述的次序不应视为限制,本领域技术人员应知道可以对其进行顺序调整,只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。

此外,本领域普通技术人员应当理解,在此提供的附图都是为了说明的目的,并且附图不一定是按比例绘制的。

除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。

在本公开的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本公开的描述中,除非另有说明,“多个”的含义是两个或两个以上。

下面将结合附图详细说明根据本公开实施例的一种用于宫颈图像的分析管理的装置和方法。

图1示出根据本公开实施例的一种用于宫颈图像的分析管理的装置的框图。如图1所示,该装置可以包括至少一个处理器102。

具体地,至少一个处理器102配置为获取受检者的宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像;基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果;以及基于第一分析结果和可选的第二分析结果及可选的第三分析结果,生成分析报告,其中,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,包括:基于所获取的宫颈液基细胞图像并利用第一学习网络确定基于tbs的第一分析结果;基于所获取的宫颈细胞免疫组化图像并利用第二学习网络确定第二分析结果;基于所获取的宫颈组织学图像并利用第三学习网络确定第三分析结果。

这里,至少一个处理器102可以是包括一个以上通用处理设备的处理设备,诸如微处理器、中央处理单元(cpu)、图形处理单元(gpu)等。更具体地,至少一个处理器102可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。至少一个处理器102还可以是一个以上专用处理设备,诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)等。进一步地,至少一个处理器102也可以配置为呈现用户界面,以提示用户输入对学习网络的结构的设置。例如,可以在用户界面上呈现学习网络的各种结构的列表或菜单以供用户选择,用户所选择的预定结构的学习网络用于后续的自动分析过程。

宫颈液基细胞学检查也称宫颈液基薄层细胞检测,其采用液基薄层细胞检测系统来检测检测宫颈细胞并进行细胞学分类诊断,是目前国际上最先进的一种宫颈癌细胞学检查技术。与传统的宫颈刮片巴氏涂片检查相比,宫颈液基细胞学检查明显提高了标本的满意度及宫颈异常细胞检出率而且还能发现部分癌前病变和诸如霉菌、滴虫、病毒、衣原体等的微生物感染,是应用于宫颈癌筛查的最先进的技术。

免疫组化,是应用免疫学基本原理——抗原抗体反应,即抗原与抗体特异性结合的原理,通过化学反应使标记抗体的显色剂(荧光素、酶、金属离子、同位素)显色来确定组织细胞内抗原(多肽和蛋白质),对其进行定位、定性及相对定量的研究,称为免疫组织化学技术(immunohistochemistry)或免疫细胞化学技术(immunocytochemistry)。宫颈免疫组化用于进一步确诊疾病的分级分期。其中,p16和或ki67免疫细胞化学或免疫组织化学是常用的宫颈免疫组化检查,此外,还有e6/e7免疫组化检查等。

组织学研究所得出的正常微细结构的图像是病理组织学的必要基础,只有对正常的微细结构有了清楚的认识,病理组织学才能探讨疾病过程中这些微细结构的异常变化。

宫颈液基细胞图像、宫颈细胞免疫组化图像和宫颈组织学图像可以是“svs”、“ndpi”、“kfb”、“mrxs”等格式。宫颈细胞免疫组化图像和宫颈组织学图像可以是针对同一组癌症特异性基因和/或抗原进行染色所获得的图像。这里,癌症特异性基因是指仅在癌细胞中特异性表达或显著过度表达的基因,癌症特异性抗原是指仅表达于某种癌症细胞表面而不存在于正常细胞上的抗原。

进一步地,同一组癌症特异性基因和/或抗原包括p16基因和/或ki67抗原。这里,p16基因也称mts(multipletumorsuppressor1)基因,是一种细胞周期中的基本基因,其直接参与细胞周期的调控,负调节细胞增殖及分裂,在人类50%肿瘤细胞株纯发现有纯合子缺失,突变,认为是比p53更重要的一种新型抗癌基因。p16基因已经在肺癌、乳腺癌、脑肿瘤、骨肿瘤、皮肤癌、膀胱癌、肾癌、卵巢癌和淋巴瘤、黑色素瘤中发现纯合子缺失以及无义,错义及移码突变,表明p16基因以缺失,突变方式广泛参与肿瘤形成,检测p16基因有无改变对判断患者肿瘤的易感性以及预测肿瘤的预后,具有十分重要的临床意义。ki67抗原是一种增殖细胞的相关抗原,其功能与丝分裂密切相关,在细胞增殖中是不可缺少的。在临床上,ki67抗原主要用于标记增殖周期中的细胞,该标记(+)率高这主要是由肿瘤生长越快,组织分化能力越差,而对ki67抗原也越敏感。一般来说,这样的肿瘤,预后都是较差的,通常很难完全治愈。因此,晚期的肿瘤由于其分裂较快而细胞的分化较不完善,从而造成ki67抗原的敏感性增高。

需要说明的是,宫颈液基细胞图像、宫颈细胞免疫组化图像和宫颈组织学图像可以是经由通信接口从诸如显微镜、相机等的医学成像装置实时获取的图像,也可以是从服务器获取的全视野数字病理切片图像,本公开实施例对此不作限制。这里,通信接口可以包括网络适配器、电缆连接器、串行连接器,usb连接器、并行连接器、高速数据传输适配器(诸如光纤、usb3.0、雷电接口等)、无线网络适配器(诸如wifi适配器)、电信(诸如3g、4g/lte等)适配器等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,或者还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器,本公开实施例对此不作限制。

第一学习网络、第二学习网络和第三学习网络可以是深度学习网络,并且具有相同的多元化的分析类别。第一学习网络、第二学习网络和第三学习网络可以共享至少部分的学习网络,且联合训练。这里,学习网络可以包括卷积神经网络(convolutionalneuralnetworks,cnn)、循环神经网络和递归神经网络(recursiveneuralnetwork,rnn)中的一种或其组合。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(feedforwardneuralnetwork,fnn)。卷积神经网络具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类。卷积神经网络模型的卷积层可以包括至少一个滤波器或内核。至少一个滤波器的一个以上参数(诸如内核权重、大小、形状和结构等)可以通过例如基于反向传播的训练处理来确定。循环神经网络是一类以序列数据为输入,在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。递归神经网络是具有树状阶层结构且网络节点按其连接顺序对输入信息进行递归的人工神经网络(artificialneuralnetwork,ann)。

进一步地,通过预先设置深度学习网络的结构为网络模型,并设置损失函数来对第一学习网络、第二学习网络和第三学习网络进行训练。这里,深度学习是机器学习(machinelearning,ml)的一种,而机器学习是实现人工智能的必经路径。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。网络模型可以使用监督学习来训练。网络模型的架构可以包括不同的块和层的堆叠,各个块和层将一个以上输入转换为一个以上输出。不同层的示例可以包括一个以上卷积层或全卷积层、非线性操作符层、池化层或子采样层、全连接层和/或最终损失层。每层可以连接一个上游层和一个下游层。网络模型可以包括残差网络(residualnetwork,resnet)模型、分割网络(unet)模型、alexnet模型、googlenet模型、视觉几何组(visualgeometrygroup,vgg)模型、金字塔场景解析网络(pyramidsceneparsingnetwork,pspnet)模型、deeplabv3网络模型等,本公开实施例对此不作限制。损失函数(lossfunction)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。

第一分析结果可以是第一学习网络的分析类别的二元化分析结果,例如,正常细胞和异常细胞;第二分析结果和第三分析结果可以分别是第二学习网络和第三学习网络的分析类别的二元化分析结果,例如,阴性细胞和阳性细胞。这里,细胞的类别可以包括单细胞和团细胞,该单细胞可以包括低级别鳞状上皮病变细胞、高级别鳞状上皮病变细胞、微生物细胞、化生细胞、颈管细胞和炎症细胞中的一种或多种;团细胞可以包括低级别鳞状上皮病变细胞、高级别鳞状上皮病变细胞、腺癌细胞、微生物细胞、化生细胞、颈管细胞和炎症细胞中的一种或多种。进一步地,分析结果还可以包括图像满意度、炎症等级和模糊区域数量和位置,该模糊区域作为医生重点复核的区域,模糊区域的数量作为图像质量评估的参数之一。

tbs(thebethesdasystem)诊断是一种描述性诊断,1988年美国由50位病理学家在华盛顿马里兰州bethesda城开会讨论宫颈/阴道细胞学诊断报告方式,并提出两个对癌前病变的术语,低级别鳞状上皮内病变(low-gradesquamousintraepitheliallesions,lsil)和高级别鳞状上皮内病变(high-gradesquamousintraepitheliallesions,hsil)。

根据本公开实施例的用于宫颈图像的分析管理的装置,通过获取受检者的宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,并基于第一分析结果和可选的第二分析结果及可选的第三分析结果,生成分析报告,其中,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,包括:基于所获取的宫颈液基细胞图像并利用第一学习网络确定基于tbs的第一分析结果,基于所获取的宫颈细胞免疫组化图像并利用第二学习网络确定第二分析结果,基于所获取的宫颈组织学图像并利用第三学习网络确定第三分析结果,能够基于宫颈液基细胞图像、宫颈细胞免疫组化图像和宫颈组织学图像的类别对所获取的各个图像进行更精准、更有针对性的自动分析,从而快速、准确地获取分析结果并生成分析报告,因此,提高了宫颈图像的分析管理的质量和效率,减少了宫颈图像的分析管理过程中出现误诊/漏诊的可能性。此外,本公开还能够为临床医生提供宫颈癌筛查和诊断的全流程一站式智能辅助诊断工作站,解决了人工智能单一诊断模型在处理复杂病例时面临的挑战。

在一些实施例中,该用于宫颈图像的分析管理的装置还包括:接收部104,其配置为接收受检者的宫颈液基细胞玻片和可选的宫颈细胞免疫组化玻片及可选的宫颈组织学玻片;以及采集部106,其配置为采集所接收的宫颈液基细胞玻片和可选的宫颈细胞免疫组化玻片及可选的宫颈组织学玻片的图像,其中,至少一个处理器102进一步配置为:将所采集的各个图像自动分类为宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像中的对应类别。

具体地,宫颈液基细胞玻片的图像、宫颈细胞免疫组化玻片的图像和宫颈组织学玻片的图像可以是图像的原始数据,也可以是经过预处理筛选后的数据,本公开实施例对此不作限制。当原始数据中包含干扰数据后续处理的内容时,需要对其进行数据预处理操作,该数据预处理操作至少包括对玻片数据中的过亮的图像数据和/或过暗的图像数据和/或模糊的图像数据和/或含有杂物的图像数据执行删除和/去噪操作,这里,删除操作包括对每一图像执行的完全删除操作或将每一图像分割后对目标区域执行的部分删除操作。

受检者的宫颈液基细胞玻片和可选的宫颈细胞免疫组化玻片及可选的宫颈组织学玻片可以是对应的病理切片。接收部104可以以各种方式实现,例如可以实现为切片载台,载台上可以设置有多个(例如但不限于三个)承载格,医师可以将同个受检者的宫颈液基细胞玻片和可选的宫颈细胞免疫组化玻片及可选的宫颈组织学玻片以任何顺序置于各个承载格。可以利用采集部106,例如但不限于扫描仪、显微镜、高倍摄像头等等,对各个承载格上承载的玻片采集图像,随后所采集的图像可以馈送到至少一个处理器102。至少一个处理器102可以利用图像识别技术进行类别的自动识别,并将各个图像自动分类为宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像中的对应类别。这里,图像识别是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,可以采用深度学习算法,但不限于此;也可以采用决策树、贝叶斯分类算法等传统分类算法,在此不赘述。如此,在医师混淆玻片的情况下,依然可以自动识别玻片类别,并相应实施对应的图像分析处理,以得到准确的分析结果,用户友好度更好;在大批量自动分析任务中,能够显著提高检测效率。

在一些实施例中,至少一个处理器102进一步配置为:接收来自用户的报告模式的选择;以及基于用户所选择的报告模式,生成独立报告和联合报告中的至少一个,其中,独立报告包括分别基于第一分析结果、第二分析结果和第三分析结果独立生成的第一分析报告、第二分析报告和第三分析报告,联合报告为基于第一分析结果、第二分析结果和第三分析结果以融合方式生成的报告。

具体地,用户可以基于宫颈液基细胞图像、宫颈细胞免疫组化图像和宫颈组织学图像的类别选择对应的报告模式,并基于所选择的报告模式仅生成独立报告或联合报告,或者同时生成独立报告和联合报告。这里,独立报告可以包括基于第一分析结果生成的第一分析报告、基于第二分析结果生成的第二分析报告和基于第三分析结果生成的第三分析报告;联合报告可以是基于第一分析结果、第二分析结果和第三分析结果以融合方式生成的报告。

在一些实施例中,采集部106进一步配置为对各个玻片分部地执行图像采集,至少一个处理器102进一步配置为:在采集部106对各个玻片的各个部分进行图像采集的情况下,并行地执行所采集的图像的部分的自动分析;以及对各个玻片的各个部分的自动分析结果进行融合处理,得到各个玻片的分析结果。

以扫描仪作为采集部106的示例进行说明。在一些实施例中,各个玻片的图像具有可观的尺寸,完整的图像也可以称为“全片图像”,扫描仪由此也需要可观的时间才能采集得到完整的“全片”。可以利用采集部106对各个玻片分部分逐步采集,如此,对于先前已经采集的玻片图像的部分可以进行自动分析,同时继续对后续玻片图像的部分的采集,直到采集并完成“全片”图像的所有部分的分析为止。随后,可以对各个玻片的各个部分的自动分析结果进行融合处理,得到各个玻片的分析结果。以这种并行处理方式,不仅可以显著节省时间,也显著降低了至少一个处理器102的工作负荷。

在一些实施例中,采集部106可以同时对多个玻片的不同部分同步地进行图像采集,直至完成所有玻片的完整图像的采集,后续可以由至少一个处理器102对于玻片图像的类别进行自动识别。

在一些实施例中,融合处理是将来源不同的数据整合到一起并去除冗余,以得到更有利于对各个玻片进行分析的融合数据。融合又分为像素级融合、特征级融合、决策级融合。特征级融合的算法可以包括但不限于基于贝叶斯理论的特征融合算法(例如,分类器的乘法规则和加法规则、基于线性特征依赖模型的特征融合算法等)、基于稀疏表示理论的特征融合算法、基于深度学习理论的特征融合算法等。这里,基于稀疏表示理论的特征融合算法是对玻片提取多特征后建立特征联合稀疏矩阵,该特征联合稀疏矩阵即为多特征融合的结果;基于深度学习理论的特征融合算法是将多个神经网络得到的特征进行融合以得到融合特征。

在一些实施例中,至少一个处理器102进一步配置为:基于图像中的对象的颜色,将宫颈液基细胞图像与宫颈细胞免疫组化图像区分开;以及基于图像中的对象的形态,将宫颈液基细胞图像和宫颈细胞免疫组化图像与宫颈组织学图像区分开。

具体地,图像中的对象可以是图像中的细胞或组织。在宫颈液基细胞图像中,宫颈液基细胞的形态为圆饼状,且颜色为红蓝色;在宫颈细胞免疫组化图像中,宫颈细胞的形态为圆饼状,且颜色为稍暗的棕褐色;在宫颈组织学图像中,宫颈组织的形态为非圆饼的不规则形状,因此,可以基于宫颈液基细胞图像中的宫颈液基细胞的颜色、宫颈细胞免疫组化图像中的宫颈细胞的颜色将宫颈液基细胞图像与宫颈细胞免疫组化图像和宫颈组织学图像两者区分开。另外,可以基于宫颈液基细胞图像中的宫颈液基细胞的形态和宫颈细胞免疫组化图像中的宫颈细胞的形态与宫颈组织学图像中的宫颈组织的形态差异,将宫颈细胞免疫组化图像和宫颈组织学图像区分开。

图2示出根据本公开实施例的一种用于宫颈图像的分析管理的方法的流程图。如图2所示,该用于宫颈图像的分析管理的方法可以包括由至少一个处理器,获取受检者的宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像(步骤202)。该方法还可以包括由至少一个处理器,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果(步骤204)。该方法还可以包括由至少一个处理器,基于第一分析结果和可选的第二分析结果及可选的第三分析结果,生成分析报告(步骤206)。

在一些实施例中,由至少一个处理器,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,包括:由至少一个处理器,基于所获取的宫颈液基细胞图像并利用第一学习网络确定基于tbs的第一分析结果;由至少一个处理器,基于所获取的宫颈细胞免疫组化图像并利用第二学习网络确定第二分析结果;由至少一个处理器,基于所获取的宫颈组织学图像并利用第三学习网络确定第三分析结果。

根据本公开实施例的用于宫颈图像的分析管理的方法,通过获取受检者的宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,并基于第一分析结果和可选的第二分析结果及可选的第三分析结果,生成分析报告,其中,基于所获取的各个图像进行自动分析,得到第一分析结果和可选的第二分析结果及可选的第三分析结果,包括:基于所获取的宫颈液基细胞图像并利用第一学习网络确定基于tbs的第一分析结果,基于所获取的宫颈细胞免疫组化图像并利用第二学习网络确定第二分析结果,基于所获取的宫颈组织学图像并利用第三学习网络确定第三分析结果,能够基于宫颈液基细胞图像、宫颈细胞免疫组化图像和宫颈组织学图像的类别对所获取的各个图像进行更精准、更有针对性的自动分析,从而快速、准确地获取分析结果并生成分析报告,因此,提高了宫颈图像的分析管理的质量和效率,减少了宫颈图像的分析管理过程中出现误诊/漏诊的可能性。此外,本公开还能够为临床医生提供宫颈癌筛查和诊断的全流程一站式智能辅助诊断工作站,解决了人工智能单一诊断模型在处理复杂病例时面临的挑战。

在一些实施例中,该用于宫颈图像的分析管理的方法还包括:接收受检者的宫颈液基细胞玻片和可选的宫颈细胞免疫组化玻片及可选的宫颈组织学玻片;采集所接收的宫颈液基细胞玻片和可选的宫颈细胞免疫组化玻片及可选的宫颈组织学玻片的图像;以及由至少一个处理器,将所采集的各个图像自动分类为宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像中的对应类别。

在一些实施例中,该用于宫颈图像的分析管理的方法还包括:由至少一个处理器,接收来自用户的报告模式的选择;以及由至少一个处理器,基于用户所选择的报告模式,生成独立报告和联合报告中的至少一个,其中,独立报告包括分别基于第一分析结果、第二分析结果和第三分析结果独立生成的第一分析报告、第二分析报告和第三分析报告,联合报告为基于第一分析结果、第二分析结果和第三分析结果以融合方式生成的报告。

在一些实施例中,宫颈细胞免疫组化图像和宫颈组织学图像是针对同一组癌症特异性基因和/或抗原进行染色所获得的图像。

在一些实施例中,同一组癌症特异性基因和/或抗原包括p16基因和/或ki67抗原。

在一些实施例中,该用于宫颈图像的分析管理的方法还包括:由采集部,对各个玻片分部地执行图像采集;由至少一个处理器,在采集部对各个玻片的各个部分进行图像采集的情况下,并行地执行所采集的图像的部分的自动分析;以及由至少一个处理器,对各个玻片的各个部分的自动分析结果进行融合处理,得到各个玻片的分析结果。

在一些实施例中,该用于宫颈图像的分析管理的方法还包括:由至少一个处理器,基于图像中的对象的颜色,将宫颈液基细胞图像与宫颈细胞免疫组化图像区分开;以及由至少一个处理器,基于图像中的对象的形态,将宫颈液基细胞图像和宫颈细胞免疫组化图像与宫颈组织学图像区分开。

在一些实施例中,第一学习网络、第二学习网络和第三学习网络具有相同的多元化的分析类别,第二分析结果和第三分析结果分别是第二学习网络和第三学习网络的分析类别的二元化分析结果。以此方式,第一学习网络、第二学习网络和第三学习网络可以共享一部分网络架构,也可以灵活地共享一部分训练好的学习网络。例如,第二学习网络和第三学习网络可以简单地在第一学习网络的末端添加全连接层(也可以是聚类分析层等,在此不特别限制)执行二元化处理。在一些实施例中,第一学习网络、第二学习网络和第三学习网络中任何一个学习网络训练好后,可以作为另一学习网络的训练起点来执行转移训练,从而提升训练效率并弥补训练玻片的不足。

在一些实施例中,第一学习网络、第二学习网络和第三学习网络共享至少部分的学习网络,且联合训练。例如,第一学习网络、第二学习网络和第三学习网络可以具有共同的编码部(特征提取部)和解码部(基于特征确定多元化的分析结果),第二学习网络和第三学习网络在解码部的末端可以添加回归层来执行二元化处理。可以基于三种宫颈玻片的训练玻片对包括编码部、解码部和回归层的学习网络进行联合训练,具体说来,可以设立联合损失函数来计入在各种训练玻片中的训练损失。以此方式,可以弥补训练玻片的不足,提升训练效率,并增强学习网络在分析各类图像的性能上的鲁棒性。

图3示出根据本公开实施例的另一种用于宫颈图像的分析管理的方法的流程图。如图3所示,该用于宫颈图像的分析管理的方法可以包括如下步骤。该方法始于接收受检者的宫颈液基细胞玻片和可选的宫颈细胞免疫组化玻片及可选的宫颈组织学玻片(步骤302)。该方法还可以包括采集所接收的宫颈液基细胞玻片和可选的宫颈细胞免疫组化玻片及可选的宫颈组织学玻片的图像(步骤304)。该方法还可以包括由至少一个处理器,将所采集的各个图像自动分类为宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像中的对应类别(步骤306)。该方法还可以包括由至少一个处理器,基于所获取的宫颈液基细胞图像并利用第一学习网络确定基于tbs的第一分析结果(步骤308)。该方法还可以包括由至少一个处理器,基于所获取的宫颈细胞免疫组化图像并利用第二学习网络确定第二分析结果(步骤310)。该方法还可以包括由至少一个处理器,基于所获取的宫颈组织学图像并利用第三学习网络确定第三分析结果(步骤312)。该方法还可以包括由至少一个处理器,接收来自用户的报告模式的选择(步骤314)。该方法还可以包括由至少一个处理器,基于用户所选择的报告模式,生成独立报告和联合报告中的至少一个,其中,独立报告包括分别基于第一分析结果、第二分析结果和第三分析结果独立生成的第一分析报告、第二分析报告和第三分析报告,联合报告为基于第一分析结果、第二分析结果和第三分析结果以融合方式生成的报告(步骤316)。

根据本公开实施例的用于宫颈图像的分析管理的方法,通过接收受检者的宫颈液基细胞玻片和可选的宫颈细胞免疫组化玻片及可选的宫颈组织学玻片,采集所接收的宫颈液基细胞玻片和可选的宫颈细胞免疫组化玻片及可选的宫颈组织学玻片的图像,将所采集的各个图像自动分类为宫颈液基细胞图像和可选的宫颈细胞免疫组化图像及可选的宫颈组织学图像中的对应类别,基于所获取的宫颈液基细胞图像并利用第一学习网络确定基于tbs的第一分析结果,基于所获取的宫颈细胞免疫组化图像并利用第二学习网络确定第二分析结果,基于所获取的宫颈组织学图像并利用第三学习网络确定第三分析结果,接收来自用户的报告模式的选择,以及基于用户所选择的报告模式生成独立报告和联合报告中的至少一个,该独立报告包括分别基于第一分析结果、第二分析结果和第三分析结果独立生成的第一分析报告、第二分析报告和第三分析报告,联合报告为基于第一分析结果、第二分析结果和第三分析结果以融合方式生成的报告,能够基于宫颈液基细胞图像、宫颈细胞免疫组化图像和宫颈组织学图像的类别对所获取的各个图像进行更精准、更有针对性的自动分析,从而快速、准确地获取分析结果并生成分析报告,因此,提高了宫颈图像的分析管理的质量和效率,减少了宫颈图像的分析管理过程中出现误诊/漏诊的可能性。此外,本公开还能够为临床医生提供宫颈癌筛查和诊断的全流程一站式智能辅助诊断工作站,解决了人工智能单一诊断模型在处理复杂病例时面临的挑战。

图4示出根据本公开实施例的一种用于宫颈图像的分析管理的设备的结构框图。如图4所示,该用于宫颈图像的分析管理的设备为通用数据处理装置,包括通用的计算机硬件结构,该用于宫颈图像的分析管理的设备至少包括处理器402和存储器404。处理器402和存储器404通过总线406连接。存储器404适于存储处理器402可执行的指令或程序。处理器402可以是独立的微处理器,也可以是一个或者多个微处理器集合。由此,处理器402通过执行存储器404所存储的命令,从而执行如上所述的本公开实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线406将上述多个组件连接在一起,同时将上述组件连接到显示控制器408和显示装置以及输入/输出(i/o)装置410。输入/输出(i/o)装置410可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地,输入/输出(i/o)装置410通过输入/输出(i/o)控制器412与系统相连。

其中,存储器404可以存储软件组件,例如,操作系统、通信模块、交互模块和应用程序。上述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。

在一些实施例中,用于宫颈图像的分析管理的设备可以处于某处,散布于多处,也可以是分布式的设备,例如设置于云端,本公开实施例对此不作限制。相应地,用于呈现宫颈图像的分析管理结果的显示器可以处于用于宫颈图像的分析管理的设备的本地或者远程,在此不作限制。

上述根据本公开实施例的方法、系统和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应理解,流程图和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器,以产生机器,使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。

同时,如本领域技术人员将意识到的,本公开实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此,本公开实施例的各个方面可以采取如下形式:完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实施方式。此外,本公开的方面可以采取如下形式:在一个或多个计算机可读介质中实现的计算机程序产品,计算机可读介质具有在其上实现的计算机可读程序代码。

可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置,或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项:具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪速存储器)、光纤、便携式光盘只读存储器(cd-rom)、光存储装置、磁存储装置或前述的任意适当的组合。在本公开实施例的上下文中,计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。

计算机可读信号介质可以包括传播的数据信号,该传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式,包括但不限于:电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质:不是计算机可读存储介质,并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。

可以使用包括但不限于无线、有线、光纤电缆、rf等或前述的任意适当组合的任意合适的介质来传送实现在计算机可读介质上的程序代码。

用于执行针对本公开各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写,编程语言包括:面向对象的编程语言如java、smalltalk、c++、php、python等;以及常规过程编程语言如“c”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行;部分地在用户计算机上且部分地在远程计算机上执行;或者完全地在远程计算机或服务器上执行。在后一种情况下,可以将远程计算机通过包括局域网(lan)或广域网(wan)的任意类型的网络连接至用户计算机,或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。

还可以将这些计算机程序指令存储在可以指导计算机、其它可编程数据处理设备或其它装置以特定方式运行的计算机可读介质中,使得在计算机可读介质中存储的指令产生包括实现在流程图和/或框图块或块中指定的功能/动作的指令的制品。

计算机程序指令还可以被加载至计算机、其它可编程数据处理设备或其它装置上,以使在计算机、其它可编程设备或其它装置上执行一系列可操作步骤来产生计算机实现的过程,使得在计算机或其它可编程设备上执行的指令提供用于实现在流程图和/或框图块或块中指定的功能/动作的过程。

此外,尽管已经在本文中描述了示例性实施例,其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合(例如,各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释,并不限于在本说明书中或本申请的实施期间所描述的示例,其示例将被解释为非排他性的。因此,本说明书和示例旨在仅被认为是示例,真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。

以上描述旨在是说明性的而不是限制性的。例如,上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外,在上述具体实施方式中,各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反,本发明的主题可以少于特定的公开的实施例的全部特征。从而,以下权利要求书作为示例或实施例在此并入具体实施方式中,其中每个权利要求独立地作为单独的实施例,并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1