皮肤对象的识别方法、装置和电子设备与流程

文档序号:20922386发布日期:2020-05-29 14:19阅读:177来源:国知局
皮肤对象的识别方法、装置和电子设备与流程

本公开涉及一种皮肤对象的识别方法、装置和电子设备。



背景技术:

图像分割是利用电子设备将一图像分割成若干个特定的具有独特性质的区域的图像处理技术,广泛应用于不同的研究领域,例如医学影像分析领域,交通图像分析领域,军事研究领域。如何从待分割的图像中得到精准的图像分割结果至关重要。随着人工智能的快速发展,采用利用机器学习的深度学习技术对图像进行分割以提高图像分割的准确度成为一种行之有效的技术手段。

但是,图像分割所要处理的图像尺寸有越来越大的趋势,例如可以是50000*50000包含25亿像素的超大尺寸图像,甚至更大尺寸。而电子设备的硬件性能是有限的,导致在利用深度学习进行图像分割时,无法实现对超大尺寸图像的完整分割。



技术实现要素:

本公开的一个方面提供了一种皮肤对象的识别方法,包括:获得皮肤对象对应第一放大倍数的目标图像和对应第二放大倍数的参考图像,其中,上述第一放大倍数大于上述第二放大倍数,基于上述参考图像,定位上述皮肤对象的目标区域,其中,基于上述目标区域能够从上述目标图像中识别出上述皮肤对象,以及基于上述目标区域,从上述目标图像中识别出上述皮肤对象。

可选地,在上述皮肤对象包括角质层对象或仅包括表皮层对象的情况下,上述基于上述参考图像,定位上述皮肤对象的目标区域包括:对上述参考图像进行阈值分割,以提取第一前景图像和第一背景图像,其中,上述第一前景图像包含多个第一连通域,滤除上述多个第一连通域中不符合预设规则的连通域,以获得第二前景图像,其中,上述第二前景图像包含多个第二连通域,以及识别每个第二连通域的轮廓点,以定位上述角质层对象或表皮层对象的第一目标区域。

可选地,上述基于上述目标区域,从上述目标图像中识别出上述皮肤对象包括:基于抽取策略,从上述第一目标区域的第一轮廓点集中抽取多个第一轮廓点,将每个第一轮廓点从上述参考图像映射到上述目标图像,以获取在上述目标图像中对应于上述每个第一轮廓点的第一分割区域,加载用于分割上述角质层对象的第一分割模型,或用于分割表皮层对象的第二分割模型;以及基于上述第一分割模型,遍历分割对应于上述每个第一轮廓点的第一分割区域以从上述目标图像中识别出上述角质层对象,或基于第二分割模型,遍历分割对应于每个第一轮廓点的第一分割区域以从目标图像中识别出表皮层对象。

可选地,上述将每个第一轮廓点从上述参考图像映射到上述目标图像,以获取在上述目标图像中对应于上述每个第一轮廓点的第一分割区域包括:基于上述第一放大倍数和上述第二放大倍数,确定映射参数,基于上述映射参数,将上述每个第一轮廓点从上述参考图像映射到上述目标图像,以获得在上述目标图像中对应于上述每个第一轮廓点的第一目标点,以及基于上述抽取策略和上述映射参数,以每个第一目标点为中心,获取上述第一分割区域。

可选地,在从上述目标图像中识别出上述角质层对象之后,上述方法还包括:对上述第二前景图像进行阈值分割,以提取第三前景图像和第二背景图像,其中,上述第三前景图像包含多个第三连通域,滤除上述多个第三连通域中不符合预设规则的连通域,以获得第四前景图像,其中,上述第四前景图像包含多个第四连通域,以及识别每个第四连通域的轮廓点,以定位第二目标区域。

可选地,上述基于上述目标区域,从上述目标图像中识别出上述皮肤对象包括:基于抽取策略,从上述第二目标区域的第二轮廓点集中抽取多个第二轮廓点,将每个第二轮廓点从上述参考图像映射到上述目标图像,以获取在上述目标图像中对应于上述每个第二轮廓点的第二分割区域,加载用于分割上述表皮层对象的第二分割模型,以及基于上述第二分割模型,遍历分割对应于上述每个第二轮廓点的第二分割区域以从上述目标图像中识别出上述表皮层对象。

可选地,上述将每个第二轮廓点从上述参考图像映射到上述目标图像,以获取在上述目标图像中对应于上述每个第二轮廓点的第二分割区域包括:基于上述映射参数,将上述每个第二轮廓点从上述参考图像映射到上述目标图像,以获得在上述目标图像中对应于上述每个第二轮廓点的第二目标点,以及基于上述抽取策略和上述映射参数,以每个第二目标点为中心,获取上述第二分割区域。

可选地,上述方法还包括:获取皮肤对象的训练图像,获得训练数据,其中,上述训练数据为对应用户给上述训练图像中的角质层对象和表皮层对象标注形成的,以上述角质层对象为前景,训练上述角质层对象的训练数据,以获得上述第一分割模型,以及以上述表皮层对象为前景,训练上述表皮层对象的训练数据,以获得上述第二分割模型。

本公开的另一个方面提供了一种皮肤对象的识别装置,包括:第一获得模块,配置为获得皮肤对象对应第一放大倍数的目标图像和对应第二放大倍数的参考图像,其中,上述第一放大倍数大于上述第二放大倍数,定位模块,配置为基于上述参考图像,定位上述皮肤对象的目标区域,其中,基于上述目标区域能够从上述目标图像中分割出上述皮肤对象。识别模块,配置为基于上述目标区域,从上述目标图像中识别出上述皮肤对象。

可选地,在皮肤对象包括角质层对象或仅包括表皮层对象的情况下,定位模块包括:第一提取子模块,配置为对参考图像进行阈值分割,以提取第一前景图像和第一背景图像,其中,第一前景图像包含多个第一连通域,第一获得子模块,配置为滤除多个第一连通域中不符合预设规则的连通域,以获得第二前景图像,其中,第二前景图像包含多个第二连通域,以及定位子模块,配置为识别每个第二连通域的轮廓点,以定位角质层对象的第一目标区域。

可选地,识别模块包括:第一抽取子模块,配置为基于抽取策略,从第一目标区域的第一轮廓点集中抽取多个第一轮廓点,第二获得子模块,配置为将每个第一轮廓点从参考图像映射到目标图像,以获取在目标图像中对应于每个第一轮廓点的第一分割区域,第一加载子模块,配置为加载用于分割角质层对象的第一分割模型,以及第一识别子模块,配置为基于第一分割模型,遍历分割对应于每个第一轮廓点的第一分割区域以从目标图像中识别出角质层对象。

可选地,第二获得子模块包括:确定单元,配置为基于第一放大倍数和第二放大倍数,确定映射参数,第一获得单元,配置为基于映射参数,将每个第一轮廓点从参考图像映射到目标图像,以获得在目标图像中对应于每个第一轮廓点的第一目标点,以及第一获取单元,配置为基于抽取策略和映射参数,以每个第一目标点为中心,获取第一分割区域。

可选地,在识别出角质层对象之后,装置还包括:第二提取子模块,配置为在从目标图像中识别出角质层对象之后,对第二前景图像进行阈值分割,以提取第三前景图像和第二背景图像,其中,第三前景图像包含多个第三连通域,第三获得子模块,配置为滤除多个第三连通域中不符合预设规则的连通域,以获得第四前景图像,其中,第四前景图像包含多个第四连通域,以及第二识别子模块,配置为识别每个第四连通域的轮廓点,以定位表皮层对象的第二目标区域。

可选地,识别模块包括:第二抽取子模块,配置为基于抽取策略,从第二目标区域的第二轮廓点集中抽取多个第二轮廓点,第四获得子模块,配置为将每个第二轮廓点从参考图像映射到目标图像,以获取在目标图像中对应于每个第二轮廓点的第二分割区域,第二加载子模块,配置为加载用于分割表皮层对象的第二分割模型,以及第三识别子模块,配置为基于第二分割模型,遍历分割对应于每个第二轮廓点的第二分割区域以从目标图像中识别出表皮层对象。

可选地,第四获得子模块包括:第二获得单元,配置为基于映射参数,将每个第二轮廓点从参考图像映射到目标图像,以获得在目标图像中对应于每个第二轮廓点的第二目标点,以及第二获取单元,配置为基于抽取策略和映射参数,以每个第二目标点为中心,获取第二分割区域。

可选地,装置还包括:获取子模块,配置为获取皮肤对象的训练图像,第五获得子模块,配置为获得训练数据,其中,训练数据为对应用户给训练图像中的角质层对象和表皮层对象标注形成的,第一训练子模块,配置为以角质层对象为前景,训练角质层对象的训练数据,以获得第一分割模型,以及第二训练子模块,配置为以表皮层对象为前景,训练表皮层对象的训练数据,以获得第二分割模型。

本公开的另一个方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述任一的皮肤对象的识别方法。

本公开的另一个方面提供了一种计算机可读存储介质,存储有计算机可执行指令,指令被处理器执行时用于实现上述任一的皮肤对象的识别方法。

通过本公开的实施例,利用小尺寸的参考图像定位出皮肤对象的目标区域。然后,基于该目标区域,在大尺寸的目标图像中识别出皮肤对象,避免将大尺寸的目标图像分块分割再拼接的解决方案,可以至少部分地克服相关技术中无法对超大尺寸图像进行完整分割的技术问题,并至少部分地实现超大尺寸图像可以完整分割的技术效果。

附图说明

为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:

图1示意性示出了根据本公开实施例的适用于皮肤对象的识别方法的应用场景;

图2示意性示出了根据本公开实施例的皮肤对象的识别方法的流程图;

图3示意性示出了根据本公开另一实施例的皮肤对象的识别方法的流程图;

图4示意性示出了根据本公开实施例的皮肤对象的识别装置的框图;以及

图5示意性示出了根据本公开实施例的适于实现皮肤对象的识别方法及装置的电子设备的框图。

具体实施方式

以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。

在使用类似于“a、b和c等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“a或b”应当被理解为包括“a”或“b”、或“a和b”的可能性。

附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程皮肤对象的识别装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此,本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中,计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括:磁存储装置,如磁带或硬盘(hdd);光存储装置,如光盘(cd-rom);存储器,如随机存取存储器(ram)或闪存;和/或有线/无线通信链路。

本公开提供了一种皮肤对象的识别方法,包括定位阶段和识别阶段。在定位阶段,获得皮肤对象对应第一放大倍数的目标图像和对应第二放大倍数的参考图像,目标对象的第一放大倍数大于参考图像的第二放大倍数,基于参考图像,定位皮肤对象的目标区域。在识别阶段,基于目标区域,从目标图像中识别出皮肤对象。

图像分割是利用电子设备将一图像分割成若干个特定的具有独特性质的区域的图像处理技术,广泛应用于不同的研究领域,例如医学影像分析领域,交通图像分析领域,军事研究领域。如何从待分割的图像中得到精准的图像分割结果至关重要。随着人工智能的快速发展,采用利用机器学习的深度学习技术对图像进行分割以提高图像分割的准确度成为一种行之有效的技术手段。

本公开的实施例,首先利用小尺寸的参考图像定位出皮肤对象的目标区域。然后基于该目标区域,在大尺寸的目标图像中识别出皮肤对象,避免将大尺寸的目标图像分块分割再拼接的解决方案,可以至少部分地克服相关技术中无法对超大尺寸图像进行完整分割的技术问题,并至少部分地实现超大尺寸图像可以完整分割的技术效果。

皮肤病是所有病种中发病率最高的疾病种类,医院每天会产生大量的皮肤病理图片。一般皮肤组织大致可以分两大层:表皮层和真皮层。其中表皮层又可以细分为五层,从外到内依次为角质层、透明层、颗粒层、棘层和基底层。其中在临床上比较重要的是表皮层靠近外面的角质层以及靠近里面的基底层,角质层是皮肤组织和空气之间的交界面,基底层是真皮层和表皮层的交界面。在临床上一般根据病患处侵袭真皮和表皮的深度来确定病的严重程度。正确识别这些区域对于人工智能系统在自动诊断这些病种是非常关键的。但是在微观视野里,表皮层和真皮层的形状是完全不规则的,急需一种算法能高效准确的识别出这些区域。

图1示意性示出了根据本公开实施例的适用于皮肤对象的识别方法的应用场景。需要注意的是,图1所示的应用场景仅为可以应用本公开实施例的场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

本公开提供的皮肤对象的识别方法涉及一种人工智能在医疗领域的应用场景,以智慧医疗中的图像分割为例。针对皮肤对象的病理扫描图像包括对应不同放大倍数的多张图像。如图1所示,该应用场景100包括第一放大倍数的目标图像101,第二放大倍数的参考图像102,基于参考图像102定位出的目标区域103,最终识别出的皮肤对象104。其中,第一放大倍数大于第二放大倍数。

为了便于理解,本公开将以第一放大倍数为400,第二放大倍数为10为例阐述本公开的具体实施方式。若皮肤对象对应的原始图像为125*125(像素,以下省略),则对应第一放大倍数为400的目标图像为50000*50000,对应第二放大倍数为10的参考图像为1250*1250。

需要说明的是,上述目标图像对应的第一放大倍数的数值、参考图像对应的第二放大倍数的数值以及原始图像的大小的数值仅是示意性的。根据实际情况,目标图像可以对应任意数值的第一放大倍数、参考图像可以对应任意数值的第二放大倍数,原始图像可以是任意大小图像。只要目标图像对应的放大倍数大于参考图像对象的放大倍数即可,本公开对此不做限定。

图2示意性示出了根据本公开实施例的皮肤对象的识别方法的流程图。

如图2所示,该方法可以包括操作s210~s230。

在操作s210,获得皮肤对象对应第一放大倍数的目标图像和对应第二放大倍数的参考图像,第一放大倍数大于第二放大倍数。

如前所述,针对皮肤对象的病理扫描图像包括多张对应不同放大倍数的图像。随着对病理图像质量的要求越来越高,扫描得到的病理图像的尺寸也越来越大,甚至达到超大规模。本公开解决的就是超大图像的皮肤对象识别问题。

在本公开中,目标图像和参考图像可以是相对于原始图像对应不同放大倍数的图像。原始图像为125*125,目标图像可以原始图像对应第一放大倍数(400)的超大图像,参考图像可以是原始图像对应第二放大倍数(10)的图像。

在操作s220,基于参考图像,定位皮肤对象的目标区域,基于目标区域能够从目标图像中识别出皮肤对象。

利用人工智能和深度学习方法,可以分割出图像中的皮肤对象。但是,受计算机显存的限制,超大图像无法使用深度模型实现皮肤对象的分割。为了实现对超大图像中皮肤对象的识别,相关技术的解决方案是先将超大图像分块分割再拼接。

在操作s230,基于目标区域,从目标图像中识别出皮肤对象。

根据本公开的实施例,为了实现在超大图像中识别出皮肤对象,利用小尺寸的参考图像,定位出皮肤对象的目标区域,沿着该目标区域的边界滑动分割,可以识别出皮肤对象。

通过本公开的实施例,首先利用小尺寸的参考图像定位出皮肤对象的目标区域。然后基于该目标区域,在大尺寸的目标图像中识别出皮肤对象,避免将大尺寸的目标图像分块分割再拼接的解决方案,可以至少部分地克服相关技术中无法对超大尺寸图像进行完整分割的技术问题,并至少部分地实现超大尺寸图像可以完整分割的技术效果。

需要说明的是,对病理图像进行识别时,根据皮肤对象在人体所处的部位不同,需要识别的皮肤对象可以不同。一般情况下,例如手部的皮肤组织,只需要进行一次识别,识别出表皮层对象即可,除去表皮层对象之外的剩余其它皮肤对象即为真皮层对象。特殊情况下,例如足跟部位的皮肤组织,由于角质层对象非常厚,因此需要进行两次识别,先识别出角质层对象,再识别出表皮层对象,除去角质层对象和表皮层对象之外的剩余其它皮肤对象即为真皮层对象。

因此,本公开针对皮肤对象在人体所在部位的不同,需要识别的皮肤对象的数量不同,对应的识别次数不同。具体地,在角质层厚度不大的人体部位,待识别的皮肤对象可以仅包括一个皮肤对象(表皮层对象),对应的识别次数为一次。在角质层厚度较大的人体部位,待识别的皮肤对象也可以包括两个皮肤对象(角质层对象和表皮层对象)。按照由外侧向内侧逐层深入的识别顺序,在待识别的皮肤对象包括两个皮肤对象的情况下,由于角质层对象相对于表皮层对象在皮肤的外侧,所以在识别表皮层对象之前需要先完成对角质层对象的识别,即表皮层对象的识别依赖于角质层对象的识别,对应的识别次数为两次。为了便于理解,以下将针对皮肤对象的不同,对本公开的皮肤对象识别方法展示阐述。

需要说明的是,由于对待识别皮肤对象的识别是逐层深入的。因此,无论是待识别的皮肤对象包括两个皮肤对象的情况,还是待识别的皮肤对象包括表皮层对象的情况,针对最先被识别的那个皮肤对象,识别方法是确定不变的。即在待识别的皮肤对象包括两个皮肤对象的情况下,对角质层对象的识别方法,与待识别的皮肤对象包括表皮层对象的情况下,对表皮层对象的识别方法一致。

作为一种可选的实施例,在皮肤对象包括角质层对象或仅包括表皮层对象的情况下,基于参考图像,定位皮肤对象的目标区域包括:对参考图像进行阈值分割,以提取第一前景图像和第一背景图像,其中,第一前景图像包含多个第一连通域;滤除多个第一连通域中不符合预设规则的连通域,以获得第二前景图像,其中,第二前景图像包含多个第二连通域;以及识别每个第二连通域的轮廓点,以定位角质层对象或表皮层对象的第一目标区域。

可以理解的是,图像分割可以将图像中人们感兴趣的区域(前景图像)从背景图像中分离出来。阈值分割是把图像灰度分成不同的等级,然后用设置灰度值门限值(阈值)的方法确定有意义的区域或分割物体的边界。

例如,可以利用最大类间方差分割(otus)方法进行参考图像的图像分割。otus获得一个阈值t,使得以t为界限的a,b两部分灰度图之间的方差最大,最后利用t,进行二值分割。本公开对此方法不做赘述。

根据本公开的实施例,对参考图像做阈值分割,可以提取出参考图像中的第一前景图像和第一背景图像。选取合适的核(kernel),例如5*5进行形态学闭运算,填补二值分割后第一前景图像中产生的小孔。接着,进行单独连通域分析,可以设定面积阈值,例如10000,将第一前景图像中小于该阈值的连通域面积滤除,以获得第二前景图像。在第二前景图像中查找轮廓,获得参考图像的边缘轮廓坐标点集,坐标点集中的坐标点用于定位第一目标区域。

在皮肤对象包括角质层对象的情况下,第一目标区域为定位角质层对象的轮廓区域,在皮肤对象仅包括表皮层的情况下,第一目标区域为定位表皮层对象的轮廓区域。

通过本公开的实施例,通过对参考图像进行前景图像的提取,连通域的过滤,可以定位出皮肤对象的目标区域,为皮肤对象的识别划定识别范围,由于目标区域相对于参考图像的范围小,将皮肤对象的识别范围限定在目标区域,减少计算量,提高对皮肤对象的识别速度。

作为一种可选的实施例,基于目标区域,从目标图像中识别出皮肤对象包括:基于抽取策略,从第一目标区域的第一轮廓点集中抽取多个第一轮廓点;将每个第一轮廓点从参考图像映射到目标图像,以获取在目标图像中对应于每个第一轮廓点的第一分割区域;加载用于分割角质层对象的第一分割模型,或用于分割表皮层对象的第二分割模型;以及基于第一分割模型,遍历分割对应于每个第一轮廓点的第一分割区域以从目标图像中识别出角质层对象,或基于第二分割模型,遍历分割对应于每个第一轮廓点的第一分割区域以从目标图像中识别出表皮层对象。

根据本公开的实施例,第一分割区域与计算机的显存大小有关,也与皮肤对象的厚度有关。第一分割区域过大,计算机显存无法处理,而第一分割区域过小,将皮肤对象在厚度上分割开来,无法完整保留皮肤对象的厚度例如,足跟位置的皮肤病例角质层对象在目标图像中的厚度在500左右。因此,综合考虑上述因素,本公开选取800*800的图像块作为第一分割区域。

根据本公开的实施例,抽取策略用于从第一目标区域的第一轮廓点集中抽取多个第一轮廓点。抽取后的第一轮廓点从参考图像映射到目标图像。为了使得每个轮廓点对应的第一分割区域完整覆盖目标图像,不出现缺失的情况。因此,抽取策略既与第一分割区域的大小有关,也与第一放大倍数和第二放大倍数有关。具体地,第一分割区域为800*800,第一放大倍数(400)是第二放大倍数(10)的40倍。可以每隔10个点从第一轮廓点集中抽取1个第一轮廓点。例如,第一轮廓点集中包含300个点,则可以抽取30个第一轮廓点。将第一轮廓点的坐标{xi,yi}乘以40,即可获得参考图像中的第一轮廓点映射到目标图像中的坐标,以该坐标为中心获取800*800的第一分割区域。第一分割模型用于分割角质层对象,使用第一分割模型,遍历所有坐标分割对应区域,最后能沿着轮廓将角质层从病理图片中分割出来。第二分割模型用于分割表皮层对象,使用第二分割模型,遍历所有坐标分割对应区域,最后能沿着轮廓将表皮层对象从病理图片中分割出来。

通过本公开的实施例,在参考图像中确定出目标区域的基础上,将目标区域的轮廓点映射到目标图像上,再通过与皮肤对象对应的不同分割模型,可以分别识别出皮肤对象,实现对皮肤对象的快速识别。

作为一种可选的实施例,将每个第一轮廓点从参考图像映射到目标图像,以获取在目标图像中对应于每个第一轮廓点的第一分割区域包括:基于第一放大倍数和第二放大倍数,确定映射参数;基于映射参数,将每个第一轮廓点从参考图像映射到目标图像,以获得在目标图像中对应于每个第一轮廓点的第一目标点;以及基于抽取策略和映射参数,以每个第一目标点为中心,获取第一分割区域。

根据本公开的实施例,第一放大倍数(400)和第二放大倍数(10)确定的映射参数为40。即参考图像的坐标点放大40倍即可映射到目标图像上。如前所述,第一分割区域与计算机的显存大小有关,也与皮肤对象的厚度有关,还与映射参数有关。第一分割区域过大,计算机显存无法处理,而第一分割区域过小,将皮肤对象在厚度上分割开来,无法完整保留皮肤对象的厚度。例如,足跟位置的皮肤病例角质层对象在目标图像中的厚度在500左右。因此,综合考虑上述因素,本公开选取800*800的图像块作为第一分割区域。这样,每隔10个坐标点抽取的坐标点和映射参数40,确定的400*400的图像块,可以覆盖800*800的图像块。

通过本公开的实施例,第一分割区域的确定兼顾映射参数和抽取策略,可以在基于第一目标区域,识别皮肤对象的时候,避免在目标图像中出现遗漏的区域。

需要说明的是,在待识别的皮肤对象仅包括表皮层对象的情况下,至此已完成了病理图像的表皮层对象的分割,剩下的皮肤组织区域即为真皮层区域。

在待识别的皮肤对象包括角质层对象和表皮层对象的情况下,作为一种可选的实施例,在从目标图像中识别出角质层对象之后,方法还包括:对第二前景图像进行阈值分割,以提取第三前景图像和第二背景图像,其中,第三前景图像包含多个第三连通域;滤除多个第三连通域中不符合预设规则的连通域,以获得第四前景图像,其中,第四前景图像包含多个第四连通域;以及识别每个第四连通域的轮廓点,以定位第二目标区域。

根据本公开的实施例,在识别出角质层对象之后,接下来识别表皮层对象。表皮层的识别方法可以类比之前对角质层对象的识别方法。不同之处在于,第三前景图像是基于前景图像进行阈值分割得到的,对第三前景图像进行连通域滤除,可以去除连通域面积小于面积阈值的第四前景图像。然后识别第四前景图像的轮廓,可以定位第二目标区域。

通过本公开的实施例,通过对第二前景图像进行前景图像的提取,连通域的过滤,可以定位出皮肤对象的第二目标区域,为表皮层对象的识别划定识别范围,由于第二目标区域相对于第二前景图像的范围小,可以将皮肤对象的识别范围限定在第二目标区域内,减少计算量,提高对皮肤对象的识别速度。

作为一种可选的实施例,基于目标区域,从目标图像中识别出皮肤对象包括:基于抽取策略,从第二目标区域的第二轮廓点集中抽取多个第二轮廓点;将每个第二轮廓点从参考图像映射到目标图像,以获取在目标图像中对应于每个第二轮廓点的第二分割区域;加载用于分割表皮层对象的第二分割模型;以及基于第二分割模型,遍历分割对应于每个第二轮廓点的第二分割区域以从目标图像中识别出表皮层对象。

需要说明的是,将每个第二轮廓点从参考图像映射到目标图像的方式可以类比将每个第一轮廓点从参考图像映射到目标图像的方式,此处不再赘述。

通过本公开的实施例,在基于第二前景图像确定出第二目标区域的基础上,将第二目标区域的轮廓点映射到目标图像上,再通过与表皮层对象对应的第二分割模型,可以识别出表皮层对象,实现对皮肤对象的快速识别。

作为一种可选的实施例,将每个第二轮廓点从参考图像映射到目标图像,以获取在目标图像中对应于每个第二轮廓点的第二分割区域包括:基于映射参数,将每个第二轮廓点从参考图像映射到目标图像,以获得在目标图像中对应于每个第二轮廓点的第二目标点;以及基于抽取策略和映射参数,以每个第二目标点为中心,获取第二分割区域。

根据本公开的实施例,第二分割区域的获取方法可以参考前述对第一分割区域的获取方法的描述,此处不再赘述。考虑到皮肤对象可以仅包括表皮层对象,也可以包括角质层对象和表皮层对象。而角质层对象的厚度和表皮层对象的厚度不同,且一般情况下,表皮层对象的厚度小于角质层对象的厚度。因此,作为一种可选的实施例,第二分割区域的大小可以等于第一分割区域的大小。例如,在第一分割区域为800*800的情况下,第二分割区域为800*800。第二分割区域的大小可以小于第一分割区域的大小。例如,在第一分割区域为800*800的情况下,第二分割区域为600*600。

通过本公开的实施例,第二分割区域的确定兼顾映射参数和抽取策略,可以在基于第二目标区域,识别表皮层对象的时候,避免在目标图像中出现遗漏的区域。

需要说明的是,在待识别的皮肤对象仅包括表皮层对象的情况下,至此已完成了病理图像的角质层对象的分割以及表皮层对象的分割,剩下的皮肤组织区域即为真皮区域。

作为一种可选的实施例,方法还包括:获取皮肤对象的训练图像;获得训练数据,其中,训练数据为对应用户给训练图像中的角质层对象和表皮层对象标注形成的;以角质层对象为前景,训练角质层对象的训练数据,以获得第一分割模型;以及以表皮层对象为前景,训练表皮层对象的训练数据,以获得第二分割模型。

为了识别出图像中各像素点的类别标签,根据本公开的实施例,可以通过金字塔场景解析网络(pyramidsceneparsingnetwork,pspnet)训练对角质层对象进行分割的第一分割模型和对表皮层对象进行分割的第二分割模型。pspnet是基于语义分割的,目标是获知图像内所有像素的类别标签。在本公开中,类别标签包括角质层类别标签、表皮层类别标签。

根据本公开的实施例,为了得到第一分割模型和第二分割模型,需要医生人工标注10张左右的病理数据,将角质层对象和表皮层对象的轮廓勾勒出来作为训练数据。而由于数据过大,需要裁减出具有一定大小的图像块作为训练数据,例如800*800。图像块中包括角质层对象、表皮层对象和真皮层对象。

根据本公开的实施例,可以将角质层对象作为前景,其它作为背景,利用pspnet训练第一分割模型。可以将表皮层作为前景,其它作为背景,利用pspnet训练第二分割模型。具体地,第一分割模型和第二分割模型的训练方法本公开不做说明,本领域技术人员可自行实施。

通过本公开的实施例,通过标注出的皮肤对象的训练数据,训练得到分割模型,为皮肤对象的分割提供分割依据,提高分割效率和精度。

图3示意性示出了根据本公开另一实施例的皮肤对象的识别方法的流程图。

如图3所示,陔方法包括操作s311~s318。

在操作s311,病理切片低倍率二值分割。

在操作s312,形态学处理,滤除小区域。

在操作s313,轮廓查找,获取轮廓坐标。

在操作s314,均匀采样坐标获取高倍率边缘区域。

在操作s315,利用pspnet角质分割模型进行角质分割。

在操作s316,利用pspnet表皮分割模型进行表皮分割。

在操作s317,病理数据角质、表皮轮廓标注。

在操作s318,沿轮廓采样获取标注数据。

需要说明的是,对于绝大多数病理切片只需要用pspnet表皮分割模型沿着边缘分割1次就能得到表皮的分割结果,但是存在一种特殊情况,足跟位置的皮肤病理角质层非常的厚,全高清倍数下的厚度在500以上,因此必须先去除角质层才能从边缘覆盖到表皮层,所以需要先执行操作s315,做角质分割再执行操作s316做表皮分割。

图4示意性示出了根据本公开实施例的皮肤对象的识别装置的框图。

如图4所示,该数据处理系统400可以包括获得模块410、定位模块420和识别模块430。

获得模块410,配置为例如执行前述操作s210,获得皮肤对象对应第一放大倍数的目标图像和对应第二放大倍数的参考图像,其中,第一放大倍数大于第二放大倍数。

定位模块420,配置为例如执行前述操作s220,基于参考图像,定位皮肤对象的目标区域,其中,基于目标区域能够从目标图像中分割出皮肤对象。

识别模块430,配置为例如执行前述操作s230,基于目标区域,从目标图像中识别出皮肤对象。

通过本公开的实施例,首先利用小尺寸的参考图像定位出皮肤对象的目标区域。然后基于该目标区域,在大尺寸的目标图像中识别出皮肤对象,避免将大尺寸的目标图像分块分割再拼接的解决方案,可以至少部分地克服相关技术中无法对超大尺寸图像进行完整分割的技术问题,并至少部分地实现超大尺寸图像可以完整分割的技术效果。

可选地,在皮肤对象包括角质层对象或仅包括表皮层对象的情况下,定位模块包括:第一提取子模块,配置为对参考图像进行阈值分割,以提取第一前景图像和第一背景图像,其中,第一前景图像包含多个第一连通域,第一获得子模块,配置为滤除多个第一连通域中不符合预设规则的连通域,以获得第二前景图像,其中,第二前景图像包含多个第二连通域,以及定位子模块,配置为识别每个第二连通域的轮廓点,以定位角质层对象的第一目标区域。

通过本公开的实施例,通过对参考图像进行前景图像的提取,连通域的过滤,可以定位出皮肤对象的目标区域,为皮肤对象的识别划定识别范围,由于目标区域相对于参考图像的范围小,将皮肤对象的识别范围限定在目标区域,减少计算量,提高对皮肤对象的识别速度。

可选地,识别模块包括:第一抽取子模块,配置为基于抽取策略,从第一目标区域的第一轮廓点集中抽取多个第一轮廓点,第二获得子模块,配置为将每个第一轮廓点从参考图像映射到目标图像,以获取在目标图像中对应于每个第一轮廓点的第一分割区域,第一加载子模块,配置为加载用于分割角质层对象的第一分割模型,以及第一识别子模块,配置为基于第一分割模型,遍历分割对应于每个第一轮廓点的第一分割区域以从目标图像中识别出角质层对象。

通过本公开的实施例,在参考图像中确定出目标区域的基础上,将目标区域的轮廓点映射到目标图像上,再通过与皮肤对象对应的不同分割模型,可以分别识别出皮肤对象,实现对皮肤对象的快速识别。

可选地,第二获得子模块包括:确定单元,配置为基于第一放大倍数和第二放大倍数,确定映射参数,第一获得单元,配置为基于映射参数,将每个第一轮廓点从参考图像映射到目标图像,以获得在目标图像中对应于每个第一轮廓点的第一目标点,以及第一获取单元,配置为基于抽取策略和映射参数,以每个第一目标点为中心,获取第一分割区域。

通过本公开的实施例,第一分割区域的确定兼顾映射参数和抽取策略,可以在基于第一目标区域,识别皮肤对象的时候,避免在目标图像中出现遗漏的区域。

可选地,装置还包括:第二提取子模块,配置为在从目标图像中识别出角质层对象之后,对第二前景图像进行阈值分割,以提取第三前景图像和第二背景图像,其中,第三前景图像包含多个第三连通域,第三获得子模块,配置为滤除多个第三连通域中不符合预设规则的连通域,以获得第四前景图像,其中,第四前景图像包含多个第四连通域,以及第二识别子模块,配置为识别每个第四连通域的轮廓点,以定位表皮层对象的第二目标区域。

通过本公开的实施例,通过对第二前景图像进行前景图像的提取,连通域的过滤,可以定位出皮肤对象的第二目标区域,为表皮层对象的识别划定识别范围,由于第二目标区域相对于第二前景图像的范围小,可以将皮肤对象的识别范围限定在第二目标区域内,减少计算量,提高对皮肤对象的识别速度。

可选地,识别模块包括:第二抽取子模块,配置为基于抽取策略,从第二目标区域的第二轮廓点集中抽取多个第二轮廓点,第四获得子模块,配置为将每个第二轮廓点从参考图像映射到目标图像,以获取在目标图像中对应于每个第二轮廓点的第二分割区域,加载用于分割表皮层对象的第二分割模型,以及第三识别子模块,配置为基于第二分割模型,遍历分割对应于每个第二轮廓点的第二分割区域以从目标图像中识别出表皮层对象。

通过本公开的实施例,在基于第二前景图像确定出第二目标区域的基础上,将第二目标区域的轮廓点映射到目标图像上,再通过与表皮层对象对应的第二分割模型,可以识别出表皮层对象,实现对皮肤对象的快速识别。

可选地,第四获得子模块包括:第二获得单元,配置为基于映射参数,将每个第二轮廓点从参考图像映射到目标图像,以获得在目标图像中对应于每个第二轮廓点的第二目标点,以及第二获取单元,配置为基于抽取策略和映射参数,以每个第二目标点为中心,获取第二分割区域。

通过本公开的实施例,第二分割区域的确定兼顾映射参数和抽取策略,可以在基于第二目标区域,识别表皮层对象的时候,避免在目标图像中出现遗漏的区域。

可选地,装置还包括:获取子模块,配置为获取皮肤对象的训练图像,第五获得子模块,配置为获得训练数据,其中,训练数据为对应用户给训练图像中的角质层对象和表皮层对象标注形成的,第一训练子模块,配置为以角质层对象为前景,训练角质层对象的训练数据,以获得第一分割模型,以及第二训练子模块,配置为以表皮层对象为前景,训练表皮层对象的训练数据,以获得第二分割模型。

通过本公开的实施例,通过标注出的皮肤对象的训练数据,训练得到分割模型,为皮肤对象的分割提供分割依据,提高分割效率和精度。

可以理解的是,获得模块410、定位模块420、识别模块430、第一提取子模块、第一获得子模块、定位子模块、第一抽取子模块、第二获得子模块、第一加载子模块、第一识别子模块、确定单元、第一获得单元、第一获取单元、第二提取子模块、第三获得子模块、第二识别子模块、第二抽取子模块、第四获得子模块、第二加载子模块、第二识别子模块、第二获得单元、第二获取单元、获取子模块、第五获得子模块、第一训练子模块和第二训练子模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,获得模块410、定位模块420、识别模块430、第一提取子模块、第一获得子模块、定位子模块、第一抽取子模块、第二获得子模块、第一加载子模块、第一识别子模块、确定单元、第一获得单元、第一获取单元、第二提取子模块、第三获得子模块、第二识别子模块、第二抽取子模块、第四获得子模块、第二加载子模块、第二识别子模块、第二获得单元、第二获取单元、获取子模块、第五获得子模块、第一训练子模块和第二训练子模块中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,获得模块410、定位模块420、识别模块430、第一提取子模块、第一获得子模块、定位子模块、第一抽取子模块、第二获得子模块、第一加载子模块、第一识别子模块、确定单元、第一获得单元、第一获取单元、第二提取子模块、第三获得子模块、第二识别子模块、第二抽取子模块、第四获得子模块、第二加载子模块、第二识别子模块、第二获得单元、第二获取单元、获取子模块、第五获得子模块、第一训练子模块和第二训练子模块中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。

通过本公开的实施例,利用小尺寸的参考图像定位出皮肤对象的目标区域。然后,基于该目标区域,在大尺寸的目标图像中识别出皮肤对象,避免将大尺寸的目标图像分块分割再拼接的解决方案,可以至少部分地克服相关技术中无法对超大尺寸图像进行完整分割的技术问题,并至少部分地实现超大尺寸图像可以完整分割的技术效果。

应该理解,在本公开实施例中,装置部分的实施例与方法部分的实施例在所解决的技术问题、所使用的技术手段以及所达到的技术效果等方面对应相同或类似,在此不再赘述。

图5示意性示出了根据本公开实施例的适于实现皮肤对象的识别方法及装置的电子设备的框图。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示,电子设备500可以包括处理器510和计算机可读存储介质520。该电子设备500可以执行上文描述的皮肤对象的识别方法:操作s210,获得皮肤对象对应第一放大倍数的目标图像和对应第二放大倍数的参考图像,其中,第一放大倍数大于第二放大倍数。操作s220,基于参考图像,定位皮肤对象的目标区域,其中,基于目标区域能够从目标图像中识别出皮肤对象。操作s230,基于目标区域,从目标图像中识别出皮肤对象。

具体地,处理器510例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(asic)),等等。处理器510还可以包括用于缓存用途的板载存储器。处理器510可以是用于执行上文描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质520,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(hdd);光存储装置,如光盘(cd-rom);存储器,如随机存取存储器(ram)或闪存;和/或有线/无线通信链路。

计算机可读存储介质520可以包括计算机程序521,该计算机程序521可以包括代码/计算机可执行指令,其在由处理器510执行时使得处理器510执行上文所描述的方法流程及其任何变形。

计算机程序521可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序521中的代码可以包括一个或多个程序模块,例如包括521a、模块521b、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器510执行时,使得处理器510可以执行上文所描述的方法流程及其任何变形。

根据本公开的实施例,处理器510可以执行上文所描述的方法流程及其任何变形。

根据本发明的实施例,上文所述的模块中的至少一个可以实现为参考图5描述的计算机程序模块,其在被处理器510执行时,可以实现上面描述的相应操作。

本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1