一种病理图像处理方法及系统、设备、存储介质与流程

本发明涉及图像处理领域，尤其是一种病理图像处理方法及系统、设备、存储介质。

背景技术：

现有技术中，病理学专家通过观察组织病理图中的细胞结构、排列等信息分析疾病的发展程度(正常，炎症，肿瘤)。然而，通过肉眼观察病理图像、分析图像是非常占用时间和精力的，不仅效率比较低下。而且不同专家之间的判别还具有或多或少的差异性。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种病理图像处理方法及系统、设备、存储介质，用于判断病理图像的类型，以提高病理图像的处理判断效率。

本发明所采用的技术方案是：

第一方面，本发明提供一种病理图像处理方法，包括以下步骤：

图像切割和归一化处理步骤，对病理图像进行切割和染色归一化处理以获取多个染色切片；

类型判断步骤，根据所述多个染色切片和类型判断算法判断所述病理图像的类型。

进一步地，所述病理图像处理方法还包括：

异常区域标记步骤，根据所述多个染色切片和类型判断算法标记所述病理图像存在的异常区域。

进一步地，所述类型判断算法包括：

第一特征提取步骤，利用特征提取算法提取每个染色切片的特征信息；

异常概率获取步骤，根据所述特征信息和第一机器学习分类算法获取每个染色切片的异常概率；

热度图生成步骤，根据每个染色切片的异常概率生成所述病理图像的热度图；

第二特征提取步骤，提取所述热度图的特征信息作为分类特征；

类型判断子步骤，根据所述分类特征和第二机器学习分类算法获取所述病理图像的类型，所述病理图像的类型包括正常和多种异常分类。

进一步地，根据每个染色切片的异常概率、预设异常概率和所述病理图像获取所述病理图像存在的异常区域。

进一步地，所述特征提取算法包括vgg16、vgg19、msranet、resnet、inceptionresnet、inceptionv1、inceptionv2、inceptionv3、inceptionv4、nin或googlenet卷积神经网络算法。

进一步地，所述第一机器学习分类算法包括catboost、lightgbm、xgboost或randomforest机器学习分类算法。

进一步地，所述第二机器学习分类算法包括lightgbm、xgboost或svm算法。

第二方面，本发明提供一种病理图像处理系统，包括：

图像切割和归一化处理单元，用于对病理图像进行切割和染色归一化处理以获取多个染色切片；

类型判断单元，用于根据所述多个染色切片和类型判断算法判断所述病理图像的类型。

第三方面，本发明提供一种病理图像处理设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的病理图像处理方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行所述的病理图像处理方法。

本发明的有益效果是：

本发明根据病理图像的多个染色切片和类型判断算法实现自动判断病理图像的类型，克服现有技术中存在通过人工观察、分析病理图像需要占用大量时间和精力，效率十分低下且存在个体判别差异的技术问题，有效提高了对病理图像的处理和判断效率，判断结果稳定可靠；另外，对病理图像进行在先染色归一化处理，避免由于不同的染色处理方法、不同时间的组织切片、不同医院或者不同地区等因素导致的图像颜色差异影响对病理图像的判断，保证了对病理图像的类型判断的准确性。

另外，本发明还根据病理图像的多个染色切片和类型判断算法标记病理图像存在的异常区域，提取出病理图像的异常区域，方便用户直观获取病理图像的区域划分结果。

附图说明

图1是本发明中一种病理图像处理方法的一具体实施例流程图；

图2是本发明中一种病理图像处理方法的类型判断算法的一具体实施例训练流程示意图；

图3是本发明中一种病理图像处理方法的一具体实施例实际使用流程图；

图4是本发明中一种病理图像处理系统的一具体实施例结构框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1

参考图1，图1是本发明中一种病理图像处理方法的一具体实施例流程图，一种病理图像处理方法，包括以下步骤：

图像切割和归一化处理步骤，对病理图像进行切割和染色归一化处理以获取多个染色切片；切割和染色归一化处理的执行顺序可颠倒，可以先对病理图像进行切割得到多个切片，再对切片进行染色归一化处理；也可以是先对病理图像进行染色归一化处理，再对染色归一化处理后的病理图像进行切割得到多个染色切片。其中，病理图像为组织病理图像的感兴趣区域，即去除背景区域之后剩下的部分；对组织病理图像进行roi(感兴趣区)提取，剔除病理图像中白色背景区域等不重要的部分，可降低干扰，提高分析判断结果的准确度；

类型判断步骤，根据多个染色切片和类型判断算法判断病理图像的类型；

异常区域标记步骤，根据多个染色切片和类型判断算法标记病理图像存在的异常区域。

病理图像处理方法根据病理图像的多个染色切片和类型判断算法实现自动判断病理图像的类型，克服现有技术中存在通过人工观察、分析病理图像需要占用大量时间和精力，效率十分低下且存在个体判别差异的技术问题，有效提高了对病理图像的处理和判断效率，判断结果稳定、可靠；另外，对病理图像进行在先染色归一化处理，避免由于不同的染色处理方法、不同时间的组织切片、不同医院或者不同地区等因素导致的图像颜色差异影响对病理图像的判断，保证了对病理图像的类型判断的准确性。最后，本发明还根据病理图像的多个染色切片和类型判断算法标记出病理图像存在的异常区域，提取出病理图像的异常区域，方便用户直观获取病理图像的区域划分结果。

下面对一种病理图像处理方法做具体说明：

首先，类型判断算法包括：

第一特征提取步骤，利用特征提取算法提取每个染色切片的特征信息；其中，特征提取算法可采用vgg16、vgg19、msranet、resnet、inceptionresnet、inceptionv1、inceptionv2、inceptionv3、inceptionv4、nin、googlenet等卷积神经网络算法中的一种。

异常概率获取步骤，根据特征信息和第一机器学习分类算法获取每个染色切片的异常概率；其中，第一机器学习分类算法为catboost、lightgbm、xgboost、randomforest等机器学习分类算法中的一种。

热度图生成步骤，根据每个染色切片的异常概率生成病理图像的热度图。

第二特征提取步骤，提取热度图的特征信息作为后续图像类型分类依据的分类特征。

类型判断子步骤，根据上述的分类特征和第二机器学习分类算法获取病理图像的类型，病理图像的类型包括正常和异常，异常包括多种异常分类，例如，异常包括第一异常和第二异常，第一异常可以是慢性胃炎，第二异常可以是胃癌；其中，第二机器学习分类算法包括lightgbm、xgboost或svm算法。

在使用类型判断算法之前，需要对类型判断算法进行训练，具体地，参照图2，图2是本发明中一种病理图像处理方法的类型判断算法的一具体实施例训练流程示意图；获取多个样本病理图像和样本病理图像已知的类型(如正常、第一异常和第二异常)，对每个样本病理图像进行处理以获取分类特征，最后根据样本病理图像的已知类型和分类特征进行分类学习，完成算法训练。以一个样本病理图像为例进行说明，其中，对样本病理图像的在先处理中，以先切割病理图像再进行染色归一化处理的执行顺序为例：

对样本病理图像进行切割得到多个切片。

对切片进行染色归一化处理。由于不同染色试剂，不同保存时间，不同染色协议等许多因素，样本病理图像可能会显示出不同的颜色。但是对病理图像的分析主要是关注细胞的排列和结构等信息，因此，使用染色归一化处理可以减少后续网络对切片的图像颜色进行着重分析，在不改变重要特征的前提下减少整体颜色差异，使网络模型着重学习细胞结构和排列等重要信息，减少图像颜色差异对模型学习的影响，提高算法分析判断的准确度。

将染色后的切片图像置入卷积神经网络(vgg16、vgg19、msranet、resnet、inceptionresnet、inceptionv1、inceptionv2、inceptionv3、inceptionv4、nin、googlenet等卷积神经网络中的一种)中，可以提取出每一个小染色切片的唯一的特征信息，具体地，特征信息为一个1*2048维特征向量，保存所提取的特征向量。

将特征向量输入第一机器学习分类算法中以计算染色切片属于异常的概率。

以染色切片的异常概率为基础生成病理图像的热度图，将信息由局部反映到整体，提取热度图的特征信息作为分类特征，其中，分类特征可以是异常概率大于预设异常概率的区域面积(即异常概率大于预设异常概率的所有染色切片的面积之和)或者是异常概率大于预设异常概率的区域最大直径(即异常概率大于预设异常概率的所有染色切片构成的区域的最大直径)，根据区域面积或区域最大直径的大小区分病理图像的具体类型。

将分类特征(即区域面积或区域最大直径)和已知样本病理图像的类型输入第二机器学习分类算法中进行训练，实现对病理图像的整图类型判断(如正常、第一异常和第二异常)。

而异常区域标记步骤中，根据染色切片的异常概率，在原来的病理图像中标记出异常概率大于预设异常概率的所有染色切片所处的区域作为异常区域。

实际使用时，利用训练好的类型判断算法即可对病理图像进行分析处理判断，具体地，参照图3，图3是本发明中一种病理图像处理方法的一具体实施例实际使用流程图；输入一张病理图像，对病理图像的在先处理中，以先切割病理图像再进行染色归一化处理的执行顺序为例。首先对病理图像进行切割以获取多个切片，在对切片进行染色归一化处理后，利用特征提取算法提取每个染色切片唯一的一个1*2048维特征向量，根据特征向量和第一机器学习分类算法获取每个染色切片的异常概率，通过每个染色切片的异常概率画出病理图像的热度图并提取分类特征，根据分类特征和第二机器学习分类算法获取病理图像的类型，确定病理图像属于哪一种类型，如正常、第一异常和第二异常；另外，在病理图像上标记出异常概率高于预设异常概率的所有染色切片所处的区域作为异常区域，结合得到的病理图像的类型信息和异常区域输出该病理图像的处理报告，以供医生参考。

本发明采用深度学习方法对病理图像进行处理，计算速度快，识别精度高和运行稳定可靠，能够明显提升分析效率，节省可贵的人力资源。

实施例2

参考图4，图4是本发明中一种病理图像处理系统的一具体实施例结构框图，一种病理图像处理系统，包括：

图像切割和归一化处理单元，用于对病理图像进行切割和染色归一化处理以获取多个染色切片；

类型判断单元，用于根据多个染色切片和类型判断算法判断病理图像的类型；

异常区域标记单元，用于根据多个染色切片和类型判断算法标记病理图像存在的异常区域。

其中，图像切割和归一化处理单元中，切割和染色归一化处理的执行顺序可颠倒，可以先对病理图像进行切割得到多个切片，再对切片进行染色归一化处理，也可以是先对病理图像进行染色归一化处理，再对染色归一化处理后的病理图像进行切割得到多个染色切片，效果一致。另外，病理图像处理系统的具体工作过程参照实施例1的描述，不再赘述。

病理图像处理系统根据图像切割和归一化处理单元处理后得到的病理图像的多个染色切片和类型判断算法实现自动判断病理图像的类型，克服现有技术中存在通过人工观察、分析病理图像需要占用大量时间和精力，效率十分低下且存在个体判别差异的技术问题，有效提高了对病理图像的处理和判断效率，判断结果稳定、可靠；另外，对病理图像进行在先染色归一化处理，避免由于不同的染色处理方法、不同时间的组织切片、不同医院或者不同地区等因素导致的图像颜色差异影响对病理图像的判断，保证了对病理图像的类型判断的准确性。最后，异常区域标记单元还根据病理图像的多个染色切片和类型判断算法标记出病理图像存在的异常区域，提取出病理图像的异常区域，方便用户直观获取病理图像的区域划分结果。

实施例3

一种病理图像处理设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的病理图像处理方法。关于病理图像处理方法的具体描述参照实施例1的描述，不再赘述。

实施例4

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行所述的病理图像处理方法。关于病理图像处理方法的具体描述参照实施例1的描述，不再赘述。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。