基于深度语义分割的真菌显微图像分割检测方法及系统与流程

本发明属于医疗图像处理领域，更具体地，涉及一种基于深度语义分割真菌显微图像中致病相结构的分割检测方法及系统。

背景技术：

真菌感染在我国已是一类严重影响到人们身体健康的重大疾病，医疗单位对真菌感染诊疗能力亟待提高，特别是急需采用新的科技方法准确、高效地对病原菌进行检测。

目前真菌检测的主要技术包括直接镜检、真菌培养以及培养检查。其中直接镜检作为经典的真菌检验方法之一，具有阳性率高，报告快的优势。医护人员需要在显微镜的视场中对于样本进行观察和判断，如果在显微图像中发现有致病相的菌丝成分，即可诊断为真菌感染。但此方法要求操作者需要有丰富的检验经验，对菌量少、背景成分复杂的检验标本容易出现漏报、误报。相对于目前已有的自动生化检测设备相比，人工真菌镜检有着人员劳动强度大，结果主观判断程度高的缺点。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度语义分割的真菌显微图像分割检测方法及系统，由此解决传统人工真菌镜检存在的人员劳动强度大，结果主观判断程度高的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度语义分割的真菌显微图像分割检测方法，包括：

采集n幅真菌显微图像，剔除在所述n幅真菌显微图像中整幅全是黑色背景的图像得到剩余图像，并标注出所述剩余图像中的阳性区域得到标注图像，n为正整数；

依据所述标注图像的信息对所述剩余图像和所述标注图像进行切片，生成所需的训练数据集；

以残差网络和空洞卷积模块为网络的主体骨架构建深度卷积神经网络模型，读取所述训练数据集训练生成用于分割检测的目标模型，以使用所述目标模型对待检测真菌显微图像进行识别得到所述待检测真菌显微图像的真菌致病相的分割结果。

优选地，所述依据所述标注图像的信息对所述剩余图像和所述标注图像进行切片，生成所需的训练数据集，包括：

确定训练数据的标准尺寸；

对于剩余图像中不含阳性结构的第一目标图像，提取所述第一目标图像中的前景图像，并在所述前景图像中随机取若干个点，以取出的各点为中心，在所述第一目标图像中截取所述标准尺寸大小的图像，作为第一训练数据，同时生成若干张像素值为全0的所述标准尺寸大小的图像，作为所述第一训练数据的监督标签；

对于剩余图像中含阳性结构的第二目标图像，对于所述第二目标图像中的致病相区域，在所述第二目标图像对应的标注图像中的高亮区域中随机选取若干个点，以选取的各点的坐标为中心坐标，在所述第二目标图像中截取尺寸为所述标准尺寸大小的图像，作为第二训练数据，在所述第二目标图像对应的标注图像中截取尺寸为所述标准尺寸大小的图像，作为所述第二训练数据的监督标签；

对于所述第二目标图像中的非致病相区域，提取所述第二目标图像的前景图像，根据所述第二目标图像对应的标注图像的标记信息将所述第二目标图像的前景图像中的致病相前景区域去除，在剩下的前景区域中随机取若干个点，以选取的各点的坐标为中心坐标，在所述第二目标图像中截取尺寸为所述标准尺寸大小的图像，作为第三训练数据，在所述第二目标图像对应的标注图像中截取尺寸为所述标准尺寸大小的图像，作为所述第三训练数据的监督标签；

由所述第一训练数据及其监督标签、所述第二训练数据及其监督标签及所述第三训练数据及其监督标签构成训练数据集。

优选地，所述以残差网络和空洞卷积模块为网络的主体骨架构建深度卷积神经网络模型，读取所述训练数据集训练生成用于分割检测的目标模型，包括：

以残差网络和空洞卷积模块为网络的主体骨架构建深度卷积神经网络；

在所述深度卷积神经网络的输出分别接第一空洞卷积模块、第二空洞卷积模块、第三空洞卷积模块和普通卷积模块，其中，三个空洞卷积模块的采样率互不相同，共同构成了空洞卷积空间金字塔结构；

将各个采样率下的空洞卷积模块和普通卷积模块的输出连接整合，然后通过升采样得到所述深度卷积神经网络的输出；

对于所述深度卷积神经网络的每次迭代训练，从所述训练数据集中随机读取若干个训练数据及其对应的监督标签，输入所述深度卷积神经网络中进行训练，经过多轮迭代直至所述深度卷积神经网络收敛后保存训练的权值，从而得到用于分割检测的目标模型。

优选地，所述使用所述目标模型对待检测真菌显微图像进行识别得到所述待检测真菌显微图像的真菌致病相的分割结果，包括：

将待检测真菌显微图像使用冗余切片的方式切分，并采用所述目标模型分别对各切片进行识别，生成每张切片的预测概率分布图；

由各切片的预测概率分布图拼接重建所述待检测真菌显微图像的预测热值图，并依据所述预测热值图分割所述待检测真菌显微图像，得到所述待检测真菌显微图像的真菌致病相的分割结果。

优选地，所述将待检测真菌显微图像使用冗余切片的方式切分，包括：

将待检测真菌显微图像使用冗余切片的方式切分得到若干幅w*w的切片图像，其中，每次切分截取的正方形边长为w，截取步进为d，两次截取的混叠区域尺寸为s×w，s＝w-d。

优选地，所述由各切片的预测概率分布图拼接重建所述待检测真菌显微图像的预测热值图，并依据所述预测热值图分割所述待检测真菌显微图像，得到所述待检测真菌显微图像的真菌致病相的分割结果，包括：

新建一幅尺寸与所述待检测图像尺寸一致的灰度值为0的图像p，将各切片的预测概率分布图按照其切片的对应位置关系贴回所述图像p得到概率分布图q；

利用所述概率分布图q，根据概率的大小映射到rgb颜色空间生成热值图，对于所述概率分布图q，若概率大于预设阈值，则将其视为致病相结构，由此得到识别出来的掩码图；

去除所述掩码图中的噪点和小于预设区域值的区域，得到所述掩码图中连通域的轮廓，将所述轮廓和所述待检测图像融合，得到描绘出真菌轮廓的分割图。

按照本发明的另一方面，提供了一种基于深度语义分割的真菌显微图像分割检测系统，包括：

标记模块，用于采集n幅真菌显微图像，剔除在所述n幅真菌显微图像中整幅全是黑色背景的图像得到剩余图像，并标注出所述剩余图像中的阳性区域得到标注图像，n为正整数；

训练数据生成模块，用于依据所述标注图像的信息对所述剩余图像和所述标注图像进行切片，生成所需的训练数据集；

模型训练模块，用于以残差网络和空洞卷积模块为网络的主体骨架构建深度卷积神经网络模型，读取所述训练数据集训练生成用于分割检测的目标模型，以使用所述目标模型对待检测真菌显微图像进行识别得到所述待检测真菌显微图像的真菌致病相的分割结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

和传统模式识别的方式比较，不需要进行复杂的预处理过程和特征提取的操作；和深度学习中分类网络比较，不仅仅对真菌显微图像进行分类，而且能够将致病相的菌丝结构从图像中分割并精准定位，大大方便了医生的诊断；和深度学习分类网络逐像素分类实现分割的方式比较，深度语义分割方法无需要逐个像素扫描，检测和识别的速度大大提高；从结果来看，本发明为医生提供了客观准确的诊断信息，并且以精确的定位帮助医生准确找到致病相所在，大大提高了医生对病情进行诊断和分析的效率。

附图说明

图1是本发明实施例提供的一种基于深度语义分割的真菌显微图像分割检测方法的流程示意图；

图2是本发明实施例提供的一种生成训练数据的流程示意图；

图3是本发明实施例提供的一种对待检测图像进行冗余切片的流程示意图；

图4是本发明实施例提供的一种目标网络模型的网络结构示意图；

图5是本发明实施例提供的一种采用目标网络模型生成热值图，并获得致病相菌丝分割效果的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的说明书和权利要求书中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。

如图1所示是本发明实施例提供的一种方法流程示意图，该方法包括以下步骤：

(1)采集n幅真菌显微图像，剔除整张全是黑色背景的图像，人工对剩余图像中阳性区域进行标注，其中，n为正整数。具体步骤如下：

将采集的数据中整张都是黑色背景的图像全部删除，保留剩余的图像；

对于剩余的图像，对于其中的阳性结构可以使用amira标注软件中的画笔功能，将每张图中阳性结构准确描红之后高亮出来，得到标记图像并保存。

(2)依据标注图像信息对未标注的真菌显微图像和标注图像进行切片，生成所需的训练数据集。如图2所示，具体步骤如下：

使用深度语义分割网络训练需要读入大量的数据，原始尺寸的数据较大，会导致计算机资源的不足，因此需要将原始图像裁剪为更小尺寸的图片作为训练数据。

结合残差网络以及真菌显微图像中真菌的尺寸确定标准尺寸，优选地，选择256*256作为训练数据的标准尺寸。本发明实施例中采用的语义分割网络属于监督学习的方法，其监督标签不同于传统的分类方法，传统分类方法的标签只是一个简单的分类符号，如“0”或“1”；语义分割的监督信息不仅要有类别信息，还需有位置信息，因此其监督标签是一幅二维图像。在本发明实施例中，每张原始图像对应的标注图像即是其监督标签，因此需同时对于原始图像和标注图像在相同坐标点处切分以生成可供训练的数据。

对于不含阳性结构的单张原始数据，生成训练数据的方法如下：

为避免负样本训练数据取到的信息为大面积的背景信息，对负样本需要做一定的增强；

提取图像中前景，并在前景图像中随机取若干个点，以这些点为中心，在原始单张图像中截取尺寸为标准尺寸大小的图片，作为训练数据；同时生成若干幅像素值为全0的标准大小的图片，作为此类训练数据的监督标签。

对于含阳性结构的单张原始数据，生成训练数据的方法如下：

此类同时含有致病相信息和非致病相信息，需要同时对两种信息生成训练数据；

对于致病相区域：在标注图中的高亮区域中随机选取若干个点，以这些点的坐标为中心坐标，在原始图像和标注图像中均截取尺寸为标准尺寸大小的图片，即可得到若干个训练样本及其监督标签；

对于非致病相区域：提取前景图像，并且根据标注图像中标记的致病相信息将前景图像中的致病相的前景区域去除，在剩下的前景区域中随机取若干个点，以这些点的坐标为中心坐标，在原始单张图像和标注图像中均截取尺寸为标准尺寸大小的图片，即可得到若干个训练样本及其监督标签。

(3)以残差网络和空洞卷积模块为网络的主体骨架构建深度卷积神经网络模型，读取训练数据训练生成用于分割检测的模型。具体步骤如下：

以残差网络和空洞卷积模块为网络的主体骨架构建基础网络结构的深度卷积神经网络，优选以resnet50网络作为基础网络结构，如图4所示在深度卷积神经网络的输出分别接空洞卷积模块1、空洞卷积模块2、空洞卷积模块3和普通卷积模块，上述3个空洞卷积模块采用了不同采样率，例如，其采样率分别是2、4、8，共同构成了空洞卷积空间金字塔结构，不同采样率的引入让网络对于不同放大倍率下采集的真菌显微图像均拥有较好的适应性，增强了网络的鲁棒性。

将各个采样率下空洞卷积模块和普通卷积模块的输出连接整合，然后通过升采样得到网络的输出。

网络的输入数据读取：输入数据由训练样本和样本的监督标签组成。对于每次训练的迭代而言需要从步骤(3)中生成的训练样本集中随机读取若干个训练样本和其对应的监督标签，并将二者一一准确对应，传入网络中进行训练。经过多轮迭代后，模型收敛后保存训练的权值，从而得到一个可供用于准确分割的目标网络模型。

(4)将待检测真菌显微图像使用冗余切片的方式切分，并采用训练完成的模型对切片依次识别，对每张切片均生成预测概率分布图。具体步骤如下：

将待检测图像按照图3所示的过程进行冗余切片，其中每次截取的正方形边长为w，截取步进为d，两次截取的混叠区域尺寸为s×w，其中，s＝w-d，对于单张待检测图像，生成若干张w*w的切片图像，此处，w的取值优选为256；

读取训练好的预测模型，将所有得到的切片图像输入预测模型进行检测，生成切片图像的概率分布图。

(5)将多张切片的预测概率分布图拼接重建原始待测数据的预测热值图，并依据热值图分割原始图像，得到真菌致病相的准确分割结果。如图5所示，具体步骤如下：

新建一张尺寸和待检测图像尺寸一致的灰度值为0的图像p，将所有步骤(4)概率分布图按照其切片的对应位置关系“贴”回图像p中，对于“已贴”切片和“待贴”切片的重叠区域，取二者对应像素的中更大的概率值；

利用重建的概率分布图p，根据概率的大小映射到rgb颜色空间生成热值图，热值图中用红色表示致病相，红色越深的区域表示该区域为致病相的概率越大，蓝色表示非致病相，蓝色越深的区域表示该区域为非致病相的概率越大；

对于生成的概率分布图p，设置一个阈值t，当概率大于t，则将其视为致病相结构，由此得到识别出来的掩码图；

对于识别的掩码图做相应的后处理操作，去除其中的噪点和较小的区域，然后得到掩码图中连通域的轮廓，将掩码图中的轮廓和原始的待识别的真菌显微图像融合，即可得到描绘出真菌轮廓的分割图，分割图和热值图可同时为医生的诊断提供科学准确的诊断参考。

本发明实施例提供了一种基于深度语义分割的真菌显微图像分割检测系统，包括：

标记模块，用于采集n幅真菌显微图像，剔除在n幅真菌显微图像中整幅全是黑色背景的图像得到剩余图像，并标注出剩余图像中的阳性区域得到标注图像，n为正整数；

训练数据生成模块，用于依据标注图像的信息对剩余图像和标注图像进行切片，生成所需的训练数据集；

模型训练模块，用于以残差网络和空洞卷积模块为网络的主体骨架构建深度卷积神经网络模型，读取训练数据集训练生成用于分割检测的目标模型，以使用目标模型对待检测真菌显微图像进行识别得到待检测真菌显微图像的真菌致病相的分割结果。

其中，各模块的具体实施方式可参照方法实施例中的描述，本发明实施例将不再复述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。