一种基于深度学习的白细胞核质自动分割方法及系统

1.本发明涉及白细胞分割技术领域，尤其涉及一种基于深度学习的白细胞核质自动分割方法及系统。


背景技术：

2.白细胞是无色、球形、有核的血细胞。正常成人总数为(4.0～10.0)x109/l，可因每日不同时间、机体的功能状态而在一定范围内变化。白细胞一般有活跃的移动能力，它们可以从血管内迁移到血管外，或从血管外组织迁移到血管内。因此，白细胞除存在于血液和淋巴中外，也广泛存在于血管、淋巴管以外的组织中。
3.目前对于白细胞的识别和检测方法主要有两种，一种是利用人工镜检，这种方法在很大程度上依赖于检测技师的经验，工作量巨大且耗时长，这种高强度的重复性工作会影响工作人员的状态进而影响结果的准确性。另一种方法是借助血液分析仪进行检测，这种方法可以自动对白细胞进行分类计数，大大减轻了检验人员的劳动量，但其最大的局限性就在于只能获得数量方面的信息不能获得细胞的形态学信息，不能检测出白细胞的形态学异常；同时也存在设备价格昂贵，分类精度有待提高的问题。


技术实现要素：

4.本发明公开一种基于深度学习的白细胞核质自动分割方法及系统，旨在解决对于白细胞的识别和检测方法主要有两种，一种是利用人工镜检，这种方法在很大程度上依赖于检测技师的经验，工作量巨大且耗时长，这种高强度的重复性工作会影响工作人员的状态进而影响结果的准确性。另一种方法是借助血液分析仪进行检测，这种方法可以自动对白细胞进行分类计数，大大减轻了检验人员的劳动量，但其最大的局限性就在于只能获得数量方面的信息不能获得细胞的形态学信息，不能检测出白细胞的形态学异常；同时也存在设备价格昂贵，分类精度有待提高的问题的技术问题。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种基于深度学习的白细胞核质自动分割方法，包括具体包括以下步骤：
7.步骤1：将原始染色白细胞图像的rgb像素空间分割为长度相等的小立方体，计算所有小立方体中位于中心点的像素值，即预定像素值，获得每个小立方体中所有像素值的数量，将每个小立方体中的所有像素值赋值为预定像素值，并获得预处理图像；
8.步骤2：将预处理图像内的任一张模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，构建u型神经网络分割模型，所述u型神经网络分割模型包括编码器和译码器；
9.步骤3：利用颜色分量组合增强白细胞细胞核的对比度，进而利用经典阈值分割方法实现细胞核的分割然后，利用颜色先验去除图像的背景，执行边缘检测和轮廓拟合来获得白细胞分割结果；
10.步骤4：将最终白细胞核图像利用水平集方法处理得到白细胞核轮廓曲线，以白细
胞核轮廓曲线作为活动轮廓模型的初始轮廓曲线，以局部js散度构建局部灰度信息表达式作为边缘停止函数，使初始轮廓曲线逐步计算得到白细胞边缘，从而得到白细胞图像。
11.通过改进的u型神经网络分割模型可快速获得白细胞核和细胞质的形态信息，实现了白细胞细胞核与细胞质的自动语义分割。
12.在一个优选的方案中，所述多层次特征重提取和聚合的神经网络模型包括残差卷积单元、分辨率融合单元以及聚合单元；所述两层相邻的不同分辨率的特征层依次经过所述残差卷积单元、所述分辨率融合单元以及所述聚合单元，确定分割后的mri模态图像。
13.通过在下采样过程中，将所述训练集内的任一张所述历史磁共振成像mri模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，经过残差卷积单元、分辨率融合单元和聚合单元，得到重提取和聚合后的特征，确定分割后的mri模态图像，从而有效地获取丰富的高、中、低级的特征中的白细胞信息。
14.在一个优选的方案中，所述步骤3中，对最终得到的白细胞图像使用形态学处理方法对初始白细胞图像中的白细胞核边缘轮廓进行光滑处理得到最终白细胞核图像。
15.利用轮廓拟合、图像填充和形态学腐蚀运算实现白细胞区域的提取，进而获得细胞质分割结果。
16.在一个优选的方案中，在所述步骤3中利用颜色分量组合增强白细胞细胞核的对比度的具体实现方式如下：
17.步骤s31、利用颜色分量组合增强细胞核区域，其形式化描述为：
18.i1＝ir+ib-k
×
ig
19.其中，ir、ib和ig分别表示rgb颜色空间中的红色、蓝色和绿色分量。
20.在一个优选的方案中，所述基于颜色先验的图像背景移除：通过阈值分割实现图像背景的去除
[0021][0022]
其中，t为阈值参数，iv代表背景移除，即将背景变为白色后的图像。
[0023]
利用经典的阈值分割技术对细胞核进行分割；然后利用颜色先验信息移除图像背景，进而执行边缘检测，获取最大连通分量作为白细胞初始轮廓。
[0024]
在一个优选的方案中，对所述最终白细胞核图像中的进行图像增强操作，所述图像增强操作包括垂直翻转、随机剪裁、高斯噪声、视角变换、图像的模糊和锐化、放射变换、亮度、对比度和颜色的变化。
[0025]
在一个优选的方案中，将进行所述图像增强操作步骤后的白细胞核图像为灰度图像和hsv图像，在灰度图像中分割出白细胞细胞核，在hsv图像中分割出整个白细胞；
[0026]
从分割出的白细胞细胞核和整个白细胞中提取颜色、纹理和形态三方面的特征；
[0027]
包括：以灰度直方图表示的颜色特征，包括均值、方差、倾斜度、峰态、能量、熵；利用灰度共生矩阵进行纹理特征的提取；
[0028]
包括熵、能量、相关性、对比度、逆差距；采用八连通链码计算形态特征；
[0029]
包括面积、周长、长宽比、圆形度、矩形度、核质比。
[0030]
一种基于深度学习的白细胞核质自动分割系统，包括有u型神经网络分割模型、分
割模块、扩展子模块、划分模块和分割后的模态图像确定模块，所述u型神经网络分割模型包括的编码器和译码器之间采用跳跃连接补充池化过程中丢失的底层信息，所述编码器采用改进的神经网络结构进行特征提取，所述译码器通过上采样恢复图像的细节及空间信息；所述分割模块：用于将白细胞图像输入到u型神经网络分割模型中对道路元素进行分割，输出分割结果通过设置有。
[0031]
在一个优选的方案中，所述扩展子模块用于对最终白细胞图像进行扩展处理，所述扩展处理包括随机剪切、随机翻转、图像加噪、增加亮度，所述划分模块用于将预处理图像划分为训练集和测试集。
[0032]
在一个优选的方案中，所述分割后的模态图像确定模块用于在采样过程中，将所述训练集内的任一张预处理图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的白细胞模态图像。
[0033]
由上可知，一种基于深度学习的白细胞核质自动分割方法，包括具体包括以下步骤：步骤1：将原始染色白细胞图像的rgb像素空间分割为长度相等的小立方体，计算所有小立方体中位于中心点的像素值，即预定像素值，获得每个小立方体中所有像素值的数量，将每个小立方体中的所有像素值赋值为预定像素值，并获得预处理图像；步骤2：将预处理图像内的任一张模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，构建u型神经网络分割模型，所述u型神经网络分割模型包括编码器和译码器；步骤3：利用颜色分量组合增强白细胞细胞核的对比度，进而利用经典阈值分割方法实现细胞核的分割然后，利用颜色先验去除图像的背景，执行边缘检测和轮廓拟合来获得白细胞分割结果；步骤4：将最终白细胞核图像利用水平集方法处理得到白细胞核轮廓曲线，以白细胞核轮廓曲线作为活动轮廓模型的初始轮廓曲线，以局部js散度构建局部灰度信息表达式作为边缘停止函数，使初始轮廓曲线逐步计算得到白细胞边缘，从而得到白细胞图像。本发明提供的基于深度学习的白细胞核质自动分割方法及系统具有快速获得白细胞核和细胞质的形态信息，经过残差卷积单元、分辨率融合单元和聚合单元，得到重提取和聚合后的特征，确定分割后的模态图像，从而有效地获取丰富的高、中、低级的特征中的白细胞信息，利用轮廓拟合、图像填充和形态学腐蚀运算实现白细胞区域的提取，进而获得细胞质分割结果的技术效果。
附图说明
[0034]
图1为本发明提出的一种基于深度学习的白细胞核质自动分割方法的整体结构示意图。
[0035]
图2为本发明提出的一种基于深度学习的白细胞核质自动分割系统的结构示意图。
具体实施方式
[0036]
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
[0037]
下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
[0038]
参照图1，一种基于深度学习的白细胞核质自动分割方法，具体包括以下步骤：
[0039]
步骤1：将原始染色白细胞图像的rgb像素空间分割为长度相等的小立方体，计算所有小立方体中位于中心点的像素值，即预定像素值，获得每个小立方体中所有像素值的数量，将每个小立方体中的所有像素值赋值为预定像素值，并获得预处理图像；
[0040]
步骤2：将预处理图像内的任一张模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，构建u型神经网络分割模型，u型神经网络分割模型包括编码器和译码器；
[0041]
步骤3：利用颜色分量组合增强白细胞细胞核的对比度，进而利用经典阈值分割方法实现细胞核的分割然后，利用颜色先验去除图像的背景，执行边缘检测和轮廓拟合来获得白细胞分割结果；
[0042]
步骤4：将最终白细胞核图像利用水平集方法处理得到白细胞核轮廓曲线，以白细胞核轮廓曲线作为活动轮廓模型的初始轮廓曲线，以局部js散度构建局部灰度信息表达式作为边缘停止函数，使初始轮廓曲线逐步计算得到白细胞边缘，从而得到白细胞图像。
[0043]
参照图1，在一个优选的实施方式中，多层次特征重提取和聚合的神经网络模型包括残差卷积单元、分辨率融合单元以及聚合单元；两层相邻的不同分辨率的特征层依次经过残差卷积单元、分辨率融合单元以及聚合单元，确定分割后的mri模态图像。
[0044]
参照图1，在一个优选的实施方式中，步骤3中，对最终得到的白细胞图像使用形态学处理方法对初始白细胞图像中的白细胞核边缘轮廓进行光滑处理得到最终白细胞核图像。
[0045]
参照图1，在一个优选的实施方式中，在步骤3中利用颜色分量组合增强白细胞细胞核的对比度的具体实现方式如下：
[0046]
步骤s31、利用颜色分量组合增强细胞核区域，其形式化描述为：
[0047]
i1＝ir+ib-k
×
ig
[0048]
其中，ir、ib和ig分别表示rgb颜色空间中的红色、蓝色和绿色分量。
[0049]
参照图1，在一个优选的实施方式中，基于颜色先验的图像背景移除：通过阈值分割实现图像背景的去除
[0050][0051]
其中，t为阈值参数，iv代表背景移除，即将背景变为白色后的图像。
[0052]
参照图1，在一个优选的实施方式中，对最终白细胞核图像中的进行图像增强操作，图像增强操作包括垂直翻转、随机剪裁、高斯噪声、视角变换、图像的模糊和锐化、放射变换、亮度、对比度和颜色的变化。
[0053]
参照图1，在一个优选的实施方式中，将进行图像增强操作步骤后的白细胞核图像为灰度图像和hsv图像，在灰度图像中分割出白细胞细胞核，在hsv图像中分割出整个白细胞；
[0054]
从分割出的白细胞细胞核和整个白细胞中提取颜色、纹理和形态三方面的特征；
[0055]
包括：以灰度直方图表示的颜色特征，包括均值、方差、倾斜度、峰态、能量、熵；利用灰度共生矩阵进行纹理特征的提取；
[0056]
包括熵、能量、相关性、对比度、逆差距；采用八连通链码计算形态特征；
[0057]
包括面积、周长、长宽比、圆形度、矩形度、核质比。
[0058]
一种基于深度学习的白细胞核质自动分割系统，包括有u型神经网络分割模型、分割模块、扩展子模块、划分模块和分割后的模态图像确定模块，u型神经网络分割模型包括的编码器和译码器之间采用跳跃连接补充池化过程中丢失的底层信息，编码器采用改进的神经网络结构进行特征提取，译码器通过上采样恢复图像的细节及空间信息；分割模块：用于将白细胞图像输入到u型神经网络分割模型中对道路元素进行分割，输出分割结果。
[0059]
参照图2，在一个优选的实施方式中，扩展子模块用于对最终白细胞图像进行扩展处理，扩展处理包括随机剪切、随机翻转、图像加噪、增加亮度，划分模块用于将预处理图像划分为训练集和测试集。
[0060]
参照图2，在一个优选的实施方式中，分割后的模态图像确定模块用于在采样过程中，将训练集内的任一张预处理图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的白细胞模态图像；
[0061]
经过所述多层次特征重提取和聚合的神经网络模型的下采样过程中的特征层比直接采用传统的下采样过程得到的特征包含更多语义信息，使得最终分割后的mri模态图像更优，提高了图像分割的准确率。
[0062]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。