一种皮肤病理图像多种组织自动分割方法与流程

本发明属于皮肤病理图像处理技术领域，具体涉及一种皮肤病理图像多种组织自动分割方法。

背景技术：

在临床中对于难以诊断的皮肤病，尤其对于疑似肿瘤的患者，医生一般会对其进行显微组织的评估，然后根据各组织中相关特征进行诊断。由于通过人体皮肤表象很难发现敏感特征，医生一般会对患者进行皮肤病理切片的制作，即he图像的扫描，有时甚至会搭配多种免疫组化进行辅助诊断。

目前，病理医生手动区分皮肤病理切片组织仍是临床中诊断的主要手段，主要是通过显微镜来观察患者的皮肤病理切片。在常规的诊断流程中，观察显微镜是很重要的一步，医生通过观察显微镜才能找到能够确诊相关皮肤病的敏感性特征。

我国人口总量巨大，病理医生缺乏，观察显微镜寻找特征比较费时费力，对于他们来说工作量繁琐，而且在这一环节中花费太多时间就相当于给病人的确诊耽误了更多的时间。因此需要一种全自动的手段将皮肤病理图像中的组织进行快速的区分，帮助医生更快的寻找到确诊相关皮肤病的敏感特征。

目前计算机计算能力的快速发展和深度学习算法的大规模应用使得这种期望成为可能。医生可以借助计算机来辅助诊断，从而可以减少病理医生的工作量，使他们可以专注于更复杂的工作中。因此可以利用计算机开发深度学习算法对皮肤病理图像中各个组织进行精确的分割，从而帮助医生找到确诊相关皮肤病的敏感特征来进行后续的判别诊断以制定相应的治疗方案。

技术实现要素：

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种皮肤病理图像多种组织自动分割方法，可以快速和准确的对皮肤病理图像进行多种组织的分割。

为实现上述技术目的，本发明采取的技术方案为：

一种皮肤病理图像多种组织自动分割方法，包括：

(1)获取皮肤病理样本图像并对其进行组织标记；

(2)在组织标记后的样本图像中提取各组织图像块，提取的图像块作为初始分割模型数据集；

(3)构建并训练初始分割模型；

(4)在组织标记后的样本图像中提取表皮边界图像块，提取的图像块作为表皮边界优化数据集；

(5)构建并训练表皮边界优化模型；

(6)获取待分割皮肤病理图像并对待分割皮肤病理图像进行预处理；

(7)初始分割模型数据集对预处理后的待分割皮肤病理图像进行初始分割；

(8)表皮边界优化模型对初始分割后的图像进行表皮边界优化。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤(1)所述获取皮肤病理样本图像并对其进行组织标记，为：获取皮肤病理样本图像并标记皮肤病理样本图像中的表皮、真皮、脂肪、汗腺和毛囊。

上述的步骤(2)所述在组织标记后的样本图像中提取各组织图像块，其提取的组织图像块尺寸为144×144。

上述的步骤(3)所述初始分割模型为快速密集深度卷积网络(fastanddensevgg，fd-vgg)模型。

所述fd-vgg模型，其输入图像尺寸为128×128×3，输入图像逐个经过由3×3无padding卷积、批规范化和激活函数relu组成的卷积模块、最大池化，最后经过平均池化再通过两个所述卷积模块得到最终的输出分类。

上述的步骤(4)所述表皮边界图像块尺寸为256×256。

上述的步骤(5)所述表皮边界优化模型为语义分割网络segnet模型。

上述的步骤(6)所述对待分割皮肤病理图像进行预处理为去除待分割皮肤病理图像中的白色背景，去除待分割皮肤病理图像中的白色背景的流程为：

(a)全扫描待分割皮肤病理图像；

(b)将步骤(a)扫描结果从rgb(红绿蓝)空间转换到hsv空间；

(c)提取步骤(b)得到的hsv(色调，饱和度，明度)空间图像中的h通道；

(d)通过otsu(大津阈值)算法获取待分割皮肤病理图像组织区域的初始轮廓；

(e)通过闭运算和开运算的形态学处理进一步优化组织区域轮廓，从而将白色背景去除。

本发明具有以下有益效果：

通过构建训练数据集，设计深度学习模型，最终辅助医生进行病理图像多种组织分割诊断，进一步提高时效性；

提出的模型可以接受不同大小的输入图像，因此可以对数据进行快速的测试；

提出的模型可以对图像进行准确的测试，而且拼接过程中不会产生边缘效应。

附图说明

图1为本发明流程图；

附图1中，(a)为原始图像；(b)为医生标记的各组织；(c)为6种组织成分及颜色编码；(d)为6种组织成分展示；(e)为本发明设计的fd-vgg；(f)为医生标记的表皮边界；(g)为边界优化网络segnet；(h)为segnet网络的语义分割输出；

(i)为待分割的皮肤病理图像；(j)为取roi(感兴趣区域)送入fd-vgg的初始分割结果；(k)为经过边界优化网络segnet将表皮边界进行优化的结果。

图2为白色背景去除流程示意图；

附图2中，(a)为全扫描待分割皮肤病理图像；(b)为将步骤(a)扫描结果从rgb空间转换到hsv空间；(c)为提取步骤(b)得到的hsv空间图像中的h通道；(d)为通过otsu算法获取待分割皮肤病理图像组织区域的初始轮廓；(e)为通过闭运算和开运算的形态学处理进一步优化组织区域轮廓；(f)为将白色背景去除效果。

图3为fd-vgg结构示意图；

图4为segnet结构示意图；

图5为fd-vgg在验证集全扫描图像上的测试结果；

附图5中，(a)为医生标记图；(b)为测试结果；(c)-(h)分别为表皮、真皮、脂肪、汗腺、背景、毛囊测试结果的热度图。

图6为segnet边界优化网络的结果；

附图6中，(a)fd-vgg分割的表皮区域；(b)为(a)局部放大的图像；(c)为(a)通过边界优化模型segnet之后的结果；(d)为(c)的局部放大图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

参见图1，本发明的一种皮肤病理图像多种组织自动分割方法，包括：

(1)获取皮肤病理样本图像并对其进行组织标记；

实施例中，皮肤病理专家对14张皮肤病理样本图像进行组织标记；

所述获取皮肤病理样本图像并对其进行组织标记，为：获取皮肤病理样本图像并标记皮肤病理样本图像中的表皮、真皮、脂肪、汗腺和毛囊。

(2)在组织标记后的样本图像中提取各组织图像块，提取的图像块作为初始分割模型数据集；

实施例中，在每张组织标记后的皮肤病理样本图像中提取各个组织的144×144图像块作为初始分割模型数据集；

(3)构建并训练初始分割模型；

实施例中，从初始分割模型数据集的14张皮肤病理样本图像中随机选取12张作为训练集，剩余的2张作为验证集，对初始分割模型进行训练及验证。

参见图3，所述初始分割模型为fd-vgg模型。

所述fd-vgg模型，其输入图像尺寸为128×128×3，输入图像逐个经过由3×3无padding卷积、批规范化和relu组成的卷积模块、最大池化，最后经过平均池化再通过两个所述卷积模块得到最终的输出分类。

在每个卷积模块中，逐渐增加特征图谱的个数，从64逐渐增加到512，最后经过平均池化后再增加到1024，最后输出6个分类。

fd-vgg在验证集全扫描图像上的测试结果参见图5。

(4)在组织标记后的样本图像中提取表皮边界图像块，提取的图像块作为表皮边界优化数据集；

实施例中，提取14张组织标记后的皮肤病理样本图像中表皮边界的256×256像素大小的图像块作为表皮边界优化数据集。

(5)构建并训练表皮边界优化模型；

实施例中，将表皮边界优化数据集按照7:3的比例分为训练集和验证集，对表皮边界优化模型进行训练及验证。

参见图4，所述表皮边界优化模型为语义分割网络segnet模型，包括encode(编码)和decode(解码)两部分。其中encode是由4层下采样组成，encode和decode之间呈现出一种对称的关系。decode则是4层上采样从而使得特征图还原到图像原始尺寸，最后网络通过归一化函数softmax输出不同分类的最大值，得到最终的分割图。

(6)获取待分割皮肤病理图像并对待分割皮肤病理图像进行预处理；

参见图2，实施例中，所述对待分割皮肤病理图像进行预处理为去除待分割皮肤病理图像中的白色背景，去除待分割皮肤病理图像中的白色背景的流程为：

(a)全扫描待分割皮肤病理图像；

(b)将步骤(a)扫描结果从rgb空间转换到hsv空间；

(c)提取步骤(b)得到的hsv空间图像中的h通道；

(d)通过otsu算法获取待分割皮肤病理图像组织区域的初始轮廓；

(e)通过闭运算和开运算的形态学处理进一步优化组织区域轮廓，从而将白色背景去除。

(7)提取待分割皮肤病理图像中大图像块送入fd-vgg得到初始分割结果；

(8)提取初始分割结果中表皮边界的图像块输入segnet中得到表皮边界优化后的结果。

segnet边界优化后的结果参见图6，附图6中，(a)为fd-vgg分割的表皮区域；(b)为(a)局部放大的图像，可以看到表皮的边界分割的不是很理想；(c)为(a)通过边界优化模型segnet之后的结果；(d)为(c)的局部放大图，可以看到表皮的边界优化的很好。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。