一种基于深度卷积神经网络的皮肤病图像病灶分割方法与流程

本发明属于计算机辅助诊断和医学图像处理领域，具体涉及一种基于深度空洞卷积网络的特征提取和融合方法。

背景技术：

皮肤是人体最大的器官，它覆盖并保护人的身体，具有排汗、感觉冷热和压力等很多重要的功能。而皮肤病是所有年龄段人类中最常见的一种疾病感染，具有很高的发病率，人体机能的病症往往会在皮肤组织上直接表现出来，给患者带来很多困扰。但是皮肤病种类繁多，目前已超过2000种，且很多皮肤病之间极其相似，难以辨别，这给疾病诊断带来很大的困难，极容易造成误诊。皮肤镜作为一种非侵入性的诊断技术可用于快速检查可疑病变，它通过显微技术将皮肤表面的组织结构、纹理变化和颜色差异等细节特征非常清晰地体现在皮肤镜图像上，利用皮肤镜图像可以观察到许多颜色、形态、纹理等形态学特征。通过皮肤镜采集的皮肤病图像在不降低特异性的前提下提高对各类皮肤疾患的诊断敏感性，可以帮助皮肤科医生更好地定义肿瘤边缘，测量治疗后的效果和疾病分类。皮肤病图像分割就是为了获得精准的病灶区域，为自动辅助诊断提供强有力的支持。

随着数字图像处理和计算机视觉与医学相结合，基于皮肤病图像的自动诊断技术成为当下的一个研究重点。在一方面，实际临床采集到的图像包含大量诸如毛发、血管、黑框等噪声信息；在另一方面，不同病种间图像呈现不同形状、颜色、纹理特征，这对皮肤病病灶分割造成了巨大的干扰，导致皮肤病病灶分割问题成为了一个具有实际意义、又极具挑战性的问题。

技术实现要素：

发明目的：

为了提高了皮肤病图像质量，进而提高病灶分割的准确度，以获得更加精确的病灶信息，本发明提出了一种基于深度卷积神经网络的皮肤病图像病灶分割方法。

技术方案：

一种基于深度卷积神经网络的皮肤病图像病灶分割方法，其特征在于：该分割方法包括三个步骤，分别为数据预处理、数据扩充、构建分割模型进行训练并验证；

其中，数据预处理步骤负责对皮肤病图像进行降噪处理，将图像中有碍确定病灶位置的人工、天然噪声移除；

数据扩充步骤负责将经过降噪处理的图像进行形变、旋转的方式扩充数据集；

构建分割模型进行训练并验证步骤，该步骤分为三部分，第一部分用一个由空洞卷积构成的模块对图像进行第一次特征提取；第二部分是一个空洞空间金字塔池化模块，对所提取到的特征再进行编码获得更多细节特征；第三部分是解码模块，对编码所得的高细节特征解码的同时融合第一次得到的特征获得预测图。

在数据预处理步骤中，对图像的人工、天然噪声进行处理，具体步骤如下：

(1)将原始rgb图像转换到hsl空间的亮度分量l，公式如下：

其中，r、g、b分别为rgb色彩空间的三个分量；

(2)将l＜20的像素点标记为黑点，然后统计黑点所占每行/列的比例p；

(3)如果每行/列的p>0.7，则将该行/列标记为黑框行/列；

(4)得到整幅图像的黑框行、列位置信息，并在原始rgb图像中删除所有黑框行/列，以移除人工操作导致的黑框噪声；

(5)对(4)得到的结果先从rgb空间转换到luv空间，再对l、u、v三个分量分别进行形态学闭操作得到图像mr，公式如下：

mr＝(l',u',v')(2)

其中l'、u'、v'分别为luv空间三个分量的处理结果，是形态学膨胀操作，！是腐蚀操作，b为结构元素；

(6)然后对闭操作前后的图像做差，进行波谷检测得到毛发图像cr；

(7)对cr图像进行区域连通处理，并统计连通区域n，n即为毛发数量；

(8)若n>t(t为用来区分粗密毛发模式、稀疏毛发模式的阈值)，则转到粗密毛发处理模式，采用偏微分运算修复毛发部位，设初始图像为u0(i,j)，利用公式(3)对图像进行修复：

其中，公式中的函数c(x)是扩散系数函数，常用形式为式中x是变量，k是系数，(i,j)表示像素点坐标，d表示像素(i,j)的邻域，n表示邻域点个数，t表示迭代次数；

(9)否则转到稀疏毛发处理模式，采用双线性插值修复毛发信息，以移除天然毛发噪声。

在数据扩充步骤中，通过形变对数据量进行扩充；数据扩充对预处理后的图像及对应的二进制标签图像进行翻转、旋转、改变对比度操作，以增强数量；然后对得到的数据集进行归一化处理，得到归一化后的数据集。

在构建分割模型进行训练并验证步骤中，构建分割模型的三个模块，具体步骤如下：

(1)深度空洞卷积特征提取模块由输入、中间处理、输出三部分组成；输入构建：一个卷积核3×3，步长为2的卷积层、卷积核3×3，步长为1的卷积层、两个卷积核为3×3的深度可分离卷积层、一个步长为2，卷积核为3×3的深度可分离卷积、两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积、两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积；中间处理由16个三个卷积核为3×3的深度可分离卷积构成；输出构建：两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积、三个卷积核为3×3的深度可分离卷积；

(2)空洞空间金字塔池化模块包括1个卷积核大小为1×1的卷积层和3个卷积核大小为3×3、空洞卷积率分别为6，12，18的空洞卷积层以及一个平均池化上采样层、一个卷积核1×1的卷积层；

(3)解码部分由一个卷积核为1×1的卷积层、一个特征融合层、一个卷积核为3×3的卷积层以及一个双线性插值的上采样层构成。

所述的数据集，将其按照8：1：1的比例分为训练集、验证集和测试集；其中训练集用来训练分割模型，验证集用来验证模型，测试集用来测试。

使用深度空洞卷积模块和空洞空间金字塔模块提取特征，对特征进行编码，然后使用解码模块将提取到的特征解码降维生成预测图，具体步骤如下：

(1)将训练集输入到分割模型，图像进入深度空洞卷积特征提取模块，经过输入、中间处理、输出得到一个低级特征图和一个高级特征图；

(2)将(1)得到的高级特征图输入到空洞空间金字塔池化层，经过一个卷积、三个空洞卷积、一个池化层的并行处理得到5个输出，然后将5个输出经过特征融合，再经1×1卷积得到更深层次的特征图；

(3)将(1)得到的低级特征图输入到解码模块，经1×1卷积调整维度，再将特征图进行上采样后与调整维度后的低级特征图融合，经过一个3×3卷积，再上采样得到预测结果；

(4)将(3)得到的预测结果使用softmax函数将值归一化到0和1；

(5)然后使用dice损失函数将(4)得到的归一化图和标签图进行对比，dice损失函数公式如下：

其中，x、y分别为两个样本集。

(6)得到(5)的函数值后根据自适应矩估计算法进行反向传播更新网络中的权重参数；

(7)将验证集按照同样的方式输入到分割模型中，使用dice损失函数得到结果。

将训练验证后的模型进行测试，将测试集输入到分割模型，得到图像的分割结果。

优点及效果：

本发明利用机器视觉和图像处理领域的相关技术，针对皮肤病图像的特点，通过针对性的皮肤病图像预处理提高了图质量、保证了尽可能多的有效病灶信息；通过图像变换扩充数据集，确保网络训练的泛化能力，以及模型的有效性；通过采用大量的空洞卷积和空间金字塔结构获取了丰富的细节信息，能够更好的采集边缘信息，得到更加准确的病灶分割结果。

附图说明

图1为本发明的总体流程图；

图2为皮肤病图像预处理流程图；

图3为分割网路模型图；

图4为预处理效果图；其中，4(a.1)为原始带黑框图像；4(a.2)移除黑框图像；4(b.1)原始带毛发图像；4(b.2)移除毛发图像；4(c.1)原始带毛发图像；4(c.2)移除毛发图像。

图5为分割效果图。

具体实施方式：

下面结合附图对本发明进行具体说明：

本发明提供一种基于深度卷积神经网络的皮肤病图像病灶分割方法，能够消除图像中具有较高影响的噪声，通过深度卷积神经网络提取到丰富的细节特征，极大的提高病灶分割的准确度。该方法包括三个步骤，这三个步骤就是构建三个模块，分别为数据预处理、数据扩充、构建分割模型进行训练并验证，数据预处理模块负责对皮肤病图像(包括临床图像和皮肤镜图像)进行降噪处理，将图像中有碍确定病灶位置的人工、天然噪声移除；数据扩充模块负责将经过降噪处理的图像进行形变、旋转的方式扩充数据集；构建分割模型，分割模型分为三部分，第一部分用一个由空洞卷积构成的模块对图像进行第一次特征提取，第二部分是一个空洞空间金字塔池化模块，对所提取到的特征再进行编码获得更多细节特征，第三部分是解码模块，对编码所得的高细节特征解码的同时融合第一次得到的特征获得预测图，具体流程见图1的发明的总体流程图。

所述的基于深度卷积神经网络的皮肤病图像病灶分割方法的皮肤病图像的数据预处理，其主要功能是对图像的人工、天然噪声进行处理，具体步骤如下：

(1)将原始rgb图像转换为hsl空间的亮度分量l，公式如(1)：

其中，r、g、b分别为rgb色彩空间的三个分量。

(2)将l＜20的像素点标记为黑点，然后统计黑点所占每行(列)的比例p

(3)如果每行(列)的p>0.7，则将该行(列)标记为黑框行(列)

(4)得到整幅图像的黑框行、列位置信息，并在原始rgb图像中删除所有黑框行(列)，以移除人工操作导致的黑框噪声。

(5)对(4)得到的结果先从rgb空间转换到luv空间，再对l、u、v三个分量分别进行形态学闭操作得到图像mr，公式如下：

其中l'、u'、v'分别为luv空间三个分量的处理结果，是形态学膨胀操作，！是腐蚀操作，b为结构元素。

(6)然后对闭操作前后的图像做差，进行波谷检测得到毛发图像cr

(7)对cr图像进行区域连通处理，并统计连通区域n即为毛发数量

(8)若n>t，则转到粗密毛发处理模式，采用偏微分运算修复毛发部位。对毛发的修复在r、g、b三个域上进行迭代修复，设初始图像为u0(i,j)，利用公式(3)对图像进行修复：

其中，公式中的函数c(x)是扩散系数函数，常用形式为式中x是变量、k是系数，(i,j)表示像素点坐标，d表示像素(i,j)的邻域，n表示邻域点个数，t表示迭代次数；(9)否则转到稀疏毛发处理模式，采用双线性插值修复毛发信息，以移除天然毛发噪声；具体的流程见图2的图像预处理流程图；图4为预处理效果图，其中，4(a.1)为原始带黑框图像；4(a.2)移除黑框图像；4(b.1)原始带毛发图像；4(b.2)移除毛发图像；4(c.1)原始带毛发图像；4(c.2)移除毛发图像。

所述的基于深度卷积神经网络的皮肤病图像病灶分割方法的数据扩充通过形变对数据量进行扩充。数据扩充对预处理后的图像及对应的二进制标签图像进行翻转、旋转、改变对比度操作，以增强数量；然后对得到的数据集进行归一化处理，得到归一化后的数据集。

所述的基于深度卷积神经网络的皮肤病图像病灶分割方法的构建分割模型由三个模块组成，具体步骤如下：

(1)深度空洞卷积特征提取模块由entry、middle、exit三部分组成。entry构建：一个卷积核3×3，步长为2的卷积层、卷积核3×3，步长为1的卷积层、两个卷积核为3×3的深度可分离卷积层、一个步长为2，卷积核为3×3的深度可分离卷积、两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积、两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积。middle由16个三个卷积核为3×3的深度可分离卷积构成。exit包括两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积、三个卷积核为3×3的深度可分离卷积。

(2)空洞空间金字塔池化模块包括1个卷积核大小为1×1的卷积层和3个卷积核大小为3×3、空洞卷积率分别为6，12，18的空洞卷积层以及一个平均池化上采样层、一个卷积核1×1的卷积层。

(3)解码部分由一个卷积核为1×1的卷积层、一个特征融合层、一个卷积核为3×3的卷积层以及一个双线性插值的上采样层构成。

所述的数据集划分，将经过数据扩充处理后的数据集按照8：1：1的比例分为训练集、验证集和测试集。训练集用来训练分割模型，验证集用来验证模型，测试集用来测试；图3为分割网路模型图。

所述的分割模型的模型训练与验证，其特征在于使用深度空洞卷积模块和空洞空间金字塔模块提取特征，对特征进行编码，然后使用解码模块将提取到的特征解码降维生成预测图，具体如下：

(1)将训练集输入到分割模型，图像进入深度空洞卷积特征提取模块，经过entry、middle、exit得到一个低级特征图low_levelfeature和一个高级特征图high_levelfeature。

(2)将(1)得到的high_levelfeature输入到空洞空间金字塔池化层，经过5个不同的操作得到5个输出，然后将5个输出经过特征融合处理，再经1×1卷积得到更深层次的特征图feature。

(3)将(1)得到的low_levelfeature输入到解码模块，经1×1卷积调整维度，再将feature进行上采样后与调整维度后的low_levelfeature融合，经过一个3×3卷积，再上采样得到预测结果president。

(4)将(3)得到的president使用softmax函数将值归一化到0和1。

(5)然后使用dice损失函数将(4)得到的归一化图和标签图进行对比。使用dice损失函数为dice系数即骰子系数，用来计算两个样本的相似度；dice-coefficientlossfunction即骰子系数损失函数，后简记为dice损失函数。

(6)得到(5)的函数值后根据adam算法进行反向传播更新网络中的权重参数；自适应矩估计算法即adaptmomentestimation，简记为adam算法。

(7)将验证集按照同样的方式输入到分割模型中，使用dice损失函数得到结果。

上述训练验证后的模型测试，是将测试集输入到分割模型，得到图像的分割结果，图5为分割效果图。