一种基于深度网络的皮肤损伤图片分割方法与流程

本发明涉及人工智能领域，更具体的，涉及一种基于深度网络的皮肤损伤图片分割方法。

背景技术：

目前的皮肤图像分割按照使用的皮肤图像类别可以分为两大类：基于皮肤镜图像的方法和基于普通相机拍摄图像的方法。针对皮肤镜图像的分割问题，已有很多的研究工作可以达到很好的结果。但皮肤镜图像的获取相对复杂和昂贵会成为相关技术的瓶颈。所以，目前的分割技术都更倾向于使用普通相机拍摄的皮肤图片。随着手机等移动设备拍照功能的完善，很容易获取高清晰度的皮肤图片。由于这些普通皮肤图片受光照、拍摄角度等因素影响而差异较大，所以对分割技术也提出了更高的要求。

针对普通相机拍摄的皮肤图片已有不少的研究成果,如jeffrey在2012年提出了,利用皮肤图片的纹理显著性的tdls分割方法,jafari等在2016年提出了基于卷积神经网络的分割模型。但是，tdls方法基于手工提取的特征不能有效地针对当前的分割任务，因而导致分割的准确率较低，而且该方法的分割效率低下，需要1分钟才能完全给出一张皮肤图片的分割结果，用户体验方面较差。在此基础上，jafari提出基于深度卷积网络的分割方法，通过从训练样本中自动学习需要的分割特征，有效地提升了分割性能。但由于该方法每次预测一个像素位置时需要提取固定窗口的图片，然后输入到网络里得到输出结果，因而分割的总时间约等于：图片像素个数×网络运行时间。当然，在考虑按批输入的情形下，运行速度稍有提升。jafari提出的方法在gpu上的运行时间已经有大幅提升，但在cpu上的运行速率仍然不理想，做不到实时的分割。此外，基于深度卷积网络的方法都有一个固有的问题：输出的分割结果较为粗糙，不能完整地保持原有图片的边缘信息。

技术实现要素：

本发明不进行手工提取皮肤图片特征来进行分割任务，而是使用训练数据去自行学习适合于分割任务的深度卷积特征；本发明的预处理非常简单，只是进行图片像素值的归一化；此外，相比tdls和jafari使用引导滤波器的预处理方式解决光照和对比度变化较大的问题，本发明通过数据增强的方式丰富训练数据，让模型自行学习最优的特征表示以进行分割；本发明在真阳性率的指标上超过了现有的方法，而且在gpu和cpu上的运行时间都远低于现有的模型，可以做到实时的皮肤图像分割；本发明还使用了全连接的条件随机场作为后处理方法，可以有效地利用低层次的纹理颜色特征，锐化边缘区域的分割。

为实现以上发明目的，采用的技术方案是：

一种基于深度网络的皮肤损伤图片分割方法，包括以下步骤：

步骤s1：对测试图像进行增强和预处理；

步骤s2：将预处理后的测试图像输入到的卷积神经网络中进行训练，得到初步的分割结果和概率输出，根据初步的分割结果以及概率输出对卷积神经网络进行参数调整；

步骤s3：对训练图像进行增强和预处理；

步骤s4：将预处理后的训练图像输入到训练完成的卷积神经网络中进行训练，得到初步的分割结果以及概率输出；

步骤s5：将分割结果和概率输出在全连接的条件随机场中进行迭代处理；得到最终的分割结果。

优选的，所述的步骤s1具体包括以下步骤：

步骤s101：在图片中截取一个紧凑的一号矩形框，该矩形框恰好包围图片中损伤皮肤区域；

步骤s102：随机截取一个包含一号矩形框的二号矩形框；

步骤s103：把随机截取的图片重新缩放到固定的图片大小；

步骤s104：缩放后，对图片引入随机噪声，包括随机改变图片亮度和对比度；

步骤s105：对图片像素值做归一化操作，使得处理后的图片均值为0，方差为1。

优选的，所述的步骤s103的固定的图片大小为224×224。

优选的，所述的步骤s2具体包括以下步骤：

步骤s201：设定条件随机场的能量函数定义如下：

这里y指的是全卷积神经网络的预测结果，下标i表明像素位置，能量函数的第一项为单一势能函数ψu(yi)＝-logp(yi)，这里p(yi)表示网络预测像素位置i类别yi的概率大小；

步骤s202：设能量函数的第二项定义为：

其中，μ为标签兼容函数，fi和fj为像素位置i的图片特征，κ^(m)为第m个核函数以及其权值ω^(m)，

步骤s203：使用如下两个核函数，分别为：

其中μ(yi，yj)＝[yi≠yj]，核函数的特征输入包括像素位置和rgb颜色信息，即公式中的pi，pj，ii，ij。

优选的，步骤s2中卷积神经网络的训练使用二分类的交叉熵损失函数进行训练。

与现有技术相比，本发明的有益效果是：

1.本发明提出有效的数据增强方案，现有的数据增强只是随机的截取窗口，导致有些截取的图片不能保证损伤皮肤的完整性。对比而言，本发明的数据增强方案首先计算了紧致的损伤皮肤区域，然后再截取包含整个损伤皮肤区域的矩形框，有效地保证了损伤皮肤的完整性，因而做到了训练和测试数据分布一致统一。

2.本发明对皮肤图片集学习一个全卷积神经网络，因此可以在只运行一次网络前向传播的情况下遍得到所有像素位置的结果。相比基于窗口的模型，本发明的全卷积网络可以有效地避免卷积特征的重复计算，因而在cpu和gpu上的运行时间均大大减小，可以做到实时的分割。

3.本发明的分割性能良好。

4.本发明使用全连接的条件随机场作为后处理方法，可以锐化边缘区域的分割结果。不论是基于窗口的模型还是全卷积网络，都未能考虑低层次的图像特征，因而其分割结果不能保持这些低层次的结构(如纹理、颜色)，而全连接的条件随机场作为一种图模型可以充分利用这些信息以锐化损伤皮肤边缘区域的分割，以及去除掉小面积的错误分割区域。

附图说明

图1为本发明的流程图。

图2为数据增强对分割结果的影响。

图3为不同分割方法的分割结果。

图4为不同分割方法的时间效率对比。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

如图1所示，一种基于深度网络的皮肤损伤图片分割方法，包括以下步骤：

一种基于深度网络的皮肤损伤图片分割方法，包括以下步骤：

步骤s1：对测试图像进行增强和预处理；

步骤s2：将预处理后的测试图像输入到的卷积神经网络中进行训练，得到初步的分割结果和概率输出，根据初步的分割结果以及概率输出对卷积神经网络进行参数调整；

步骤s3：对训练图像进行增强和预处理；

步骤s4：将预处理后的训练图像输入到训练完成的卷积神经网络中进行训练，得到初步的分割结果以及概率输出；

步骤s5：将分割结果和概率输出在全连接的条件随机场中进行迭代处理，得到最终的分割结果。

优选的，所述的步骤s1具体包括以下步骤：

步骤s101：在图片中截取一个紧凑的一号矩形框，该矩形框恰好包围图片中损伤皮肤区域；

步骤s102：随机截取一个包含一号矩形框的二号矩形框；

步骤s103：把随机截取的图片重新缩放到固定的图片大小；

步骤s104：缩放后，对图片引入随机噪声，包括随机改变图片亮度和对比度；

步骤s105：对图片像素值做归一化操作，使得处理后的图片均值为0，方差为1。

优选的，所述的步骤s103的固定的图片大小为224×224。

优选的，所述的步骤s2具体包括以下步骤：

步骤s201：设定条件随机场的能量函数定义如下：

这里y指的是全卷积神经网络的预测结果，下标i表明像素位置，能量函数的第一项为单一势能函数ψu(yi)＝-logp(yi)，这里p(yi)表示网络预测像素位置i类别yi的概率大小；

步骤s202：设能量函数的第二项定义为：

其中，μ为标签兼容函数，fi和fj为像素位置i的图片特征，κ^(m)为第m个核函数以及其权值ω^(m)，

步骤s203：使用如下两个核函数，分别为：

其中μ(yi，yj)＝[yi≠yj]，核函数的特征输入包括像素位置和rgb颜色信息，即公式中的pi，pj，ii，ij。

优选的，步骤s2中卷积神经网络的训练使用二分类的交叉熵损失函数进行训练。

实施例2

本实施例将本发明与现有的tdls和jafari方法进行分割结果和模型运行速率的比较。

为了比较的公平性，本实施例设置了相同的实验环境，模型的训练阶段都采用dermquest数据库的126张图片作为训练数据，里面包含66张黑素瘤图片和60张非黑素瘤图片。由于数据有限，采取了交叉验证的实验方案，将训练数据随机地分割为等大小的4份，然后依次选取其中的3份用于模型的训练，而剩余的1份作为评测集，最终取4次实验结果的平均值。评测指标方面，采用了真阳性率、真阴性率和准确率三个指标。

在比较之前，先进行实验以验证本发明中数据增强模块的必要性，实验结果如图2所示。其中，数据增强一列的×表示没有使用数据增强操作，而√表示使用了使用本发明提出的数据增强操作。可以看到，数据增强对真阳性率的结果影响明显，提升了超过12个百分点。

图3给出了不同方法的分割结果。可以看到，本发明的分割结果在真阳性率指标上要高于tdls和jafari方法。

图4给出了不同分割方法的运行时间对比。为了准确地评测不同模型运行时间，在相同的机器上运行不同的方法。由于jafari方法分割准确率要优于tdls方法，在此只比较本发明和jafari的方法。测试时每种方法均运行10次，以这10次运行时间均值作为方法的运行时间。为了得到一张400*600大小图片的分割结果，jafari方法在批大小为128的情况下循环超过1800次才能得到每个像素位置的结果。但本发明由于使用了全卷积神经网络，只需运行一次网络便可得到整张图片的结果。从结果上看，无论是cpu还是gpu上的运行时间，本发明都要远远快于jafari方法。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。