一种基于神经网络的烧伤创面区域自动分割方法

本发明属于烧伤医学图像处理领域，具体涉及一种基于神经网络的烧伤创面区域自动分割方法。

背景技术：

烧伤是一种常见的外伤性疾病，通常由物理或化学因素，例如热力、化学、电流和放射线等引起。小面积范围的烧伤会引起皮肤、黏膜组织或相应的深层组织的损伤。较大面积范围的烧伤会引起机体的各个系统出现不同程度的功能、代谢和形态变化，使患者全身出现严重的病理反应和内脏损害，造成休克、脓毒症和多脏器功能衰竭等并发症，死亡率较高。同时烧伤创面的愈合和治疗过程复杂，时间较长。创面愈合后可遗留有瘢痕挛缩和功能障碍等后遗症。所以烧伤、尤其大面积烧伤是一种复杂和严重的外伤性疾病。

烧伤创面区域诊断是烧伤伤情判断的重要环节，可靠有效的烧伤创面严重程度评估是临床决策的基础。对于需要接受早期切除和移植治疗的病人来说，烧伤区域的评估可确定医生后续的手术治疗和护理方式，极大减轻病人的医疗费用、住院时间和身心负担。临床评估是目前常用和普遍的判断方式，然而这种主观判断的影响因素较多，诊断水平参差不齐，导致对烧伤区域的判断存在较大差异。现有的组织穿刺活检技术、活体染色检测技术、热成像技术等一方面检测费用昂贵，另一方面需要复杂的检测环境和设备，因而在临床中没有大范围使用。

随着计算机和深度学习的发展，计算机技术与医学图像检测相结合，为医学智能化诊断开辟了新的思路。将深度学习技术引入烧伤图像区域诊断，能够实现烧伤创面区域诊断过程的半自动化，减少人为失误的影响，提高烧伤诊断的准确性。同时，深度学习的检测方法能够降低检测成本的开销，减少烧伤区域检测花费的时间。

技术实现要素：

针对现有技术存在的上述问题，本发明提供了一种基于神经网络的烧伤创面区域自动分割方法，该方法使用了基于神经网络模型对烧伤患者的烧伤创面区域图像进行自动识别分割，解决传统创伤区域分割精度低，耗时长的技术问题。

为解决上述问题，本发明的技术方案为一种基于神经网络的烧伤创面区域自动分割方法，所述方法包括如下步骤：

s1：采集获取烧伤病人的烧伤图像；

s2：对烧伤图像进行预处理和数据增强操作；

s3：将预处理和数据增强后的烧伤图像输入神经网络模型中进行模型的训练，进一步地，神经网络模型分为编码器模型和解码器模型；

s4：使用训练后的模型烧伤图片进行烧伤创面区域预测，得到烧伤创面区域的分割结果图。

具体地，所述步骤s2进一步包括：

s21：对烧伤图像进行预处理操作；

s22：对烧伤图像进行数据增强操作。

具体地，所述步骤s3进一步包括：

s31：将预处理和数据增强后的烧伤图像输入编码器模型，提取烧伤图像的特征图；

s32：将编码器模型提取的特征图输入解码器模型，进行烧伤图像的特征融合，输出烧伤创面区域的分割预测图；

s33：计算模型输出的loss值，通过rmsprop优化器训练模型。

进一步地，所述步骤s1使用相机等设备采集烧伤患者的烧伤图像数据。

进一步地，所述步骤s21对烧伤图像进行预处理操作，预处理包括：1)对采集的烧伤图像进行筛选，选取清晰的烧伤图像；2)剪切去除烧伤图像中无效的背景区域和涉及到患者隐私的区域；3)标记图像中的烧伤创面区域，生成和原始烧伤图片具有相同尺寸的掩模图像作为模型训练时的标签；4)将烧伤图像的rgb三个通道数值归一化至区间[0,1]，得到标准化烧伤图像。

进一步地，所述步骤s22对烧伤图像进行数据增强操作，具体包括：1)对烧伤图像和对应的掩模图像同时进行0度至360度之间的随机旋转，烧伤图像和掩模图像旋转的角度保持一致；2)对烧伤图像和对应的掩模图像同时进行随机翻转，翻转方式有水平翻转和镜像翻转，由伪随机数发生器随机选择一种方式对烧伤图像和掩模图像进行翻转；3)对烧伤图像和对应的掩模图像同时进行随机平移，平移方式有水平平移和垂直平移，平移范围在0％至10％的图像宽度和图像高度之间，由伪随机数发生器随机对烧伤图像和掩模图像进行平移；4)对烧伤图像和对应的掩模图像同时进行随机缩放，缩放方式为从图像中心放大图像或缩小图像，缩放范围在0％至10％之间，由伪随机数发生器随机对烧伤图像和掩模图像进行缩放操作。

进一步地，所述步骤s31将步骤s2处理后的烧伤图像输入编码器模型，提取烧伤图像的特征图。编码器模型为改进的resnet-101模型，与原始resnet-101模型相比，改进的resnet-101模型中删除了原始resnet-101模型最后一层全连接层的输出，并且将原始resnet-101模型中的普通卷积层(convolutionlayers)替换为空洞卷积层(dilatedconvolutionlayers)。

进一步地，，所述步骤s32将编码器模型提取的特征图输入解码器模型，解码器模型为改进的upernet模型。与原始的upernet模型相比，改进的upernet模型将原始结构中的ppm(pyramidpoolingmodule，金字塔池模块)由4层改进为3层，减少了模型的参数量，同时减少了模型运行时的计算量，加速模型的运行速度。之后融合ppm各层输出的特征图，最后输出和原始烧伤图像尺寸相同的烧伤区域预测图。解码器模型的输出激活函数为sigmoid。

sigmoid函数的表达式为：

其中s为单个像素的预测输出值，范围在[0，1]区间。当s的值小于0.5时，该像素点判定为非烧伤创面区域，当s的值大于等于0.5时，该像素点判定为烧伤创面区域。

进一步地，所述步骤s33计算解码器模型的输出预测图和标记的掩模图之间的loss值，loss的计算使用改进的diceloss计算方法。之后使用rmspro优化器进行反向传播更新模型的参数，训练模型。

其中dice系数的表达式为：

其中|a∩b|表示集合a和集合b之间的共同元素，|a|表示集合a中的元素个数，|b|表示集合b中的元素个数。

本专利提出的改进的diceloss计算方法，表达式为：

其中，β为改进的自适应系数，m为烧伤图像宽度像素点的个数，n为烧伤图像高度像素点的个数，yij表示单个像素点的预测值，表示单个像素点的标注值。

rmspro优化器的表达式为：

其中，wt表示t时刻迭代模型的参数，gt表示t次迭代loss函数关于w的梯度大小，e[g²]t表示前t次的梯度平方的均值。α表示动量，且设置为0.9，η0表示全局初始学习率，∈是一个取值很小的数，一般取1e-8，为了避免分母为0。

进一步地，所述步骤s4使用训练后的编码器和解码器模型对未进行标注的烧伤图片进行烧伤创面区域预测，得到烧伤创面区域的分割结果图。进一步地，通过可视化技术，将神经网络模型输出的烧伤创面区域预测图和原始图像叠加显示。

本发明提出一种基于神经网络的烧伤创面区域自动分割方法，和传统的神经网络模型相比，本发明提出的方法有以下的不同：1)本发明提出的改进的resnet-101编码器模型，和经典的resnet-101相比，将经典resnet-101模型中的普通卷积层替换为空洞卷积层，并且删除了原始resnet-101模型最后一层全连接层的输出，改进的resnet-101编码器模型的最后一层输出为模型从烧伤图像中提取的特征图；2)本发明提出的改进的解码器upernet模型，将原始upernet模型中的ppm(pyramidpoolingmodule，金字塔池模块)结构由4层改进为3层，减少了模型的参数量，同时减少了模型运行时的计算量，加速模型的运行速度；3)本发明提出的改进的diceloss函数，增加了自适应系数β，在模型训练的过程中，根据上一轮训练的loss值调整β的数值，更加有效地训练模型。本发明提出一种基于神经网络的烧伤创面区域自动分割方法和传统方法相比对烧伤创面分割更加精确，速度更加快速。同时采用数据增强的方法扩充烧伤图像数据集，适用于较小数据集的烧伤创面图像。

附图说明

图1为本发明的一种基于神经网络的烧伤创面区域自动分割方法流程示意图；

图2为本发明的烧伤图像预处理和数据增强流程示意图；

图3为本发明的神经网络模型训练流程示意图；

图4为本发明改进的ppm结构示意图；

图5为原始ppm结构示意图。

具体实施方式

本发明提出的一种基于神经网络的烧伤创面区域自动分割方法，是将烧伤图像经过图像预处理和数据增强操作之后，输入改进的resnet-101编码器模型中，经过编码器模型的特征提取，再将提取的特征图输入改进的upernet解码器模型，使用解码器模型融合特征图，最后得到烧伤创面分割预测图。通过可视化技术，将神经网络模型输出的烧伤创面区域预测图和原始图像叠加显示。

以下结合附图对本发明实例的具体实施方式进行详细说明。应当解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

如图1所示，本发明的基于神经网络的烧伤创面区域自动分割方法包括如下步骤：

s1：采集获取烧伤病人的烧伤图像；s2：对烧伤图像进行预处理和数据增强操作；s3：将预处理和数据增强后的烧伤图像输入神经网络模型中进行模型的训练，进一步地，神经网络模型分为编码器模型和解码器模型；s4：使用训练后的模型烧伤图片进行烧伤创面区域预测，得到烧伤创面区域的分割结果图。

具体地，步骤s1具体包括：使用相机等设备采集烧伤患者的烧伤图像数据；步骤s2进一步包括：s21：对烧伤图像进行预处理操作；s22：对烧伤图像进行数据增强操作；步骤s3进一步包括：s31：将预处理和数据增强后的烧伤图像输入编码器模型，提取烧伤图像的特征图；s32：将编码器模型提取的特征图输入解码器模型，进行烧伤图像的特征融合，输出烧伤创面区域的分割预测图；s33：计算模型输出的loss值，通过rmsprop优化器训练模型；步骤s4具体包括：使用训练后的编码器和解码器模型对未进行标注的烧伤图片进行烧伤创面区域预测，得到烧伤创面区域的分割结果图。进一步地，通过可视化技术，将神经网络模型输出的烧伤创面区域预测图和原始图像叠加显示。

如图2所示，进一步地，步骤s2具体包括如下步骤：

s21：对烧伤图像进行预处理操作，预处理包括：1)对采集的烧伤图像进行筛选，选取清晰的烧伤图像；2)剪切去除烧伤图像中无效的背景区域和涉及到患者隐私的区域；3)标记图像中的烧伤创面区域，生成和原始烧伤图片具有相同尺寸的掩模图像作为模型训练时的标签；4)将烧伤图像的rgb三个通道数值归一化至区间[0,1]，得到标准化烧伤图像。

s22：对烧伤图像进行数据增强操作，具体包括：1)对烧伤图像和对应的掩模图像同时进行0度至360度之间的随机旋转，烧伤图像和掩模图像旋转的角度保持一致；2)对烧伤图像和对应的掩模图像同时进行随机翻转，翻转方式有水平翻转和镜像翻转，由伪随机数发生器随机选择一种方式对烧伤图像和掩模图像进行翻转；3)对烧伤图像和对应的掩模图像同时进行随机平移，平移方式有水平平移和垂直平移，平移范围在0％至10％的图像宽度和图像高度之间，由伪随机数发生器随机对烧伤图像和掩模图像进行平移；4)对烧伤图像和对应的掩模图像同时进行随机缩放，缩放方式为从图像中心放大图像或缩小图像，缩放范围在0％至10％之间，由伪随机数发生器随机对烧伤图像和掩模图像进行缩放操作。

如图3所示，进一步地，步骤s3具体包括如下步骤：

s31：将步骤s2处理后的烧伤图像输入编码器模型，提取烧伤图像的特征图。编码器模型为改进的resnet-101模型，与原始resnet-101模型相比，改进的resnet-101模型中删除了原始resnet-101模型最后一层全连接层的输出，并且将原始resnet-101模型中的普通卷积层(convolutionlayers)替换为空洞卷积层(dilatedconvolutionlayers)。

s32：将编码器模型提取的特征图输入解码器模型，解码器模型为改进的upernet模型。与原始的upernet模型相比，改进的upernet模型将原始结构中的ppm(pyramidpoolingmodule，金字塔池模块)由4层改进为3层，减少了模型的参数量，同时减少了模型运行时的计算量，加速模型的运行速度。之后融合ppm各层输出的特征图，最后输出和原始烧伤图像尺寸相同的烧伤区域预测图。解码器模型的输出激活函数为sigmoid。sigmoid函数的表达式为：

其中s为单个像素的预测输出值，范围在[0,1]区间。当s的值小于0.5时，该像素点判定为非烧伤创面区域，当s的值大于等于0.5时，该像素点判定为烧伤创面区域。

s33：计算解码器模型的输出预测图和标记的掩模图之间的loss值，loss的计算使用改进的diceloss计算方法。之后使用rmspro优化器进行反向传播更新模型的参数，训练模型。

其中dice系数的表达式为：

其中|a∩b|表示集合a和集合b之间的共同元素，|a|表示集合a中的元素个数，|b|表示集合b中的元素个数。

本发明提出的改进的diceloss计算方法，表达式为：

其中，β为改进的自适应系数，m为烧伤图像宽度像素点的个数，n为烧伤图像高度像素点的个数，yij表示单个像素点的预测值，表示单个像素点的标注值。

rmspro优化器的表达式为：

其中，wt表示t时刻迭代模型的参数，gt表示t次迭代loss函数关于w的梯度大小，e[g²]t表示前t次的梯度平方的均值。α表示动量，且设置为0.9，η0表示全局初始学习率，∈是一个取值很小的数，一般取1e-8，为了避免分母为0。

图4为本发明改进的ppm结构示意图，图5为原始ppm结构示意图。参看图4，改进的ppm结构具体如下：

图4中左边三层为ppm结构下采样部分，由下至上总共三层下采样结构，对应的输出特征图为原始图像尺寸的1/4，1/8和1/16的大小。和原始的ppm的下采样结构相比，改进的ppm下采样结构删除了1/32的特征图的输出，减少了下采样的运算量，加速模型运行速度。

图4中右边三层为ppm结构上采样部分，由上至下总共三层上采样结构，对应的输出特征图为原始图像尺寸的1/16，1/8和1/4的大小。和原始的ppm的上采样结构相比，改进的ppm下采样结构删除了1/32的特征图的输入，减少了上采样的运算量，加速模型运行速度。

图4最右边为特征融合模块，将上采样得到的3个特征图进行特征融合。

本发明提出一种基于神经网络的烧伤创面区域自动分割方法，和传统的神经网络模型相比，本发明提出的方法有以下的不同：1)本发明提出的改进的resnet-101编码器模型，和经典的resnet-101相比，将经典resnet-101模型中的普通卷积层替换为空洞卷积层，并且删除了原始resnet-101模型最后一层全连接层的输出，改进的resnet-101编码器模型的最后一层输出为模型从烧伤图像中提取的特征图；2)本发明提出的改进的解码器upernet模型，将原始upernet模型中的ppm(pyramidpoolingmodule，金字塔池模块)结构由4层改进为3层，减少了模型的参数量，同时减少了模型运行时的计算量，加速模型的运行速度；3)本发明提出的改进的diceloss函数，增加了自适应系数β，在模型训练的过程中，根据上一轮训练的loss值调整β的数值，更加有效地训练模型。本发明提出一种基于神经网络的烧伤创面区域自动分割方法和传统方法相比对烧伤创面区域分割更加精确，速度更加快速。同时采用数据增强的方法扩充烧伤图像数据集，适用于较小数据集的烧伤创面图像。

上面结合附图对本发明提出的一种基于神经网络的烧伤创面区域自动分割方法，实施方式作了详细说明。但是本发明提出的方法并不仅限于上述的实施方式。即使对本发明做出各种变化，假若这些变化属于本发明权利要求及其等同技术的范围之内，则仍然在本发明的保护范围之中。