一种神经网络结合边缘检测的人体前景分割算法的制作方法

本发明涉及人体前景分割算法领域，具体为一种神经网络结合边缘检测的人体前景分割算法。
背景技术：
：人体前景分割算法是指从包含人体的图像中有效分割人物这一前景目标，是图像语义分割的重要分支，在计算机视觉和模式识别中起着基本预处理的作用，是行人认证和行为分析不可或缺的组成部分。随着深度学习在模式识别的深入研究，人体前景分割目前已经取得突破性进展，但是由于复杂的背景干扰，语义分割的边缘混淆问题依然存在巨大的挑战。现有的人体前景分割算法存在过高的假阳性率问题。同时，单纯的使用某一种前景分割算法处理复杂的背景下的人体图象时，边缘像素难以判别，像素点难以连接，人体前景分割准确率大大降低。在遇到不同区域边界特别是前景人物与背景交接时，往往存在过高的假阳性率问题。技术实现要素：本发明的目的是针对现有技术的缺陷，提供一种神经网络结合边缘检测的人体前景分割算法，以解决上述
背景技术：
提出的问题。为实现上述目的，本发明提供如下技术方案：一种神经网络结合边缘检测的人体前景分割算法，使用deeplabv3+算法对人体图像进行预分割，利用多方向检测算子改进canny边缘检测算法，提出一种边缘校正通道融合deeplabv3+分割和canny边缘检测，具体步骤为：s1：由编码器与解码器并联，通过将deeplabv3作为编码器，由dcnn生成多维度特征，遵从aspp规则从而增加感受视野，并通过对输出特征反卷积操作，然后解码器与canny边缘检测串联，转到s2；s2：引入斜角梯度与水平垂直方向梯度均值计算，引入非极大抑制像素点检测和上下阈值抑制处理，利用梯度计算图像边缘，获取边缘后与二值图取并集得到边缘图，转到s3；s3：提出沿边缘线采用边缘矫正通道处理的方法，有效的去除错误前景区域，最终生成前景分割二值图。作为本发明的一种优选技术方案，所述s1中的deeplabv3+算法对人体图像进行预分割具体包括以下步骤：s101：编码层前端采用空洞卷积获取浅层低级特征，传输到解码器前端；s102：编码层后端采用vgg-16获取深层高级特征信息，并且将output_stride为16的特征矩阵传输到编码器；s103：解码器接收到高级特征信息，经过双线性上采样得到output_stride为4的256通道特征，同时采用1x1卷积降通道，将浅层分辨率特征通道降低到256；s104：解码器接收到高级特征信息，经过双线性上采样得到output_stride为4的256通道特征，同时采用1x1卷积降通道，将浅层分辨率特征通道降低到256；s105：解码器将特征进行网络层连接，再经过一个3x3的特征卷积细化，在解码器后端经过再双线性4倍采样得到深度学习分割预测结果。作为本发明的一种优选技术方案，所述s105中的深度学习分割预测结果计算方法是，所述、、分别表示背景值设为“0”的前景图、背景值设为“0”并且前景值设为“1”的二值分割图、三通道彩色原图。作为本发明的一种优选技术方案，所述canny算法具体包括以下步骤，s201：对前景图使用3x3卷积对前景图平滑处理，减少明显的噪声点干扰；s202：引入斜角梯度与水平垂直方向梯度均值计算，从而增加了梯度计算的准确度；s203：非极大值抑制与上下阈值筛选出局部最大值作为梯度图像的边缘像素点；s204：canny边缘检测算法获取边缘图后与二值图取并集得到边缘图。作为本发明的一种优选技术方案，所述s202中的梯度均值具体包括，水平与垂直的梯度和结合和计算，再通过正切函数关系获得非正交方向梯度，所述与表示示像素点在水平垂直方向的梯度和斜角方向的梯度；和表示像素点通过不同梯度计算得到的梯度方向；、、、分别表示像素点在水平方向、垂直方向、左上角、右下角的梯度。作为本发明的一种优选技术方案，所述s203中的非极大值抑制具体包括，表示在方向内的某个倾角，与分别表示与像素点在方向欧式距离最近俩点与的梯度线性插值。作为本发明的一种优选技术方案，所述s203中的上下阈值具体包括，与分别表示梯度线性插值的上下阈值，若值为“真”则趋向判定为边缘像素点，反之则抑制。作为本发明的一种优选技术方案，所述s2中的canny边缘检测算法获取边缘图具体包括，所述表示融合了二值图边缘与前景图边缘的最终边缘图。作为本发明的一种优选技术方案，所述s3中的边缘校正通道包括，以做7x7卷积相乘，则边缘图中以为中心的7x7像素点分布，计算图中人物分割边缘线与前景分割边缘线所围成的错误背景区域；错误背景区域内边缘矫正通道的数值将被置零。作为本发明的一种优选技术方案，所述s3中的边缘校正通道计算包括，通道与前景图像素点做一般乘积运算，以3x3通道为例；为了防止矫正超过临界点，最大校正通道尺寸阈值，为分割区域，背景区域。本发明的有益效果是：1：解决了原来的canny算法只能通过水平垂直方向计算梯度，而且只计算了一次并不精准的问题，使用左上右下方向结合水平垂直方向计算，提高梯度计算精度；2.本算法采用神经网络deeplabv3+和传统算法canny边缘检测相结合分割图片前景；可以有效检测出可以是错误分割的部分；3.本算法采用一种边缘矫正通道，精准将错误分割部分删除，提高算法的准确性。附图说明图1是本发明所提供的神经网络结合边缘检测的人体前景分割算法流程图；图2是本发明提出的边缘校正通道结构图。图3是本发明中边缘检测通道与原模型分割效果。图4是本发明实际案例中的最终分割效果。具体实施方式下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。本发明提供一种技术方案：一种神经网络结合边缘检测的人体前景分割算法，使用deeplabv3+算法对人体图像进行预分割，利用多方向检测算子改进canny边缘检测算法，提出一种边缘校正通道融合deeplabv3+分割和canny边缘检测，具体步骤为：s1：由编码器与解码器并联，通过将deeplabv3作为编码器，由dcnn生成多维度特征，遵从aspp规则从而增加感受视野，并通过对输出特征反卷积操作，然后解码器与canny边缘检测串联，转到s2；s2：引入斜角梯度与水平垂直方向梯度均值计算，引入非极大抑制像素点检测和上下阈值抑制处理，利用梯度计算图像边缘，获取边缘后与二值图取并集得到边缘图，转到s3；s3：提出沿边缘线采用边缘矫正通道处理的方法，有效的去除错误前景区域，最终生成前景分割二值图。s1中的deeplabv3+算法对人体图像进行预分割具体包括以下步骤：s101：编码层前端采用空洞卷积获取浅层低级特征，传输到解码器前端；s102：编码层后端采用vgg-16获取深层高级特征信息，并且将output_stride为16的特征矩阵传输到编码器；s103：解码器接收到高级特征信息，经过双线性上采样得到output_stride为4的256通道特征，同时采用1x1卷积降通道，将浅层分辨率特征通道降低到256；s104：解码器接收到高级特征信息，经过双线性上采样得到output_stride为4的256通道特征，同时采用1x1卷积降通道，将浅层分辨率特征通道降低到256；s105：解码器将特征进行网络层连接，再经过一个3x3的特征卷积细化，在解码器后端经过再双线性4倍采样得到深度学习分割预测结果。s105中的深度学习分割预测结果计算方法是，、、分别表示背景值设为“0”的前景图、背景值设为“0”并且前景值设为“1”的二值分割图、三通道彩色原图。s1中的canny算法具体包括以下步骤，s201：对前景图使用3x3卷积对前景图平滑处理，减少明显的噪声点干扰；s202：引入斜角梯度与水平垂直方向梯度均值计算，从而增加了梯度计算的准确度；s203：非极大值抑制与上下阈值筛选出局部最大值作为梯度图像的边缘像素点；s204：canny边缘检测算法获取边缘图后与二值图取并集得到边缘图。s202中的梯度均值具体包括，水平与垂直的梯度和结合和计算，再通过正切函数关系获得非正交方向梯度，与表示示像素点在水平垂直方向的梯度和斜角方向的梯度；和表示像素点通过不同梯度计算得到的梯度方向；、、、分别表示像素点在水平方向、垂直方向、左上角、右下角的梯度。s203中的非极大值抑制具体包括，表示在方向内的某个倾角，与分别表示与像素点在方向欧式距离最近俩点与的梯度线性插值。s203中的上下阈值具体包括，与分别表示梯度线性插值的上下阈值，若值为“真”，即为“1”，则趋向判定为边缘像素点，反之则抑制。s204中的canny边缘检测算法获取边缘图具体包括，表示融合了二值图边缘与前景图边缘的最终边缘图。s3中的边缘校正通道包括，以做7x7卷积相乘，则边缘图中以为中心的7x7像素点分布，计算图中人物分割边缘线与前景分割边缘线所围成的错误背景区域；错误背景区域内边缘矫正通道的数值将被置零。s3中的边缘校正通道计算包括，通道与前景图像素点做一般乘积运算，以3x3通道为例；为了防止矫正超过临界点，最大校正通道尺寸阈值，为分割区域，背景区域。仿真实验硬件环境为ubuntu16.04，64位操作系统，训练平台是谷歌基于distbelief进行研发的第二代人工智能学习系统tensorflow，硬件环境为nvidiagtx1070。数据库data1来源为智慧机器学习平台supervise.ly免费开源人体分割数据库；数据库data2来源为百度人体图像分割数据库（http://www.cbsr.ia.ac.cn/users/ynyu/dataset/)。为了客观评价分类器训练模型精度，本发明采用重叠率和假阳性率衡量图像人体前景分割模型的性能，其计算公式如下：式中，表示分割区域与标签值重叠区域，表示错误分割背景区域，表示未分割前景区域。本发明将在多个数据库分别进行仿真实验。采用边缘检测通道在深度学习网络进行后处理，并将模型在数据集data1上进行仿真，表一为不同模型data1测试比较，仿真结果如表1。表中deeplab-mobilenet-brink是基于mobile-net网络实现的deeplabv3+在引入边缘矫正通道后构建的模型，deeplab-xception是基于xception网络实现的deeplabv3+在引入边缘矫正通道后构建的模型。表1方法图像尺寸重叠率假阳性率deeplab-mobilenet51388.05%8.29%deeplab-mobilenet-brink51389.38%6.76%deeplab-xception51390.50%6.78%deeplab-xception-brink51391.98%4.88%由表1可以看出，本发明提出的算法在假阳性率上相较于deeplab-mobilenet与deeplab-xception网络分别降低了18.46%和28.03%，最终假阳性率仅有4.88%，deeplab-xception-brink模型有效的去除了包含背景的错误分割前景，使得分割边缘更加准确；在重叠率上相较于deeplab-mobilenet网络提高了1.33个百分点，相较于deeplab-xception网络提高了1.48个百分点，达到了91.98%。为了展示边缘校正通道在人体分割过程中的重要作用，本发明在测试集单个任务的分割结果中对重叠率进行统计，如图三所示，当模型分割效果较差时，边缘校正通道可以显著的提高重叠率，其中对于mobilenet和xception模型，边缘校正通道在重叠率上分别增强了9.67百分点和7.30百分点；当模型分割效果达到临界值时，边缘校正通道与原模型分割重叠率区域持平。由此可见，在各测试样本下边缘校正通道对于神经网络模型分割任务始终具备良性提高作用，分割算法具有较强的鲁棒性。为了展示本发明训练模型在其他数据集上的效果，首先将训练模型在data2数据集进行仿真实验，表2为不同模型data2测试比较，仿真结果如表2所示，在验证测试集data2下，整体模型分割仿真重叠率相较于data1虽有所下降，但是边缘校正通道具有了更高的增强分割效果的能力。在重叠率指标下对于mobilenet模型，边缘校正通道增强了2.36个百分点，对于xception，边缘校正通道增强了2.34个百分点。在假阳性率指标下，边缘校正通道在mobilenet和xception网络下分别有效降低了23.74%和24.22%，其中deeplab-xception-brink在数据集仿真假阳性率仅有0.97%，分割算法校准度极佳。表2方法图像尺寸重叠率假阳性率deeplab-mobilenet51383.92%1.39%deeplab-mobilenet-brink51386.28%1.06%deeplab-xception51384.68%1.28%deeplab-xception-brink51387.02%0.97%本发明所述模型最终测试结果如图四所示，对于复杂背景和多种姿态等不同环境下，本发明模型都可以精确的分割前景并且检测结果与标签值十分接近，分割算法具有较高的准确性和鲁棒性。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。当前第1页12