一种基于深度边缘检测的层次场景语义分割模型的制作方法

本发明涉及一种基于深度边缘检测的层次场景语义分割模型，属于场景分割技术领域。

背景技术：

随着计算机视觉的迅猛发展，各种基于计算机视觉的算法被不断地再创新、改进，而场景分割算法也是其中一个不可或缺用途广泛的部分。场景分割算法往往被应用于各种需要模拟当前所处环境的地方，例如无人车技术，场景分割技术往往在其中提供着眼睛的作用，负责将车辆所处的当前环境尽可能的模拟出来，以供车辆之后的决策判断。在未来随着场景分割精度的不断提高，必将在更多领域有着更为重要的作用。

在现有技术中，对于语义分割的经典做法是以某个像素点为中心取一个图像块,然后取图像块的特征作为样本去训练分类器。在测试阶段,同样的在测试图片上以每个像素点为中心采一个图像块进行分类,分类结果作为该像素点的预测值，最后实现像素的分类从而达到场景分割的目的。但这样对场景分割会出现较多噪声，且对于边缘部分的检测容易出现较多的失误。

技术实现要素：

本发明的目的在于提供一种基于深度边缘检测的层次场景语义分割模型，通过针对边缘部分的滤波处理，实现对于边缘部分更高精度的检测，进一步提升场景语义分割结构的准确度。

为实现上述发明目的，本发明的技术方案是这样实现的：一种基于深度边缘检测的层次场景语义分割模型，其特征在于，包括以下步骤：

(1)、采用pspnet进行语义特征的提取，采用adam算法对pspnet网络的参数进行设定。

(2)、用pspnet网络得到的语义特征作为输入，训练整个网络，在域转换模型的基础上，通过控制loss的大小，不断调整网络参数，使得域转换模型中域变换密度，也就是边缘网络中对于边缘度的大小检测达到一定的精确度；整个网络采用sgd算法对整个网络参数进行调整设置。从而对于远离边缘处的部位进行滤波处理。

其中，为了提升语义边缘的检测效果，本文在边缘网络里额外添加了一个卷积层，并设该层的输出通道数为10。将边缘网络里的所有卷积核大小设为1，卷积尺寸大小为1的卷积核对特征图中每一个像素进行卷积处理，其作用相当于全连接层，其可以在一定程度上获取全局信息，完成编码的作用，而且和全连接层相比，该卷积层的参数量非常少，从而简化了网络模型的复杂度，可以有效的抑制过拟合问题。所以和全连接层相比，卷积尺寸为1卷积层更适合完成特征融合操作。

(3)采用fully-crf算法对于靠近边缘处的部分进行滤波处理

fully-crf结合了最大熵模型和隐马尔可夫模型，是一种无向图模型，并以图片像素为节点构建其能量函数。fully-crf的连接是全局的，其二元势函数描述的是每一个像素和其他所有像素之间的关系。

本发明的积极效果是实现对于边缘部分更高精度的检测，进一步提升场景语义分割结构的准确度。

附图说明

图1(a)为本发明基于深度边缘检测的层次场景语义分割模型的整体流程图。

图1(b)为本发明基于深度边缘检测的层次场景语义分割模型的整体流程图。

图2为本发明中pspnet算法的网络流程图。

图3为本发明中域转换操作示意图。

图4(a)为本发明中域转换的一种传播方式。

图4(b)为本发明中域转换的另一种传播方式。

图5为本发明中fully-crf算法起到的滤波作用示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1(a)(b)是本发明基于深度边缘检测的层次场景语义分割模型的整体流程图。

在本实施例中，如图1(a)(b)所示，本发明一种深度边缘检测的层次场景语义分割模型，包括以下步骤：

s1、采用pspnet进行语义特征的提取，采用adam算法对pspnet网络的参数进行设定。

如图2所示，pspnet在最后的decoder中将encoder的语义特征下采样到不同尺度下，然后将这些语义特征上采样到与输入图片相同的尺寸，最后进行特征融合。所以pspnet的最大优势在于对语义特征进行局部和整体性的提取和融合

s2、用pspnet网络得到的语义特征作为输入，训练整个网络，在域转换模型的基础上，通过控制loss的大小，不断调整网络参数，使得域转换模型中域变换密度，也就是边缘网络中对于边缘度的大小检测达到一定的精确度；整个网络采用sgd算法对整个网络参数进行调整设置。从而对于远离边缘处的部位进行滤波处理。

如图4(a)所示，具体滤波过程如下，假设一维输入信号x的长度为n{x1,x2,x3...xn}，设输出y的y1＝x1，则对下标为i＝2,...n的处理如下：

yi＝(1-wi)xi+wiyi-1(1.1)

其中权重wi由域变换密度di求得:

但公式(1.1)所进行的滤波过程是不对称的，因为当前位置处的输出仅依赖上一位置处的输出结果，这样的不对称处理会使滤波朝某一方向偏移，会导致较坏的分割结果被传递下去。为了解决此问题，域变换分别依次使用了四个方向的滤波操作，分别是：从左到右、从右到左、从上到下、从下到上。如图3所示，域转换对2d信号的处理是在一个分离方式下进行，即对空间域的每一维分别进行单独的一维信号滤波：先进行水平方向的滤波(从左到右和从右到左)，在进行垂直方向上的滤波(从上到下和从下到上)。域转换在每次迭代的时候减小滤波核的标准偏差，并要求总的方差和等于期望方差即：

在第k次迭代处使用σk代替σs，来计算权重wi。域变换密度di被定义为：

其中变量gi＞0是边缘网络的输出结果，σr表示过滤核在边缘检测特征图上的标准差。需要注意的是gi的值越大越表明i位置处属于边缘的概率越大。所以当gi比较大的时候，域转换的输出比较依赖于原始的输入信号xi(语义特征)，当gi比较小的时候，域转换的输出比较依赖于上一结果yi-1，从而在远离边缘的地方实现对语义特征的滤波。

如图4(b)所示，假设节点yi不仅影响下一节点yi+1，而且还充当着一个后续层，因此在卷积网络的反向传播过程中从当前层获取梯度值。这时候梯度传播公式如下：

其中和被初始化设为0，的初始化是由后续层所传递来的值所设定的。权重wi在所有的滤波阶段(水平方向滤波和垂直方向滤波)和迭代次数中是共享的。

利用这些偏导数，可以产生相对于边缘信号gi的导数。将公式(1.4)代入到公式(1.2)，可以得到：

然后根据偏导求取法则，将公式(1.8)代入到(1.6)，可得边缘信号的求导为：

至此在loss层所计算得到的损失值可以分别传递到边缘网络和语义特征提取网络。

其中，为了提升语义边缘的检测效果，本文在边缘网络里额外添加了一个卷积层，并设该层的输出通道数为10。将边缘网络里的所有卷积核大小设为1，卷积尺寸大小为1的卷积核对特征图中每一个像素进行卷积处理，其作用相当于全连接层，其可以在一定程度上获取全局信息，完成编码的作用，而且和全连接层相比，该卷积层的参数量非常少，从而简化了网络模型的复杂度，可以有效的抑制过拟合问题。所以和全连接层相比，卷积尺寸为1卷积层更适合完成特征融合操作。

s3、采用fully-crf算法对于靠近边缘处的部分进行滤波处理

如图5所示，fully-crf所构建的能量函数如公式(1.10)所示。

其中x是对像素的类别预测。θi(xi)＝-logp(xi)，而p(xi)是卷积网络在i位置处所计算的类别归属概率。势函数为：

其中当xi≠xj时，μ(xi,xj)＝1，除此之外μ(xi,xj)＝0。如图5所示，在图片里无论像素i和像素j之间的距离有多远，俩像素之间都有一个连接，所以该图模型是全连接的。每一个k^m和像素i、j之间的特征提取相对应，其权重为wm，并考虑了像素间的位置和颜色信息，其表达为：

其中变量p和i分别表示像素的位置和rgb值。第一个高斯核依赖于像素的位置和颜色，而第二个高斯核依赖于像素的位置。参数σα、σβ、σγ是相应高斯核的参数。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。