基于贝叶斯框架边缘先验的多层分割网络的图像分割方法与流程

本发明属于遥感图像处理技术领域，特别涉及一种基于贝叶斯框架边缘先验的多层分割网络的图像分割方法。

背景技术：

sar图像分割是将拥有相近属性的相连区域融合成一块，以在图像上形成多个区块，通过不同颜色标记，得到区域的分割图，如划分成田地，水域，建筑区，道路等，可广泛用于军事或民用的信息利用。

sar图像特殊的成像机理使得光学图像分割方法的简单引入具有一定困难。如极化特性的表达，相干斑现象的抑制，乘性非高斯噪声的建模等。人们对于sar图像提出了各种统计特性对同一类别的图像建模。针对极化图像基于极化分解对同一类别图像建模。通过进行pauli等分解获得极化信息，在一定程度上提取sar信息，屏蔽sar特殊的成像机理，从而可以利用光学图像分割的策略和成果。

传统分割方法分三个步骤：超像素块的分割，块特征的提取，以及特征分类器。meanshift或分水岭方法常用于超像素块的提取，分类器多采用svm或bp等，之后也引入了mrf(markovrandomfield,马尔可夫随机场)和crf(conditionalrandomfield，条件随机场)进一步考虑周围超像素块的分类类别，从而进一步提高了正确率。鉴于卷积神经网络在图像分类上取得了令人瞩目的效果，fcn(全卷积网络)通过去掉cnn的全连接层，加上反卷积层，跳跃层来融合不同层次的预测结果成功的将卷积神经网络应用到了语义分割。为了解决fcn中模糊输出而产生分类误差的问题，一般上将crf作为后置的处理加在fcn的结果上来改善分割的结果，deeplab是此种方式的典范。

fcn分割结果中的边缘不规则，边缘附近区域的正确率较低。导致该问题的两个可能原因是：第一，fcn中的层次化计算使得底层的像素点类别与其周围的像素点值相关，边缘临近点类别变化差异大，使得边缘受其周围点的类别影响，产生较大偏差。第二，反卷积层相当于一个基于高斯滤波的8倍超分辨率重建，会严重影响边缘区域的类别分布。

dt(domaintransform，域转换)算法在处理单图较少类别或是边缘简单的图像时有一定效果，但是对于复杂边缘多类别的图像处理能力有限。主要原因是：仅考虑了边缘强度作为扩散依据，缺乏其他扩散依据。同时四方向扩散中存在着不合适的扩散方向，会使误差扩散，以及隐式得到的边缘不够准确。

因此，有必要探索能够得到较高边缘准确率的分割新框架和新方法。

技术实现要素：

本发明的目的在于针对基于神经网络的模型处理复杂图像时仍存在边缘区域分割误差大的问题，提出了一种基于贝叶斯框架的多层并行的网络架构，以及提出了限定型域转换(directeddomaintransform,ddt)。该框架引入了边缘先验信息，通过利用边缘信息对粗分割结果进行约束能够很好改善边缘区域的分割效果。

本发明的技术方案为一种基于贝叶斯框架边缘先验的多层分割网络的图像分割方法，包括以下步骤：

步骤1，采用全卷积网络对输入数据进行粗分类，输出为与输入大小相等的各类别得分图，同时从全卷积神经网络的内部特征层中提取出隐式边缘图；

步骤2，采用边缘检测网络对输入数据提取出显示边缘图；

步骤3，利用域转换和条件随机场对步骤2得到的类别得分图作第一次约束，得到初步的分割图，包括以下子步骤，

步骤3.1，融合隐式边缘图和显示边缘图作为边缘强度输入到域转换中；

步骤3.2，对域转换的结果后接一个全连接条件随机场，根据类别得分图中周围像素点类别情况对中间像素点的分类作第一次约束，得到初步的分割图；

步骤4，将步骤2中得到的显示边缘图转换为边缘距离图；

步骤5，将边缘距离图输入到限定型域转换，对步骤3得到的初步的分割图进行第二次边缘约束，得到最终的分割结果，所述限定型域转换在传统域转换的基础上优化获得，包括以下子步骤，

步骤5.1，在传统域转换的基础上，通过边缘距离图中的扩散势得到扩散方向，并对扩散的条件进行限定；

步骤5.2，反向传播误差，采用梯度下降法计算得到限定型域转换的扩散系数，并对初步的分割图的第二次边缘约束，得到最终的分割结果。

进一步的，步骤3.1中融合隐式边缘图和显示边缘图得到边缘强度的实现方式如下，

设隐式边缘图为显示边缘图为gi，则融合后的边缘强度gi'为，

其中，下标i表示图像一维例中像素点坐标，α为分配权重，取值的范围从0到1。

进一步的，步骤4中将步骤2中得到的显示边缘图转换为边缘距离图的实现方式如下，

对步骤2中得到的显示边缘图，选择合适的边缘细化次数和阈值二值化，得到新的边缘分布图，采用式(5)计算每个像素点与其最近的边缘的距离，从而得到边缘距离图，

d(i,j)＝min(dist((i,j),(m,n))),forally(m,n)∈y+(2)

其中，dist表示距离，i,j和m,n分别表示的像素点坐标，min表示取极小，y(m,n)表示边缘点，d(i,j)表示最小边缘距离，y+表示所有边缘点组成的集合，边缘点从新的边缘分布图中得到。

进一步的，步骤5.1中在传统域转换的基础上，通过边缘距离图中的扩散势得到扩散方向，并对扩散的条件进行限定的实现方式如下，

(a)选定某一扩散方向，判断每一个像素点(i，j)是否满足以下的扩散条件，若满足则对该点进行扩散操作(b)，不满足则该点在该方向上的扩散被禁止，跳过该点对下一个像素点进行扩散条件1)-5)判断，

1)限定扩散点必须是边缘附近点但不能是边缘点，满足0<d(i,j)<a；

2)统计到该点之前与该点类别相同的点的数目，当数目超过一定数量时，判定该点属于允许扩散的点；

3)比较d(i,j-1)和d(i,j+1)的大小，如果d(i,j-1)-d(i,j+1)＞0，即扩散势大于0，而且y(i,j)和y(i,j+1)的类别不同，则表明扩散是向着边缘的满足扩散方向条件；

4)当满足3)的条件后记录y(i,j+1)的类别，继续延长j的大小直到遇到第一个边缘点，然后继续延长直到脱离边缘区域后遇到的第一个点设为y(i,jj)，如果y(i,j+1)和y(i,jj)的类别相同，则通过步骤(b)的扩散操作来修正点y(i,j)；

5)如果4)的条件不满足，设定y(i,j+1)的类别为y(i,j)的类别后，继续寻找需要扩散的点；

(b)确定迭代次数t，每次迭代时对需要扩散的点进行如下扩散操作，如式(4)和(5)，

其中，i表示像素点的rgb颜色向量，p表示像素点类别概率分布向量，wi由颜色向量差i(i,j+1)-i(i,j-1)和类别概率向量差p(i,j+1)-p(i,j-1)，及其分别对应的扩散系数θ1,θ2控制，表示上一时间即更新之前像素点i的类别，表示当前即更新之后像素点i的类别，表示的是像素点i-1的类别；

(c)该扩散方向上所有点均经过扩散条件判定以后得到第1次迭代后的结果，将当前结果重复步骤(a)(b)之后的操作直到到达t次迭代之后停止；

(d)改变扩散方向，重复(a)(b)(c)，直到四个方向均被选择过。

进一步的，步骤5.2中反向传播误差，采用梯度下降法计算得到限定型域转换中的扩散系数的实现方式如下，

扩散参数θ1和θ2的训练采用梯度下降法，梯度公式如(6)-(9)；首先根据式(6)由n到1进行反向传播计算，对所有的的梯度进行更新，

其中，g(i)代表i点是否扩散过，1代表扩散过，0则相反；wi+1为点i+1的扩散度，代表更新之前的梯度，表示实际梯度计算时更新的的梯度，表示实际梯度计算时更新的的梯度，l表示目标误差函数，其中m为输入数据的个数，yⁱ为第i个输入数据的真实分割结果，xⁱ为第i个待分割的输入数据，sa(xⁱ)表示输入数据后预测得到的分割结果；

然后根据梯度公式(7)反向传播计算，更新参数w的梯度

其中，代表更新之前的梯度，表示实际梯度计算时更新的的梯度；

最后根据更新扩散参数θ1和θ2，如式(8)和式(9)，

其中，i表示颜色向量，p表示类别概率向量，i和j代表位置。

进一步的，步骤2中隐式边缘图的实现方式为，从全卷积网络不同的特征层中得到不同的特征图，将所有特征图线性插值到相同的大小，然后串联起来，得到隐式边缘图。

本发明的ddt通过边缘距离图对扩散方向进行了限定，避免了传统dt中逆向扩散使得错误类别标签传播的缺点。扩散系数θ1和θ2由颜色向量和类别向量共同决定，并且比例参数采用梯度下降法学习得到，使得ddt在面对复杂多类别的图像分割问题时有良好的表现。本发明提出的基于贝叶斯框架边缘先验的多层分割网络，通过外部边缘网络提取出了边缘信息，并通过各类约束方法如crf、dt、ddt，利用边缘信息对粗分割结果进行边缘区域的分割过滤，从而提高sar图像分割的准确率。

附图说明

图1本发明实施例的基于贝叶斯框架边缘先验的多层分割网络类架构说明图。

图2本发明实施例的流程图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

如图1，本发明实施例的基于贝叶斯框架的多层并行的网络架构构造了一个多层次的网络，大的网络架构是由三个子网络构成。前端有两个并行的网络结构，一个通过似然网络得到粗分割结果；一个是边缘先验信息提取网络，边缘先验网络提取出边缘并转化为边缘概率。后面构建了一个约束网络，通过引入边缘先验信息来约束粗分割的结果，获得进一步的结果。该实施例中网络有两层，每一层由三个子网络组成，前一层网络作为后一层网络的似然网络：

第一层：全卷积神经网络(fcn8)提取的隐式边缘图与边缘先验网络(hed)提取的显示边缘图结合得到边缘图像，指导dt对粗分割(fcn8)进行边缘调整。随后采用crf作为约束，通过考虑各个样本点之间的类别转移与约束关系进一步修正dt之后的分割结果。

图像分割中，边缘点由于位置的特殊性，其周围点通常属于不同的类别标签，使得边缘点的类别难以决断，边缘区域往往很难得到正确的分割结果。传统的fcn没有考虑边缘点的特殊性，将其与其它像素点同等对待，使得分割准确率因边缘区域的误差而下降。本发明首先用似然网络得到粗分割结果，在该网络中，边缘部分不作特殊处理。随后利用边缘先验网络获取边缘先验信息。最后在约束网络中利用得到的边缘先验信息对粗分割结果进行边缘上的约束修正。

后置全连接crf作为目前最佳的fcn改进方法效果明显，通过合并后置crf和内部隐式dt网络，共同对fcn进行改进。目前fcn的改进方法可分为两种：一种通过fcn加上后置crf引入周围类别先验信息来提高边缘区域的正确率，该方法改善效果明显。另一种引入隐式边缘约束。通过内部边缘网络得到隐式边缘，利用dt和隐式边缘调节边缘区域的分割结果。该方法速度快，但是仅适用于简单含有少量边缘分布的图像。为了有效改善fcn，对两种方法进行了合并，隐式边缘获取后通过dt初步改善少量边缘分布，随后接入后置crf进一步调节边缘区域的分割结果。

第二层：第一层的输出作为第二层的输入。fcn-hed得到的边缘图和以及转化的边缘距离图共同提供边缘先验信息，第二层中的约束网络用本发明提出的ddt实现，结合边缘距离图，弥补传统dt中存在的不适用于复杂多类别分割的缺陷，对第一层的输出结果进行边缘修正。

已知边缘分布图(在已有的显示边缘图，经过选边缘细化次数和阈值二值化获得)和分割结果，而隐式得到的边缘分布又不完全可信，以及部分边缘可能丢失，实际中的扩散方向有限定，传统的四方向扩散缺乏对扩散方向的筛选，逆向的扩散方向会使得错误的类别标号扩散出去，增加分割误差。边缘距离图的引入可以选择出合适的扩散方向，避免了逆向的扩散。借鉴dt中四方向扩散的思想，同时边缘距离图作为扩散参考，采取强约束条件和符合实际场景的判断方法，因此提出了ddt。ddt引入两个参数综合考虑颜色梯度和类别梯度来决定扩散度的大小，并采用梯度下降法学习这两个参数。

解决了单一的边缘强度所表示的扩散度不适用于一些特殊情况的问题。能够处理一些特殊情况，比如边缘强度大处像素点属于相同类别标签或是类别强度小的像素点分属不同类别标签。因此ddt针对传统dt存在的问题进行了改进，实现了复杂多类别图像中的边缘有效改善。

图2为本发明实施例的流程图，具体包括以下步骤：

步骤1，在似然网络中采用全卷积网络对输入数据进行粗分类，输出为与输入大小相等的各类别得分图，同时从全卷积神经网络的内部特征层中提取出隐式边缘图；

步骤2，在边缘先验网络中采用边缘检测网络(holistically-nestededgedetection，hed)对输入数据提取出显示边缘图。

步骤3，在约束网络中用条件随机场(conditionalrandomfield,crf)crf和域转换(domaintransform,dt)对步骤2得到的类别得分图进行第一次约束，包括以下子步骤，

步骤3.1，融合隐式边缘图和显示边缘图作为边缘强度输入到dt中，实现如下；

通过结合hed显示得到的边缘与内部边缘网络得到的边缘gi可以得到式(1)，下标i表示图像一维例中像素点坐标，α为分配权重，取值的范围从0到1，gi'是融合后的边缘，作为新的dt输入，代表着该点边缘强度的幅值大小。

步骤3.2，对dt的结果后接一个全连接crf，全连接crf由一元势函数和成对势函数组成，成对势函数反映了中间像素点的类别与其周围像素点类别的不同关系，通过crf可以根据周围像素点类别情况对中间像素点的分类进一步约束，得到初步的分割图；

步骤4，将步骤2中得到的显示边缘图转换为边缘距离图，实现如下；

对已有的显示边缘图，选择合适的边缘细化次数和阈值二值化，得到新的边缘分布图。采用式(5)计算每个像素点与其最近的边缘的距离从而得到边缘距离图，

d(i,j)＝min(dist((i,j),(m,n))),forally(m,n)∈y+(2)

其中，dist表示距离，i,j和m,n分别表示的像素点坐标，min表示取极小，y(m,n)表示边缘点，d(i,j)表示最小边缘距离，y+表示所有边缘点组成的集合，边缘点从新的边缘分布图中得到。

步骤5，将边缘距离图输入到限定型域转换，对步骤3得到的初步的分割图进行第二次边缘约束，得到最终的分割结果，所述限定型域转换在传统域转换的基础上优化获得，包括以下子步骤，

步骤5.1，传统dt的分割准确率还有待提升，主要原因是：1)扩散的方向没有进行限定，逆向的扩散会使错误类别扩散出去从而增加误差；2)可能存在具有相同类别的像素点之间颜色梯度差距大或是像素点分别属于不同类别但颜色梯度差距小的情况，这两种情况分别会导致假边缘和漏掉的边缘。假边缘会使得扩散的不彻底，漏掉的边缘会同一化本来就不同类别的区域产生较大误差。针对上述问题，本发明提出了ddt，主要的改进是：1)引入边缘距离图，并通过图中的扩散势得到扩散方向。2)对扩散的条件进行了限定，由于远离边缘的像素点的类别与颜色梯度的关系较弱，且扩散方向难以确定，因此限定扩散只在边缘附近操作。3)两邻接点间颜色向量差距和初始类别概率分布向量差距所带来的扩散系数的变化分别由两个参数调节，以适应颜色差距大而类别一样或者颜色差距小而类别不同的问题。在传统域转换的基础上，通过边缘距离图中的扩散势得到扩散方向，并对扩散的条件进行限定，得到限定型域转换，实现如下；

(a)选定某一扩散方向(从上到下，从左到右，从右到左，从下到上四个方向)，判断每一个像素点(i，j)是否满足以下的扩散条件，若满足则对该点进行扩散操作(b)，不满足则该点在该方向上的扩散被禁止，跳过该点对下一个像素点进行扩散条件1)-5)判断：

6)限定扩散点必须是边缘附近点但不能是边缘点，满足0<d(i,j)<a,一般取a为0.35；

7)统计到该点之前与该点类别相同的点的数目，当该数目超过一定数量时才判定该点属于允许扩散的点；

8)比较d(i,j-1)和d(i,j+1)的大小，如式(2)如果d(i,j-1)-d(i,j+1)＞0，即扩散势大于0，而且y(i,j)和y(i,j+1)的类别(类别从初步的分割图中确定)不同则表明扩散是向着边缘的满足扩散方向条件；

9)当满足3)之前的条件后记录y(i,j+1)的类别，继续延长j的大小直到遇到第一个边缘点，然后继续延长直到脱离边缘区域后遇到的第一个点设为y(i,jj)，如果y(i,j+1)和y(i,jj)的类别相同，才认为点y(i,j+1)所属区域是点y(i,jj)突破边界延展来的，原结果属于错误分割结果，可以通过扩散来修正点y(i,j)；

10)如果4)的条件不满足，说明点y(i,j)和点y(i,j+1)之间可能也存在边缘线，只是边缘分布图漏掉了这些边缘，由于实际可能之间有边缘存在，所以不能进行扩散操作，就设定y(i,j+1)的类别为y(i,j)的类别然后继续寻找扩散点；

(b)确定迭代次数t，每次迭代时对需要进行修正的点进行如下扩散操作，如式(4)和(5)。

其中，i表示像素点的rgb颜色向量，p表示像素点类别概率分布向量，此时wi由颜色向量差i(i,j+1)-i(i,j-1)和类别概率向量差p(i,j+1)-p(i,j-1)，及其分别对应的系数θ1,θ2控制，在具体实施中分别取1和1/200，表示上一时间即更新之前像素点i的类别，表示当前即更新之后像素点i的类别，表示的是像素点i-1的类别，公式(4)表示的是分割时，每个像素点的类别由其前一次迭代得到的类别和其前一个位置的像素点的类别来共同决定。

(c)该扩散方向上所有点均经过扩散条件判定以后得到第1次迭代后的结果，将当前结果重复步骤(a)(b)之后的操作直到到达t次迭代之后停止，一般取t＝5或10。

(d)改变扩散方向，重复(a)(b)(c)，直到四个方向均被选择过。

步骤5.2，反向传播误差，采用梯度下降法训练参数，并对初步的分割图的第二次边缘约束，得到最终的分割结果，实现如下：

扩散参数θ1和θ2的训练采用梯度下降法，梯度公式如(6)-(9)；

g(i)代表i点是否扩散过，1代表扩散过，0则相反，代表之前的梯度，表示实际梯度计算时更新的的梯度，

在式(9)中，g(i)代表i点是否扩散过，w为扩散度，old代表下层直接传来的误差，new代表更新后的误差，l表示目标误差函数，其中m为输入数据的个数，yⁱ为第i个输入数据的真实分割结果，xⁱ为第i个待分割的输入数据，sa(xⁱ)表示输入数据后预测得到的分割结果；在训练的时候，真实分割结果已知，测试的时候真实分割结果是未知的。

实际运算时需要反向运算，一般序号由n到1进行反向传播计算。将所有的的梯度更新完毕后，便可以求得参数w的梯度

根据w的梯度，可以进一步得到θ1和θ2的梯度。

如式(11)和式(12)，θ1和θ2是扩散参数，i表示颜色向量，p表示类别概率向量，i和j代表位置，参数更新公式如下。

本发明实施例中为了实现图像分割，分为训练和测试两个部分：

训练部分：首先训练fcn8网络得到初步的fcn8模型，然后在fcn8后加上后置全连接crf，载入刚才得到的fcn8模型，网格优化法得到crf部分的合适参数，这个参数将一直使用，随后将dt加在fcn8后，全连接crf部分在dt后，载入fcn8模型进行微调得到fcn8+dt+crf模型。接着用hed得到每个样本的边缘图及对应的边缘距离图，将样本显示边缘图与内部边缘网络中从cnn特征层得到的隐式边缘图加权相加并输入dt中，载入dt模型进行微调得到新的hed+fcn8+dt模型，利用上述模型后接后置全连接crf部分得到新的结果。将该结果以及边缘距离图共同输入ddt进行第二次边缘约束，采用反向传播和梯度下降训练得到ddt中的参数。

测试部分：原始图像经过fcn8计算后会生成与原始图像同尺寸的通道数为类别总数的概率分布图，每个像素点输出各个类别的归一化概率。同时还会利用fcn8的特征提取层接一个内部边缘网络生成隐式边缘强度图，并与-hed显式得到的边缘强度图融合，通过输入dt网络修整边缘处的类别概率分布。之后利用deeplab的crf部分考虑周围区域的先验信息来进一步优化各个像素点的类别概率输出，最后结合hed生成的边缘图和转化得到的边缘距离图，利用ddt对第一层的结果进行全局的边缘周围范围的联合优化，达到一个令人满意的效果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。