基于级联神经网络的边缘提取方法及系统与流程

本发明属于图像处理技术领域，具体涉及一种基于级联神经网络的图像边缘提取方法。

背景技术：

随着深度学习的发展和兴起，基于深度学习的图像检测技术也不断发展；显著性检测可分为自底向上的数据驱动模型和自顶向下的任务驱动模型两大类；自底向上的图像检测是指对于给定的任意一幅图像，找出图中引人注意的目标，该目标可为任何类型的对象；而自顶向下的图像检测方法通常从给定图片中找出给定类别的目标，并赋予不同的显著值。目前，对自底向上的图像检测方法的研究最多。

图像边缘提取算法的研究一直是图像处理技术中重要的研究对象，传统的边缘提取算子在复杂场景中的检测效果不佳，随着深度学习算法在图像处理领域的普遍应用，越来越多的改进的深度学习算法被应用到图像边缘提取中，深度学习算法能够有效的提取出图像的语义信息，对复杂场景的图像、模糊的背景的图像也能够进行准确的语义提取；但是目前大部分的基于深度学习的边缘提取方法容易在图像边缘区域混杂背景噪声，无法准确的提取复杂背景图像中边缘信息，从而导致图像边缘提取模糊。

技术实现要素：

本发明的目的是提供一种基于级联神经网络的边缘提取方法及系统。

为了解决上述技术问题，本发明提供了一种基于级联神经网络的边缘提取方法，包括如下步骤：

步骤s1，预处理待提取图像；

步骤s2，获取不同尺寸的待提取图像；

步骤s3，构建改进的fcn网络；

步骤s4，获得不同尺寸的待提取图像的边缘语义信息；以及

步骤s5，对复杂场景图像的边缘信息提取。

进一步，所述步骤s1中预处理待提取图像的方法包括：

对待提取边缘特征的图像进行如下公式(1)的均衡化处理，得到待提取图像a1；

其中，参数n表示待提取图像的像素总数，rk表示归一化后的第k个灰度级，nk表示灰度级为rk的像素个数，pk(rk)表示rk灰度级出现的概率，sk表示rk灰度级像素经过映射函数t(rk)均衡化后的像素值。

进一步，所述步骤s2中获取不同尺寸的待提取图像的方法包括：

对大小为n×n(n＝2^h)，h为正整数的待提取图像a1，在所述待提取图像a1的水平和垂直方向上每间隔一个像素点进行下采样，得到大小为(n/2)×(n/2)的待提取图像a2，对所述待提取图像a2进行同样处理，得到大小为(n/4)×(n/4)的待提取图像a3。

进一步，所述步骤3中构建改进的fcn网络的方法包括：

将经典的fcn神经网络中的全连接层移除，替换为单层的边缘感知层，并将五个卷积层后的池化层去除，仅仅在边缘感知层的最后连接一个池化层，从而获得一个由五个卷积层后依次连接边缘感知层和一个池化层的改进fcn网络。

进一步，所述步骤s4中获得不同尺寸的待提取图像的边缘语义信息的方法包括：

分别将待提取图像a1、a2、a3输入至3个改进的fcn网络进行训练学习，形成fcn1深度学习网络、fcn2深度学习网络以及fcn3深度学习网络，并获得不同尺寸的待提取图像的边缘语义信息；其中，

对于fcn1深度学习网络，其边缘感知层的输入为fcn1网络前五个卷积层的输出图像b11、b12、b13、b14、b15，以及对待提取图像a1进行边缘显著性处理后的图像c1；类似地，

对于fcn2深度学习网络，其边缘感知层的输入为fcn2网络前五个卷积层的输出图像b21、b22、b23、b24、b25，以及对待提取图像a2进行边缘显著性处理后的图像c2；

对于fcn3深度学习网络，其边缘感知层的输入为fcn3网络前五个卷积层的输出图像b31、b32、b33、b34、b35，以及对待提取图像a3进行边缘显著性处理后的图像c3。

进一步，所述步骤s5中对复杂场景图像的边缘信息提取的方法包括：

通过cnn网络对不同尺寸的待提取图像的边缘语义信息进行融合，以实现对复杂场景图像的边缘信息提取。

进一步，在所述步骤s4中分别通过如下公式对待提取图像a1、a2和a3进行边缘显著性处理，以分别获得图像c1、c2和c3：

d(i，j)＝8f((i，j)-3f(i+1，j)-3f(i-1，j)-f(i，j-1)-f(i，j+1)(3)

d(i，j)＝2f(i，j)-f(i，j+1)-f(i，j-1)(4)

其中，d(i,j)表示第(i,j)个像素点重新计算的像素值，f(i,j)表示第(i,j)个像素点的原像素值。

进一步，在所述步骤s4中，通过回归模型对每个fcn深度学习网络的卷积核偏置进行调整；在对网络进行训练时，采用多次训练的方式进行网络的训练，每一次训练记为d，采用如下公式5计算训练误差：

其中，参数m表示d的大小，ti表示第i个图像的参考信号，qi表示经fcn网络运算后输出的第i个图像的分类检测结果，pi表示第i个图像的偏执权重系统，使用回归算法对回归模型进行调优，并计算误差函数c对卷积核w及偏置b的偏导数，然后采用如下公式对卷积核和偏置进行调整：

其中，参数η1和η2表示回归模型的学习率，在每次训练完成后，求得验证集样本的误差，每个fcn网络迭代的中止条件为：当验证集样本的误差开始从由逐渐减小变成逐渐增大时，认为该fcn网络已经拟合完成，此时可以停止训练。

进一步，在所述步骤5中融合cnn网络通过如下方法构建：

该cnn网络的结构输入层、卷积层和调优层，输入层将原待提取图像与经过fcn1、fcn2和fcn3训练学习的三个不同尺寸的边缘语义图像进行拼接，以形成6通道输入图像，卷积层将6通道输入图像进行聚类处理，调优层采用反向传播网络，通过计算多层卷积层最后一层的卷积输出与真实边缘语义的误差，实现对网络的调优。

又一方面，本发明还提供了一种边缘提取系统，包括：

预处理模块，预处理待提取图像；

图像大小处理模块，获取不同尺寸的待提取图像；

fcn网络构建模块，构建改进的fcn网络；

边缘语义信息获得模块，获得不同尺寸的待提取图像的边缘语义信息；

边缘提取模块，对复杂场景图像的边缘信息提取。

本发明的有益效果是，本发明提出了一种基于级联神经网络的边缘提取方法，本方法包含三个阶段，分别为获取不同尺寸图像、构建不同尺寸的fcn边缘提取网络、基于融合cnn网络的边缘语义信息融合，本方法能够精确的对复杂场景的图像进行边缘的提取，进一步的提高复杂场景中边缘提取的准确性和有效性。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的边缘提取方法的流程示意图；

图2是本发明的改进fcn网络的结构示意图；

图3是本发明的边缘提取系统的原理框图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

参照附图1，本发明提供一种基于级联神经网络的边缘提取方法，其具体包括如下步骤：

步骤s1：预处理待提取图像：对待提取边缘特征的图像进行如下公式(1)的均衡化处理，得到待提取图像a1；

其中，参数n表示待提取图像的像素总数，rk表示归一化后的第k个灰度级，nk表示灰度级为rk的像素个数，pk(rk)表示rk灰度级出现的概率，sk表示rk灰度级像素经过映射函数t(rk)均衡化后的像素值。

步骤s2：获取不同尺寸的待提取图像：对大小为n×n(n＝2^h)，h为正整数的待提取图像a1，在所述待提取图像a1的水平和垂直方向上每间隔一个像素点进行下采样，得到大小为(n/2)×(n/2)的待提取图像a2，对所述待提取图像a2进行同样处理，得到大小为(n/4)×(n/4)的待提取图像a3。

需要指出的是，为了使得后期融合处理能够获得完整的边缘语义信息，最好将原待提取图像进行两次下采样，以获得3个不同尺寸下的待提取图像，这样的划分方式，配合后期的边缘显著性提取，即可以最高效的处理方式实现完整的边缘信息提取。

步骤s3：构建改进的fcn网络：参照附图2，将经典的fcn神经网络中的全连接层移除，替换为单层的边缘感知层，并将五个卷积层后的池化层去除，仅仅在边缘感知层的最后连接一个池化层，从而获得一个由五个卷积层后依次连接边缘感知层和一个池化层的改进fcn网络。

需要指出的是，传统的fcn网络由6个模块组成，前5个模块由卷积层和池化层组成，最后一个模块由一个池化层和两个全连接层组成；由于本发明的目的是提取复杂场景图像的边缘信息，需要进行像素级的分割，而传统的fcn网络全连接层参数量过大，非常不利于进行像素级的分割处理，且卷积层后的池化层会导致图像边缘的模糊，因此，本发明中将5个卷积层的池化层去除，仅仅在边缘感知层后连接池化层，将图像恢复原始大小；新增的边缘感知层，利用边缘特定区域内产生的像素值差分特性，能够有效的感知边缘信息，从而有助于改进的fcn网络准确地提取训练图像中的边缘语义信息。

步骤s4：进一步参照附图2，分别将待提取图像a1、a2、a3输入至3个改进的fcn网络进行训练学习，形成fcn1深度学习网络、fcn2深度学习网络以及fcn3深度学习网络，并获得不同尺寸的待提取图像的边缘语义信息；其中，

对于fcn1深度学习网络，其边缘感知层的输入为fcn1网络前五个卷积层的输出图像b11、b12、b13、b14、b15，以及对待提取图像a1进行边缘显著性处理后的图像c1；类似地，

对于fcn2深度学习网络，其边缘感知层的输入为fcn2网络前五个卷积层的输出图像b21、b22、b23、b24、b25，以及对待提取图像a2进行边缘显著性处理后的图像c2；

对于fcn3深度学习网络，其边缘感知层的输入为fcn3网络前五个卷积层的输出图像b31、b32、b33、b34、b35，以及对待提取图像a3进行边缘显著性处理后的图像c3；

在优选的实施例中，分别通过如下公式对待提取图像a1、a2和a3进行边缘显著性处理，以分别获得图像c1、c2和c3：

d(i，j)＝8f(i，j)-3f(i+1，j)-3f(i-1，j)-f(i，j-1)-f(i，j+1)(3)

d(i，j)＝2f(i，j)-f(i，j+1)-f(i，j-1)(4)

其中，d(i,j)表示第(i,j)个像素点重新计算的像素值，f(i,j)表示第(i,j)个像素点的原像素值。

需要指出的是，参照公式(2)，在本发明中，针对待提取图像a1，主要提取当前中心像素的8领域中的对角边缘信息，如式中的(i+1,j-1)、(i+1,j+1)、(i-1,j-1)、(i-1,j+1)像素点为中心像素的对角像素点，因此将其设置较高的权重值，而对邻域内水平与垂直像素点的权重值设置较低的权重值，若a1图像中的8邻域内的像素值都与中心像素相等，则该像素值变更为0；

参照公式(3)，在本发明中，针对待提取图像a2，主要提取当前中心像素的8领域中的水平边缘信息，如式中的(i+1,j)、(i-1,j)像素点，设置较高的权重值，而对于垂直像素点的权重，则设置较低的权重值，若a2图像中的8邻域内的像素值都与中心像素相等，则该像素值变更为0；

参照公式(4)，在本发明中，针对待提取图像a3，主要提取当前中心像素的4领域中的垂直边缘信息，因此对像素点像素值进行变更时，仅将8邻域内垂直方向的像素点作为参考；

基于公式2-4的边缘显著性处理，通过对三个不同尺寸下的待提取图像a1、a2、a3分别提取对角边缘信息、水平边缘信息以及垂直边缘信息，获得了完整的边缘信息，由此进行融合可以实现了高效、准确、全面的边缘信息提取。

在优选的实施方式中，在步骤s4中三个改进的fcn深度学习网络中，为了保证待提取图像在改进fcn网络中快速收敛，本发明采用了误差拟合和逻辑回归模型：将训练样本图像送入改进fcn网络得到像素点分类结果，将边缘标准图像直接作为参考信号，通过计算经过网络对像素分类后的结果与边缘标准参考信号进行对比，获得分类结果与参考信号之间的误差，然后使用回归算法进行误差拟合，对逻辑回归模型以及卷积核和偏置进行调整；具体做法是：在对网络进行训练时，采用多次训练的方式进行网络的训练，每一次训练记为d，采用如下公式5计算训练误差：

其中，参数m表示d的大小，ti表示第i个图像的参考信号，qi表示经fcn网络运算后输出的第i个图像的分类检测结果，pi表示第i个图像的偏执权重系统，使用回归算法对回归模型进行调优，并计算误差函数c对卷积核w及偏置b的偏导数，然后采用如下公式对卷积核和偏置进行调整：

其中，参数η1和η2表示回归模型的学习率，在每次训练完成后，求得验证集样本的误差，每个fcn网络迭代的中止条件为：当验证集样本的误差开始从由逐渐减小变成逐渐增大时，认为该fcn网络已经拟合完成，此时可以停止训练。

步骤s5：构建融合cnn网络，通过cnn网络对不同尺寸的待提取图像的边缘语义信息进行融合，以实现对复杂场景图像的边缘信息提取。

在优选的实施方式中，在步骤s4完成后，需要对不同尺寸图像的边缘信息进行融合，因此需要构建语义融合cnn网络，通过cnn网络实现对不同尺寸下的边缘语义信息的融合，实现不同尺寸边缘信息之间的互补，从而提高图像边缘提取的精度，在本发明中，上述融合cnn网络具体通过如下方法构建：该cnn网络的结构输入层、卷积层和调优层，输入层将原待提取图像与经过fcn1、fcn2和fcn3训练学习的三个不同尺寸的边缘语义图像进行拼接，以形成6通道输入图像，卷积层将6通道输入图像进行聚类处理，调优层采用反向传播网络，通过计算多层卷积层最后一层的卷积输出与真实边缘语义的误差，实现对网络的调优。

在本发明中，通过构建语义融合cnn网络实现对不同尺寸的图像经过改进fcn深度学习网络获得的边缘语义检测信息的融合，最终实现对复杂场景中图像边缘信息的提取。由此构建了由三个改进的fcn深度学习网络fcn1、fcn2、fcn3和一个语义融合的cnn网络组成的级联神经网络对复杂场景中边缘信息进行检测和提取。

图3是本发明的边缘提取系统的原理框图。

如图3所示，在上述边缘提取方法的基础上，本实施例还提供了一种边缘提取系统，包括：

预处理模块，预处理待提取图像；

图像大小处理模块，获取不同尺寸的待提取图像；

fcn网络构建模块，构建改进的fcn网络；

边缘语义信息获得模块，获得不同尺寸的待提取图像的边缘语义信息；

边缘提取模块，对复杂场景图像的边缘信息提取。

在边缘提取系统中预处理模块、图像大小处理模块、fcn网络构建模块、边缘语义信息获得模块以及边缘提取模块的工作过程与工作原理与边缘提取方法中步骤s1至步骤s5相同，参见上述内容，此处不再赘述。

综上所述，本发明针对复杂场景图像的边缘提取方法及系统，首先对传统的fcn深度学习网络进行改进，删除了卷积层后的池化层，减少池化层对于边缘语义信息的噪声的引入，并在传统的5个卷积层后添加一个边缘感知层，利用边缘特定区域内产生的像素值差分特性，杜绝了在图像边缘区域混杂背景噪声，从而实现有效提取复杂场景中图像的边缘语义信息，而在边缘感知层后添加一层的池化层来恢复图像的尺寸，改进后的fcn深度学习网络能够更好的提取复杂场景中的边缘语义信息；本发明针对复杂场景图像的边缘提取方法，通过对原待提取图像进行两次下采样处理，获得三个不同尺寸下的待提取图像，其配合后续的为三个不同尺寸下的待提取图像设定不同的边缘显著性处理思路，完成了对不同尺寸、不同邻域方向上的边缘语义信息提取，从而获得完整的边缘信息，由此进行融合，其配合改进的fcn网络，可以以最为高效的处理方式，实现对复杂场景图像进行准确而又全面的边缘信息提取；发明针对复杂场景图像的边缘提取方法，通过构建级联神经网络实现对复杂场景图像的不同尺寸边缘语义信息的融合，能够有效的实现复杂场景图像的边缘信息提取，不会出现现有技术中图像边缘提取模型的现象，这样的提取边缘信息的思路，尚未出现在现有技术中，具有显著的技术推广意义，对现有的图像处理技术具有实际的参考意义。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。