一种基于卷积神经网络的遥感图像桥梁检测方法与流程

本发明适用于图像识别领域，主要针对于遥感图像中的桥梁进行检测，是一种基于卷积神经网络的遥感图像桥梁检测方法。

背景技术：

遥感图像处理包括遥感图像的获取、去噪、增强、复原、压缩、分割、表示与描述、目标检测等等。其中，目标检测作为遥感图像处理的一个重要部分，在军事领域和民用领域都具有重要的意义。在军事领域，需要对敌方进行军事侦察以及对己方进行监控。通过对卫星、航空或者航天飞行器获得的遥感图像进行目标识别，能够了解所拍摄地区的地形、装备、部队调动情况等信息。早期的遥感图像目标检测是采用人工进行的，但是由于通常获得的遥感图像数据量很大，如果采用人工来进行判读，则需要重复工作，费时费力，而且实时性较差。现代的高科技战争，战场情况瞬息万变，如果图像处理速度太慢，将不能及时地获取关键信息，导致贻误战机，使己方蒙受重大损失。因此，采用快速自动识别技术进行遥感图像自动目标检测对现代战争非常重要。除了军事上的重要价值之外，遥感图像目标检测在其它方面如城市规划、地理数据库的建立及更新、自然灾害的灾情评估等民用领域也有着广泛的应用。随着全球定位系统、地理信息系统、数字地球系统等概念被相继提出，也越来越需要对遥感图像中的目标进行精确的检测定位。此外，遥感图像目标检测在精确绘制城市的二维或三维地图、自然灾害造成的毁损情况检测及目标的变化检测中也变得迫切需要。

目前，针对遥感图像的桥梁目标检测主要采用利用显著性方法提取候选区域并提取特征，利用分类器对特征进行判断得到检测结果。专利号为cn200810232213.1的遥感图像桥梁目标检测是通过水域特征进行训练建模，以此进行遥感图像水域分割，针对分割好的结果进行桥梁检测，检测桥梁的过程中需要针对不同的桥梁设计不同的模板，然后提取特征最后完成桥梁检测。

基于上述研究现状，遥感图像的目标主要存在以下两个问题：第一，预处理之后，常对样本图像进行连通区域的形状、长宽比或面积等人为预设的具体特征的提取，这样不能保证提取到有效或者重要的特征，人为经验影响太大，实际应用效果不佳；第二，为了不丢失图像的细节特征，有时也忽略人为预设特征提取的过程，直接将图像中的所有像素作为特征，再将这些特征作为分类器训练与分类的基础信息，这样做太繁琐，会带来大量的冗余信息，使得检测效率降低。

技术实现要素：

发明目的：本发明的目的在于利用卷积神经网络在图像处理方面的优势，提出了一种利用卷积神经网络来解决遥感图像中桥梁图像的检测方法。该方法克服了传统方法效率低的缺点，通过卷积神经网络自动挖掘图像中的特征，最终实现桥梁图片的检测。

技术方案：

一种基于卷积神经网络的遥感图像桥梁检测方法，包括步骤：

s1：训练样本采集与预处理；

s1-1：选取包含桥梁区域的遥感图像，在遥感图像上手动截取尺寸大小为w*h大小的桥梁图片；

s1-2：在遥感图像上不包含桥梁的区域，截取尺寸大小为w*h的图片，作为检测器的负样本进行训练；

s1-3：选取步骤s1-1、s1-2中得到的正负样本，在保持图片w*h尺寸大小的前提下，对正负样本图片进行水平翻转，尺度变换，平移变换，旋转变换和白化操作；

s2：建立卷积神经网络训练模型，得到检测器；

s2-1：建立卷积神经网络模型，并对卷积神经网络模型中的各个参数进行初始化；

s2-2：将步骤s1-1、s1-2得到的正负样本放入s2-1得到的卷积神经网络模型，进行迭代训练；

s3：检测样本的预处理：

选取待检测的遥感图片，通过w*h大小窗口从遥感图片的左上角开始扫描，横向扫描步长为w/2，当扫描到待检测图片的最右端时，按照纵向扫描步长h/2向下移动一行，再从最左边开始按照横向w/2的步长扫描，依次扫描完整张遥感图片；记录每一步扫描都得到的候选窗口左上角的位置坐标，作为候选图片的位置信息；

s4：检测样本输入检测器得到结果；

s4-1：将步骤s3得到的候选窗口作为步骤s2训练得到的检测器的输入，对所有的候选窗口进行检测，记录下经过检测器判断为包含桥梁的候选图片，并保存这些候选窗口；

s4-2：将保存的候选窗口包含的位置信息提取出来，然后在待检测的图片上根据候选窗口的位置信息标记出候选窗口所代表的图像区域，最终完成对遥感图像中桥梁位置的检测工作。

所述步骤s1-1在截取桥梁图片的时候，既要选取桥梁特征明显的图片，同时也要截取包含桥梁，但是特征不明显，被遮挡或者较为模糊的桥梁图片。

所述步骤s2-1建立的卷积神经网络模型包括输入层，卷积层，池化层，卷积层，池化层，全连接层以及输出层；

1).输入层是将正负样本作为输入，输入到卷积神经网络模型中；

2).特征提取第一阶段：卷积层的卷积核大小是5*5的，输入3通道，输出64通道，移动步长为1；池化层采用最大池化的方式进行，窗口大小为3*3，步长为2，然后将得到的特征图进行归一化；

3).进入特征提取第二阶段：卷积层的卷积核大小依旧是5*5，输入64通道，输出64通道，步长为1，然后将卷积后的特征图归一化操作之后进行池化，池化方式依旧采取最大池化，窗口大小为3*3，步长为2；

4).最后将池化结果放入全连接层，最后输出。

所述步骤s2-1建立的卷积神经网络模型中的权值更新采用bp反向传播法进行；在每层更新权值的方法选用梯度下降法；所述梯度下降法的learningrate学习率设置在0.003-0.004之间。

所述步骤s2-1建立的卷积神经网络模型的最后输出采用softmax作为二分类器，softmax回归分两步：第一步为了得到一张给定图片属于某个特定数字类的证据，对图片像素值进行加权求和；如果这个像素具有很强的证据说明这张图片不属于该类，那么相应的权值为负数，相反如果这个像素拥有有利的证据支持这张图片属于这个类，那么权值是正数；即：

evidencei表示给定图片属于i类的证据；其中wi代表权重，bi代表数字i类的偏置量，j代表给定图片x的像素索引用于像素求和；然后用softmax函数可以把这些证据转换成概率y：

y＝softmax(evidence)

其中，softmax是一个激励函数，因此，给定一张图片，它对于每一个数字的吻合度被softmax函数转换成为一个概率值；softmax函数定义为：

softmax(x)＝normalize(exp(x))

展开等式右边的子式，得到：

在利用softmax分类器得到一个概率分布的结果后，将结果与最终的标签进行比对，并通过比对确定一个阈值t，该阈值表示当softmax训练结果中的概率值大于t时，那么判定输入图片中包含桥梁；如果训练结果中的概率值小于t，那个判定输入图片中不包含桥梁。

所述步骤s2-2中的迭代训练过程中，采取循环训练的策略；每次从所有样本图片中随机选取一定数量的图片进行训练，选取的batch_size大小为128，然后随机选取同样数量的其他样本进行训练，在不断地循环过程中，逐渐更新卷积神经网络模型中的权值。

有益效果：本发明无需提前进行桥梁图片的特征提取，简化了检测步骤，在保持高检测率的同时极大加快了遥感图像的检测速度。

附图说明

图1为本发明方法流程图。

图2为卷积神经网络结构图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明是一种基于卷积神经网络的遥感图像桥梁检测方法，主要包括训练阶段和检测阶段，所述的训练阶段主要包括以下步骤：

s1:训练样本采集与预处理；

s2:建立卷积神经网络训练模型，得到检测器。

所述的检测阶段主要包括以下步骤：

s3:检测样本的预处理；

s4:检测样本输入检测器得到结果。

进一步的，所述的步骤s1包括以下子步骤：

s1-1:首先选取一部分遥感图像，在遥感图像上手动截取尺寸大小为w*h大小的桥梁图片，在截取桥梁图片的时候，需要选取桥梁特征比较明显图片，同时，也应截取一些包含桥梁，但是特征不明显，被遮挡或者较为模糊的桥梁图片，这样可以保证在训练正样本后，检测器对特征不明显的桥梁图片也具有一定的检测能力。

s1-2:在遥感图像上不包含桥梁的区域，也截取尺寸大小为w*h的图片，这些图片作为检测器的负样本进行训练。

s1-3：选取步骤s1-1，s1-2中得到的正负样本，在保持图片w*h尺寸大小的前提下，对正负样本图片进行水平翻转，尺度变换，平移变换，旋转变换和白化操作，这样做进一步增加了训练样本的数量，同时也让训练图片的特征变得更多。

进一步的，所述的步骤s2包括以下子步骤：

s2-1；首先应当建立卷积神经网络模型，整个模型的结构是输入层，卷积层，池化层，归一层，卷积层，归一化层，池化层，全连接层，输出层。

1).输入层是将正负样本作为输入，输入到卷积神经网络模型中；

2).特征提取第一阶段，卷积层的卷积核大小是5*5的，输入3通道，输出64通道，移动步长为1，池化层采用最大池化的方式进行，窗口大小为3*3，步长为2，然后将得到的特征图进行归一化；

3).进入特征提取第二阶段，卷积层的卷积核大小依旧是5*5，输入64通道，输出64通道，步长为1，然后将卷积后的特征图归一化操作之后进行池化，池化方式依旧采取最大池化，窗口大小为3*3，步长为2；

4).最后将池化结果放入全连接层，最后输出。如附图2所示。

s2-2:在设计好卷积神经网络的模型结构后需要对网络模型中的各个参数进行初始化，在数据初始化时随机性尽可能高，这样训练时收敛的速度会比较快，而且不容易陷入局部最优的结果。

s2-3:卷积神经网络模型中的权值更新采用bp反向传播法进行，bp反向传播法根据前向传播计算的结果与目标结果相互比对，得出两个结果之间的差值，即总误差，根据总误差逐步向前，更新每一层的权值。在每层更新权值的方法选用梯度下降法，利用梯度下降法计算出在当前误差下的最优权值，得到最优权值后依次更新前层的权值。梯度下降法的learningrate学习率设置在0.003-0.004之间。

s2-4:最后输出采用softmax作为二分类器，softmax回归分两步：第一步为了得到一张给定图片属于某个特定数字类的证据(evidence)，我们对图片像素值进行加权求和。如果这个像素具有很强的证据说明这张图片不属于该类，那么相应的权值为负数，相反如果这个像素拥有有利的证据支持这张图片属于这个类，那么权值是正数。即:

其中wi代表权重，bi代表数字i类的偏置量，j代表给定图片x的像素索引用于像素求和。然后用softmax函数可以把这些证据转换成概率y：

y＝softmax(evidence)

这里的softmax可以看成是一个激励(activation)函数，因此，给定一张图片，它对于每一个数字的吻合度可以被softmax函数转换成为一个概率值。softmax函数可以定义为：

softmax(x)＝normalize(exp(x))

展开等式右边的子式，可以得到：

softmax分类器是把全连接层的输出值作为输入值，并把输入值当成幂指数求值，再正则化这些结果值。这个幂运算表示，更大的证据对应更大的假设模型里面的乘数权重值。

反之，拥有更少的证据意味着在假设模型里面拥有更小的乘数系数。假设模型里的权值不可以是0值或者负值。softmax然后会正则化这些权重值，使它们的总和等于1，以此构造一个有效的概率分布。

s2-5:在利用softmax分类器得到一个概率分布的结果后，将这些结果与最终的标签进行比对，并通过比对确定一个阈值t，该阈值表示当softmax训练结果中的概率值大于t时，那么将判定输入图片中是包含桥梁的，如果训练结果中的概率值小于t，那个判定输入图片中是不包含桥梁的。

s2-6:利用步骤s1-1，s1-2得出的正负样本，将这些样本放入初始化各层参数后卷积神经网络模型，进行迭代训练。在训练过程中，不会采取一次性将所有的训练样本全部放入模型中的策略，这样会使模型输入过大，计算会比较慢，而且一般的设备也会支持不了。

因此，训练过程中会采取循环训练的策略，每次从所有样本图片中随机选取一定数量的图片进行训练，这里选取的批尺寸batch_size大小为128，然后随机选取同样数量的其他样本进行训练，在不断地循环过程中(循环次数设置为10000)，逐渐更新卷积神经网络模型中的权值，这样做不仅会提高训练速度和效率，同时准确率也会更高。

进一步的，所述的步骤s3包括以下子步骤：

s3-1:首先选取待检测遥感图片，对于一般的遥感图像而言，遥感图像的尺寸都非常大，因此在本发明中会截取一张待检测遥感图片的八分之一或者十分之一，每次检测其中的一部分然后之后再检测其他的部分，这样检测器在检测时的负担会比较小，更容易计算，效率也会更高。

s3-2:选取待检测的遥感图片，通过w*h大小窗口从遥感图片的左上角开始扫描，横向扫描步长为w/2，当扫描到待检测图片的最右端时，按照纵向扫描步长h/2向下移动一行，再从最左边开始按照横向w/2的步长扫描，依次扫描完整张遥感图片。

s3-3:每一步扫描都得到一个候选窗口，在扫描时，将每一个候选窗口的左上角的位置坐标记录下来，作为候选图片的位置信息。因此，每个候选窗口包含信息应该是候选窗口代表的图片区域image，左上角坐标(x,y)，候选图片的宽高(w,h)，即(image,x,y,w,h)。

进一步的，所述的步骤s4包括以下子步骤：

s4-1:将步骤s3得到的候选窗口作为步骤s2训练得到的检测器的输入，对所有的候选窗口进行检测，记录下经过检测器判断为包含桥梁的候选图片，并保存这些候选窗口。

s4-2:将保存的候选窗口包含的位置信息提取出来，然后在待检测的图片上根据候选窗口的位置信息标记出候选窗口所代表的图像区域，最终完成对遥感图像中桥梁位置的检测工作。

由于使用cpu计算速度相对于gpu来说是比较慢，因此在最后使用了gpu进行训练和计算，这使得训练速度得到大大提升，同时检测效率也大幅提高。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。