基于视觉显著性约束深度置信网络的遥感图像检测方法与流程

本发明涉及遥感图像处理技术领域，特别涉及一种基于视觉显著性约束深度置信网络的遥感图像目标快速检测方法。

背景技术：

目标检测是遥感图像解译分析中的一类重要的基础应用，在军事和民用领域具有重要的应用价值。随着遥感成像技术的发展，反映在遥感图像上的地物信息越来越丰富，这为图像目标检测任务提供了更多的可用目标信息，然而在复杂背景下进行目标检测仍具有极大的挑战性。以往解决目标检测问题的一般方法是首先利用含有目标的图像切片作为训练数据来训练一个目标检测机，随后在整幅待检测图像上利用穷尽搜索的办法用目标检测机扫描图像的每个位置，虽然这类方法在实际应用中已经取得了一定的效果，但仍存在许多问题和挑战。

遥感图像自动目标检测任务存在的一个关键问题是如何选择和提取判别性能较强的特征，将目标与背景进行准确的区分，并且这种特征需要在面对遥感图像的复杂多变的背景时保持足够的鲁棒性。为了解决低层图像特征与高层语义理解中的“语义鸿沟”问题，研究人员对于如何设计稳定的高层语义特征进行了大量的研究。相对于低层特征，高层语义特征能够更好地反映目标稳定特性的先验知识和语义信息，然而以往的语义特征提取算法非常依赖于人工特征设计和选取，在环境较为复杂或数据量较大的情况下，依靠人工选择稳定的特征仍然是一项较为困难的工作。

遥感图像自动目标检测中存在的另一个问题是如何进行图像搜索以发现可能存在的目标，目标搜索中常用的基于滑动窗方法的穷尽搜索策略所需要的计算量巨大，且非常耗时，这使得以往的目标检测算法通常非常缓慢，实用性较低，因此如何在遥感图像中进行快速的目标搜索仍然是一个挑战。

技术实现要素：

(一)要解决的技术问题

为了解决现有技术在大场景遥感图像中人工特征选取困难、定位算法计算复杂、速度较慢的技术问题，本发明提出了一种基于视觉显著性约束深度置信网络的遥感图像目标快速检测方法。

(二)技术方案

根据本发明的一个方面，提供了一种基于视觉显著性约束深度置信网络的遥感图像检测方法，包括以下步骤：s1：利用基于视觉显著性的图像目标粗定位方法对待测图像中的目标进行定位并产生候选待检测窗口；s2：利用模型训练获得深度置信网络模型；s3：利用步骤s2获得的深度置信网络模型对候选待检测窗口内的图像进行分类并产生最终的检测结果。

(三)有益效果

从上述技术方案可以看出，本发明的基于视觉显著性约束深度置信网络的遥感图像检测方法至少具有以下有益效果其中之一：

(1)图像显著性标注能够在图像颜色变化明显的情况下获得较为稳定的目标分割结果，在快速搜索的过程中保证目标的定位精度；

(2)本发明采用一种不重叠的窗口初始化搜索方法，利用图像显著性标注结果，通过迭代优化的方法进行目标定位，能够显著提高检测时的目标定位搜索速度和精度；

(3)本发明利用深度置信网络模型进行目标的特征提取和分类，传统的限制玻尔兹曼机非监督训练方法通常将整幅训练图像作为输入，无法对目标局部结构特征进行充分编码，本发明采用一种基于图像分块策略的非监督训练方法，即将显著性图像和原图像同时作为训练数据，同时利用局部区域约束，使限制玻尔兹曼机对局部区域结构特征的表达更充分，提高了模型的泛化能力和检测的准确率。

附图说明

图1为本发明实施例基于视觉显著性约束深度置信网络的遥感图像目标快速检测方法的框架示意图。

图2为本发明实施例的检测方法中基于视觉显著性的图像目标粗定位方法的示意图。

图3为本发明实施例的检测方法中图像目标粗定位方法的初始搜索窗口排布图。

图4为本发明实施例的检测方法中图像切片分块示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提供了一种基于视觉显著性约束深度置信网络的遥感图像检测方法，该遥感图像检测方法包括以下步骤：s1：利用基于视觉显著性的图像目标粗定位方法对待测图像中的目标进行定位并产生一定数量的候选待检测窗口；s2：利用模型训练获得深度置信网络模型；s3：利用模型训练得到的深度置信网络模型对候选待检测窗口内的图像进行分类并产生最终的检测结果。

在本发明的示例性实施例中，提供了一种基于视觉显著性约束深度置信网络的遥感图像目标快速检测方法。图1为本发明实施例基于视觉显著性约束深度置信网络的遥感图像目标快速检测方法的框架示意图。如图1所示，本发明的遥感图像目标快速检测方法的整个目标检测过程分为模型训练与待测图像检测两个主要过程。模型训练过程包括限制玻尔兹曼机非监督预训练和多层神经网络的参数微调训练，在非监督预训练中，首先利用基于分块策略的训练方法分别训练n个限制玻尔兹曼机，并将原始图像和显著性图像(通过显著性计算获得)作为训练数据，如图1中所示，最后利用合并方法将n个限制玻尔兹曼机进行融合，n≥2，并将融合后的限制玻尔兹曼机作为深度置信网络的第一层去训练下面的限制玻尔兹曼机，预训练完成后，首先在深度置信网络最上层添加一个监督层，并利用反向传播算法对深度置信网络进行参数微调，得到一个用于分类检测的深度置信网络模型。在目标检测阶段，首先利用基于视觉显著性的图像目标粗定位方法对待测图像中的目标进行定位并产生一定数量的候选待检测窗口，然后利用以上训练得到的深度置信网络模型进行分类并产生最终的检测结果。

图2为本发明实施例的检测方法中基于视觉显著性的图像目标粗定位方法的示意图。首先简单介绍一下基于视觉显著性的图像目标粗定位方法的基本原理，生物视觉系统可以很容易地判断一幅图像中的感兴趣区域，并注意到图像中的重要信息，这种视觉显著性是由图像中的颜色、梯度、边缘或边界等图像属性所致，视觉显著性与生物视觉系统如何感知和处理视觉刺激紧密相关，在多个科研领域中被广泛研究，基于这种视觉处理机制，可以通过显著性区域的计算提取来将有限的计算资源优先分配给图像中的包含感兴趣信息的部分，因此利用计算机进行图像中显著性区域的检测和提取，可以大大提高图像分析理解的效率。如图2所示，基于视觉显著性的图像目标粗定位方法包括以下步骤：s11：通过显著性计算获得一幅与原始图像尺寸相同的显著性图像；s12：在该显著性图像上设置一定尺寸的初始的搜索窗口；s13：利用迭代优化算法对搜索窗口的位置进行优化调整；s14：利用非极大值抑制算法对有重叠的多个搜索窗口进行融合，从而得到一定数量的候选待检测窗口。

作为一种具体的实施方式，进行显著性计算时，采用赋范梯度算法作为显著性图像计算方法。

图3为本发明实施例的检测方法中图像目标粗定位方法的初始的搜索窗口排布图。如图3所示，这些初始的搜索窗口之间互不重叠并紧密排列，以覆盖整个图像。与自然场景图像不同，遥感图像由于垂直成像的特点，典型地物目标(如飞机、车辆、建筑物等)通常不会有叠掩的情况发生，因此用图3所示的方式排布初始的搜索窗口，如果初始的搜索窗口大小设置的得当，对于图像中的某个目标，至少会有一个搜索窗口会覆盖该目标的大部分区域。

具体地，本实施例中的迭代优化算法归纳如下：a、输入待测图像的显著性图像m，初始的搜索窗口wp及其中心点位置pc，迭代停止步长δ，并令：pc＝(xc,yc)，δ＝2，xij＝i，yij＝j；b、计算显著性图像m在初始的搜索窗口wp的像素值重心；c、计算pc'＝(xc',yc')与pc的欧氏距离d；d、判断d与δ的大小关系并进行以下操作：如果d>δ，则将pc'＝(xc',yc')作为搜索窗口新的中心点，并回到步骤b继续迭代，如果d<δ，则终止迭代；e、输出最终的搜索窗口wo。

作为一种具体的实施方式，步骤b中图像像素值重心坐标计算方法定义如下：

其中，sij表示显著性图像中坐标为(i,j)处的像素值，xij和yij分别为横坐标和纵坐标的权重系数，h为显著性图像的长度，w为显著性图像的宽度。

经过以上算法的迭代优化，包含目标大部分区域的初始的搜索窗口会有很大可能移动到目标所在的精确位置，而不包含目标的虚假窗口将在分类检测中去除。以往的图像目标检测方法大多以滑动窗及其拓展方法为基础，它们的原理是在图像中用固定大小的检测窗口，以一定步长在图像中进行顺序或按一定规则的图像扫描，目的是将可能的目标圈入某个检测窗口中，这类滑动窗方法不依赖于任何先验知识或参数学习，因此具有许多缺点：首先，在图像中的滑动窗扫描将产生大量的待检测窗口，造成检测效率较低；另外，由于不依赖于先验，且以一定步长进行搜索，所产生的窗口往往无法准确的对目标进行定位，造成许多的虚警和漏警，降低了检测的准确率和召回率；第三，传统的滑动窗搜索方法无法对窗口的位置进行自动调整和优化。与之相比，本发明的目标粗定位方法不仅能大大减少候选待检测窗口数量，提高系统的检测效率，同时经过搜索窗口位置的调整能明显地提高目标的定位精度，这将对随后的特征提取和分类检测过程带来很大的改善，在提高目标检测准确率的同时，极大的增强不同分类模型的鲁棒性。

本实施例中利用的深度置信网络模型为一个6层深度置信网络，包括一个可视层、一个监督层和四个隐藏层，每层节点数量为2592、300、100、100、300、2，可视层包含2592个输入节点(用来输入原始图像和显著性图像，训练时首先将图像尺寸缩放为36像素×36像素，36×36×2＝2592)，在本实施例中，每个限制玻尔兹曼机的可视层数据均为0到1之间的实数，同时前一层限制玻尔兹曼机的激活概率值作为后一层限制玻尔兹曼机的可视层输入。

空间结构语义特征对遥感图像目标来说非常重要，为了更好地提取局部结构特征，为高层限制玻尔兹曼机提供语义特征提取的基础，本实施例采用了一种基于分块的限制玻尔兹曼机预训练方法。具体来说，在预训练之前，首先将36像素×36像素大小的训练图像进行分块，如图4所示，之后随机初始化50个相互独立的限制玻尔兹曼机，每一个限制玻尔兹曼机用其中一组子图像集进行训练，当这些限制玻尔兹曼机训练完成之后，它们的参数将被合并，去初始化一个更大的限制玻尔兹曼机，50个限制玻尔兹曼机(用srbm表示)的隐藏层节点数设置为6个，因此合并之后的限制玻尔兹曼机(用brbm表示)将拥有300个隐藏层节点。参数合并时，用第一个srbm的权值初始化brbm的前6个隐藏层节点所连接的权值，第二个srbm的权值初始化brbm另外6个隐藏层节点所连接的权值，并以此类推，然而，限制玻尔兹曼机两层节点是互相全连接的，因此brbm中还有很多未被初始化的连接权值，这些权值将被初始化为0。同理，brbm参数中的偏置项将用srbm中的偏置项合并初始化。以上分块训练完成后，brbm将利用完整的训练图像进行合并训练，直到网络参数最终收敛。

至此，本发明示例性实施例基于视觉显著性约束深度置信网络的遥感图像目标快速检测方法介绍完毕。

综上所述，在本发明中，利用的图像显著性标注能够在图像颜色变化明显的情况下获得较为稳定的目标分割结果，在快速搜索的过程中保证目标的定位精度。本发明采用一种不重叠的窗口初始化搜索方法，利用图像显著性标注结果，通过迭代优化的方法进行目标定位，能够显著提高检测时的目标定位搜索速度和精度。本发明利用深度置信网络模型进行目标的特征提取和分类，传统的限制玻尔兹曼机非监督训练方法通常将整幅训练图像作为输入，无法对目标局部结构特征进行充分编码，本发明采用一种基于图像分块策略的非监督训练方法，即将显著性图像和原图像同时作为训练数据，同时利用局部区域约束，使限制玻尔兹曼机对局部区域结构特征的表达更充分，提高了模型的泛化能力和检测的准确率。

至此，已经结合附图对本实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明基于视觉显著性的遥感图像目标快速检测方法有了清楚的认识。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。