基于分层自动关联学习的目标检测方法

本发明属于目标检测领域，特别是一种基于分层自动关联学习的目标检测方法。

背景技术：

1、物体检测的目的是识别指定的物体。经典框架rcnn通过提取不同的box来搜索感兴趣的区域，然后对它们进行分类，该框架由区域建议网络(rpn)和检测网络组成。rpn通过搜索整幅图像或特征图，生成一组带分数的矩形建议。该检测网络由目标分类和boundingbox回归两部分组成，目的是生成准确的类别和位置信息。包含这两个网络的框架被总结为两阶段目标检测，许多方法都是按照这个框架设计的。joseph redmon等人模拟了人类一眼就能认出物体的探测过程，并提出了“you only look once”(yolo)。yolo没有生成建议区域，而是直接使用锚框进行对象分类和框回归。这种框架概括为单阶段目标检测，如yolo系列和单次多盒检测器(ssd)系列。最近，基于无锚的方法引起了更多的关注。densebox通过统一的端到端全卷积网络(fcn)直接预测边界框和对象类。cornernet通过引入角池化来识别一对关键点来检测边界框。然后extremenet使用更多的几何对齐的关键点来定位对象。此外，由于检测过程方便，人们还提出了许多无锚方法，如fsaf和fcos。

2、上述模型从大量精心注释的样本中学习，然而数据标注任务对研究人员来说十分繁重。因此，弱监督的目标检测方法在这十年非常流行。这种方法不需要复杂的包围框，而是从图像级的标签中学习。多实例学习(multiple-instance learning, mil)是处理这类问题的常用方法。为了构建端到端深度学习模型，bolei zhou等人提出了类激活映射(cam)，该映射用判别模型对类激活映射对应的对象进行定位。由于其简洁的学习过程，许多弱监督方法遵循这样的框架。此外，许多方法使用多个分支或训练多个网络来充分使用有限的注释信息。

3、人类不再被动地从指定的图像和标签中学习，而是有能力对未知感兴趣的对象主动搜索必要的学习数据。例如，今年是中国和其他一些亚洲国家的“虎年”。如果你从未见过老虎，你会对这种动物感到好奇，在搜索引擎中输入“老虎”进行搜索，并记住老虎的主要特征。最后，当你在图像中看到老虎时，你可以通过在记忆中联想立即认出它。这样的记忆和关联学习过程被称为关联学习，它在内存中关联对应的对象，这与流行的端到端学习完全不同。在这样的学习过程之后，联想记忆模型在几十年前被提出，用于关联同一类型(自动联想记忆)或不同类型的数据(异质联想)。但由于结构简单，无法处理当前大规模的高维数据。

技术实现思路

1、本发明的目的在于提供一种基于分层自动关联学习的目标检测方法，以一种无监督的方式捕捉对象的分布，提出了层次自动关联学习模型来关联搜索对象，通过优化概率模型反向传播关联模块的梯度，生成对应对象的热图。

2、实现本发明的技术解决方法为：第一方面，本发明提供一种基于分层自动关联学习的目标检测方法，包括以下步骤：

3、第一步，在卷积神经网络的层次结构基础上引入关联学习模块，网络的输入是通过卷积神经网络骨干对图片提取的分层特征，经过若干卷积层后得到具有能量函数的输出；

4、第二步，定义由能量驱动的概率模型，该模型待优化参数包括主干网络和分层关联学习模块的参数集；

5、第三步，利用最大化对数似然方法优化关联学习模型；

6、第四步，通过关联模块的反向传播梯度生成对应对象的热图，定位学习对象。

7、第二方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。

8、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。

9、第四方面，本发明提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法的步骤。

10、本发明与现有技术相比，其显著特点在于：（1）本发明定义了一种深度架构的层次自动关联模型；利用关联模型构造驱动概率模型的能量；优化关联模型，针对难以估计整个数据空间分布的问题，提出用训练图像来估计背景的分布，而不是整个空间的分布；（2）本发明以分层自动关联学习的方式来进行网络参数的学习；通过对模型的优化，能够对输入图像中包含的对应物体产生高亮信号；概率模型学习以无监督的方式捕获分布；因此，该方法只需得到系统学习的目标，无需准备标记数据或任何其他辅助信息，即可自主完成学习目标；在公共数据集和搜索图像上的实验证明了该技术的有效性。

11、下面结合附图对本发明作进一步详细描述。

技术特征：

1.一种基于分层自动关联学习的目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于分层自动关联学习的目标检测方法，其特征在于，第一步定义分层自动关联学习模块，具体过程为：

3.根据权利要求2所述的基于分层自动关联学习的目标检测方法，其特征在于，第二步定义由能量驱动的概率模型，具体过程为：

4.根据权利要求3所述的基于分层自动关联学习的目标检测方法，其特征在于，第三步优化关联学习模型，使用梯度下降来最大化对数似然，对似然函数关于参数的负梯度推导如下：

5.根据权利要求4所述的基于分层自动关联学习的目标检测方法，其特征在于，第四步通过关联模块的反向梯度传播定位学习对象；给定测试图像，首先计算能量函数的梯度：

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法的步骤。

8.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-5中任一所述的方法的步骤。

技术总结
本发明公开了一种基于分层自动关联学习的目标检测方法，该方法包括以下步骤：在层次结构的基础上引入关联学习模块；建立基于能量驱动的概率模型；通过最大化对数似然对模型进行优化；通过关联学习模块的反向传播梯度生成对应对象的热图。本发明定义了一个针对目标主动检测的分层自动关联模型，该模型旨在以一种无监督的方式捕捉对象的分布，直接从单类搜素图像中学习，无需任何预处理操作符，大大减少了人力成本；在实践中，只需说出物体的名称，模型就可以主动从互联网上学习，对比现有的学习模型更加智能。

技术研发人员：张文华,崔振,邓文静,刘嘉
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/1/12