一种基于特征选择的目标检测方法与流程

本发明涉及计算机视觉领域，具体涉及一种基于特征选择的目标检测方法。

背景技术：

目标检测技术在现实生活中应用广泛，如安防、追踪、动作识别，是其他研究领域的基础。当前，目标检测技术主要有两个分支，一个是基于one-stage的检测方法，另一个是基于two-stage的检测方法。one-stage的方法检测速度快，实时性能好，但是检测准确率不高。two-stage的方法检测准确率高，但是运行速度慢，不适合用于实时的场景。因此，工业上上使用one-stage的方法居多。one-stage方法的检测准确度不高，主要原因是有两个，一是提取的特征不够准确，二是多尺度的问题。

技术实现要素：

本发明的目的在于克服现有技术的不足，提出了一种基于特征选择的目标检测算法，具有实时性能好，准确率高，稳定性强，计算效率高的优点。

一种基于特征选择的目标检测方法，包括以下步骤：

s1、将图像输入主干网络，获取融合特征；

s2、将融合特征输入多层特征金字塔，通过多层特征金字塔中的每一层级金字塔来检测不同尺度特征的目标，同时通过多层特征金字塔的anchor-free分支在任意层级金字塔pl中学习图片内容，根据图片的内容选择最优化的pl；

s3、整合多层特征金字塔，将各层级金字塔输出的相同尺度特征图进行级联，组合成一个用于更好地表示目标的特征的多层级多尺度的特征金字塔；

s4、通过与多层特征金字塔连接的特征选择模块在每个空间位置预测其对应的a个anchor和k个物体出现的概率，以及a个anchor的4维的偏移量，对目标进行预测和位置回归。

优选地，在上述的基于特征选择的目标检测方法中，所述步骤s1的具体步骤包括：

经过卷积和池化操作，选择最后输出的两个层级的特征图作为融合特征。

优选地，在上述的基于特征选择的目标检测方法中，具体的融合特征方法包括步骤：

s11、经过卷积和池化操作，选择最后输出的两个层级的特征图pic1和pic2；

s12、将其中尺寸小的特征图pic1进行上采样，使其大小变成特征图pic2的尺寸，然后将其与特征图pic2进行级联，得到融合特征图。

优选地，在上述的基于特征选择的目标检测方法中，所述多层特征金字塔包括：级联模块、u型网络、选择模块和金字塔，融合特征输入到所述级联模块和第一层金字塔的所述u型网络，所述选择模块用于在u型网络输出的金字塔中选择分辨率最高的层级，并自顶向下链路下一层的级联模块，级联模块用于将选择模块的输出与融合特征进行级联，并且输入到对应层的u型网路中。

优选地，在上述的基于特征选择的目标检测方法中，所述特征选择模块包括两个子网络，分别为分类子网络和回归子网络，所述分类子网在每个空间位置预测其对应的a个anchor和k个物体出现的概率，k表示预测目标的数量，回归子网络预测a个anchor的4维的偏移量，数量a提前定义。

优选地，在上述的基于特征选择的目标检测方法中，在每个金字塔的层级引入两个卷积层，这两个层负责做分类和回归，一个有k个滤波器的3*3卷积层，与分类子网连接，后面接sigmoid函数，用于预测每个空间位置出现k个不同物体的概率。

优选地，在上述的基于特征选择的目标检测方法中，根据图片的内容选择最优化的pl的具体过程包括：

在pl上定义分类的损失函数和方框回归的损失函数为和其中，

其中，表示区域里像素的数量，fl(l,i,j)和iou(l,i,j)表示在pl中位置为(i，j)焦点损失函数和iou损失函数。

优选地，在上述的基于特征选择的目标检测方法中，特征选择模块的特征选择过程为图片通过金字塔的全部层级，然后用上式和求损失函数的和，最后通过多层特征金字塔中最合适的层级pl*产生小的损失函数，用于学习物体，该式为：在训练阶段，特征根据其图片情况进行更新，该损失函数在特征空间形成一个更低的约束，通过训练，减少这个约束，在推理阶段，提供多层特征金字塔中选择的损失小的层级输出高的自信度参数。

本发明的有益效果：本发明的目标检测方法使用了多层级的特征金字塔解决了提取的特征准确度不够的问题，另外，使用特征选择模块，解决多尺度特征的问题。解决了多尺度问题和特征提取的问题，具有实时性能好，准确率高，稳定性强，计算效率高的优点，可在实时场景下使用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例的流程示意图；

图2为本发明实施例的多层特征金字塔的结构示意图；

图3为本发明实施例的u型网络的结构示意图；

图4为本发明实施例的分类、回归层的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明的实施例提出的一种基于特征选择的目标检测方法，包括以下步骤：

s1、将图像输入主干网络，获取融合特征；

s2、将融合特征输入多层特征金字塔，通过多层特征金字塔中的每一层级金字塔来检测不同尺度特征的目标，同时通过多层特征金字塔的anchor-free分支在任意层级金字塔pl中学习图片内容，根据图片的内容选择最优化的pl；

s3、整合多层特征金字塔，将各层级金字塔输出的相同尺度特征图进行级联，组合成一个用于更好地表示目标的特征的多层级多尺度的特征金字塔；

s4、通过与多层特征金字塔连接的特征选择模块在每个空间位置预测其对应的a个anchor和k个物体出现的概率，以及a个anchor的4维的偏移量，对目标进行预测和位置回归。

具体地，在本发明的优选实施例中，步骤s1的具体包括：将图像通过主干网络vgg-16输入，经过卷积和池化操作，选择最后输出的两个层级的特征图作为融合特征。

具体地，在本发明的优选实施例中，具体的融合特征方法包括步骤：

s11、经过卷积和池化操作，选择最后输出的两个层级的特征图pic1和pic2；

s12、将其中尺寸小的特征图pic1进行上采样，使其大小变成特征图pic2的尺寸，然后将其与特征图pic2进行级联，得到融合特征图。

具体地，假设最后两个层级的特征图大小分别为20*20和40*40，将20*20的特征图进行上采样，使其大小变成40*40，然后将其余40*40的特征图进行级联，这样即可得到融合特征图。

如图2所示，多层特征金字塔包括：级联模块、u型网络、选择模块和金字塔，融合特征输入到级联模块和第一层金字塔的u型网络，选择模块用于在u型网络输出的金字塔中选择分辨率最高的层级，并自顶向下链路下一层的级联模块，级联模块用于将选择模块的输出与融合特征进行级联，并且输入到对应层的u型网路中。整合多层特征金字塔的方法如下：将全部u型网络输出的特征金字塔相同尺度特征图进行级联，这样可以组合成一个多层级多尺度的特征金字塔，可以更好的表示目标的特征，通过多层特征金字塔输出的特征对目标的预测和位置回归。

具体地，在本发明的优选实施例中，特征选择模块包括两个子网络，分别为分类子网络和回归子网络，金字塔的每层连接特征选择模块，用于检测不同尺度的目标，这两个子网都是小的全卷积网络。分类子网在每个空间位置预测其对应的a个anchor和k个物体出现的概率，k表示预测目标的数量，回归子网络预测a个anchor的4维的偏移量，数量a提前进行定义。

具体地，在本发明的优选实施例中，如图4所示，在每个金字塔的层级引入两个卷积层，这两个层负责做分类和回归。本发明的目标检测方法没有基于anchor的大小来选择金字塔的层级，而是根据其内容来选择金字塔层级。在此称为anchor-free分支，本发明将这种方法与以前的基于anchor大小选择金字塔层级的方法相结合，可以得到更好的效果。一个有k个滤波器的3*3卷积层，与分类子网连接，后面接sigmoid函数，用于预测每个空间位置出现k个不同物体的概率。类似的，一个有4个滤波器和3*3卷积层连接到回归子网络的特征中，后面跟着relu函数。

具体地，在本发明的优选实施例中，根据图片的内容选择最优化的pl的具体过程包括：

在pl上定义分类的损失函数和方框回归的损失函数为和其中，

其中，表示区域里像素的数量，fl(l,i,j)和iou(l,i,j)表示在pl中位置为(i，j)焦点损失函数和iou损失函数。

特征选择模块的特征选择过程为图片通过金字塔的全部层级，然后用上式和求损失函数的和，最后通过多层特征金字塔中最合适的层级pl*产生小的损失函数，用于学习物体，该式为：在训练阶段，特征根据其图片情况进行更新，该损失函数在特征空间形成一个更低的约束，通过训练，减少这个约束，在推理阶段，提供多层特征金字塔中选择的损失小的层级输出高的自信度参数。

如图3所示，在本发明的u型网络结构中，左边最下面的层为融合特征，然后对其进行下采样，即图中左边的路径，称为自底向上路径。然后最顶层需要进行上采样，并与自底向上路径对应大小的层级进行合并，称为横向连接。右边的链路称为自顶向下链路，通过上采样和横向连接，此链路包含顶层语义信息和对应层次的细节信息。另外，在多层金字塔模型中，每个u型网络会输出一个金字塔。因此，u型网络有两个输出，一个输出是金字塔，另一个输出是选择模块。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

综上所述，本发明的目标检测方法使用了多层级的特征金字塔解决了提取的特征准确度不够的问题，另外，使用特征选择模块，解决多尺度特征的问题。解决了多尺度问题和特征提取的问题，具有实时性能好，准确率高，稳定性强，计算效率高的优点，可在实时场景下使用。

另外，以上对本发明实施例所提供的一种基于特征选择的目标检测方法进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。