一种图像特征提取方法及装置与流程

本发明涉及机器视觉领域，特别涉及一种图像特征提取方法及装置。

背景技术：

卷积神经网络引入目标检测领域之后，机器对图像目标的识别能力有了极大的提升，也吸引了众多的学者参与到该领域的研究中。小目标检测一直是图像检测领域中一个充满挑战和热度的研究主题。小目标检测的难点主要是物体特征信息少，对噪声敏感。目前检测小目标的方法可大致分为两类，一类是通过扩大图像来放大目标，从而增多小目标的信息，这类方法带来的改进有限；另一类是使用或融合卷积神经网络中的多层特征图来获取充足的小目标特征信息，但是这些方法都没有对图中的噪声进行处理。小目标检测对噪声敏感，过多的噪声影响对小目标信息的识别。

技术实现要素：

为了解决噪声对小目标检测的干扰，本发明提出像素注意网络，其是一种能增强目标信息，同时又弱化非目标信息干扰的图像特征提取方法与装置。所述技术方案如下：

s1.基于卷积神经网络和待检测的目标图像，生成初始特征图。

s2.将初始特征图输入到初始模块中进一步学习高阶抽象的特征信息，得到增强特征图。

s3.基于增强特征图，利用监督学习生成一个长宽和增强特征图一样的特征显著图。

s4.对特征显著图进行归一化处理。

s5.将初始特征图和归一化后的特征显著图相乘，得到净化特征图。

进一步地，在步骤s2中，所述初始模块中有4个分支，每个分支使用不同大小的多个非对称卷积核提取不同抽象程度的高阶抽象特征。然后将每个分支的输出在通道维度上拼接到一起。

进一步地，在步骤s3中，根据监督学习地思想训练模型生成特征显著图的过程中，需要根据标注数据生成区分是否是物体的二值图。再通过不断优化二值图和特征显著图之间的交叉熵损失来指导模型学习生成正确的特征显著图。

进一步地，在步骤s3中，二值图和特征显著图之间的交叉熵损失定义如下：

其中超参数λ表示像素注意网络损失函数latt在整个目标检测模型损失函数中占的比重，w，h分别表示特征图的长和宽，表示二值图中第ij个像素的标定值，uij表示第ij个像素的预测值

进一步地，在步骤s3中，特征显著图可以具有2通道，也可以只有1通道。

进一步地，在步骤s5中，任选取特征显著图中一个通道元素与初始特征图每个通道中的元素相乘，得到净化特征图。

一种图像特征提取装置，包括处理器和存储器，所述存储器中存储有计算机程序；所述计算机程序被所述处理器执行时可实现如上任一项所述的方法。

与现有技术相比，本发明的优点是：

1、在初始模块中使用多个分支，包含多个不同大小的非对称卷积核。一方面减少参数减轻过拟合，另一方面则加了非线性扩展模型的表达能力，非对称的卷积结构可以处理待测图中更丰富的空间特征，增加提取特征的多样性。

2、特征显著图与初始特征图相乘，可以减弱初始特征图中的噪声，清晰化目标边界，相对增强目标信息，有利于目标检测。此外，特征显著图是一种连续的特征图，非目标信息不会被完全消除，这有利于保留一定的上下文信息，提高网络的鲁棒性。

3、本发明在特征提取阶段进行改进，生成的净化特征图可以直接作为不同类型目标检测网络的输入，提升网络检测小目标的性能。本发明移植使用简单，应用范围广。

附图说明

图1是特征提取总体流程图。

图2是基于本发明的fasterrcnn目标检测模型。

图3是初始模块的内部结构。

图4是本发明的优化效果图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

本实施例的图像特征提取方法，包括：s1.基于卷积神经网络和待检测的目标图像，生成初始特征图。s2.将初始特征图输入到初始模块中进一步学习高阶抽象的特征信息，得到增强特征图。s3.基于增强特征图，利用监督学习生成一个长宽和增强特征图一样的特征显著图。s4.对特征显著图进行归一化处理。s5.将初始特征图和归一化后的特征显著图相乘，得到净化特征图。

如图2所示，本实例中展示，结合本发明提出来的特征提取方法优化fasterrcnn检测小目标的能力。图像输入到resnet101中进行初步的特征提取。我们将resnet101中具有相同维度的卷积层看作一个阶段，resnet101则有5个阶段，可分别记为c1至c5。优选c3作为初始特征图，因为太浅的网络层中包含的抽象信息太少，不利于后续初始模块的学习，太深的网络层经过了多次池化，保留的小目标已经非常少了，以此为基础也不利于后续的小目标检测。

初始特征图输入到初始模块中进行进一步的特征提取。一般提升网络性能最直接的办法就是增加网络深度和宽度，这也就意味着巨量的参数。巨量参数不仅带来更长的计算耗时，也容易产生过拟合。了打破网络对称性和提高学习能力，传统的网络使用了随机稀疏连接。但是，计算机软硬件对非均匀稀疏数据的计算效率很差。为了平衡两者，研究表明可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能，这样既保持了网络结构的稀疏性，又利用了密集矩阵的高计算性能。初始模块就是这样一种结构。初始模块中有4个分支，每个分支使用不同大小的多个非对称卷积核提取不同抽象程度的高阶抽象特征。然后将每个分支的输出在通道维度上拼接到一起。本实例中，初始模块的内部结构如图3所示。每个分支采用不同大小的卷积核，这样可以获取不同大小的感受野，在提取抽象特征时能够更好地适应各种大小的物体。实例中分支最靠前的1x1卷积和3x3的平均池化用于降维，能够有效地减少计算量。将3x3卷积、5x5卷积和7x7卷积分别拆分为3x1卷积、1x3卷积、5x1卷积、1x5卷积、7x1卷积和1x7卷积同样是为了在保持对特征提取充分的前提下，降低计算量。设定卷积步长stride＝1之后，只要分别设定pad＝0、1、2，那么卷积之后不同分支可以得到相同维度的特征图，然后在通道维度上将这些特征图直接串联在一起得到增强特征图。串联不同分支意味着将不同尺度的特征进行融合，特征融合有利于提升模型对小目标的检测能力。

基于增强特征图，利用监督学习的方式训练一个与增强特征图长宽相同的1通道特征显著图。特征显著图的学习目标是根据训练数据的标注生成的二值图。通过减少二值图和特征显著图之间的交叉熵损失来指导模型学习生成正确的特征显著图。交叉熵损失函数如下：

其中超参数λ表示像素注意网络损失函数latt在整个目标检测模型损失函数中占的比重，w，h分别表示特征图的长和宽，表示二值图中第ij个像素的标定值，uij表示第ij个像素的预测值

本实例中利用softmax函数对生成的特征显著图进行归一化处理。归一化后的特征显著图上的每一个元素都表示初始特征中图中对应位置的元素正确表征目标特征的概率。然后，用特征显著图与初始特征图中的每一个通道层相乘，得到净化特征图。净化特征图作为fasterrcnn的输入，输入到区域候选网络rpn(regionproposalnetwork)中,供提取更准确的目标候选区域(proposals)。然后对不同尺寸的目标候选框进行roi池化，将它们缩放到相同的尺寸，最后输出到全连接层中，计算得出最终的检测结果。

图4展示的本发明中使用到的训练数据，和使用本发明前后目标特征提取效果的变化。图4(b)显示的是像素注意网络的输入，也就是初始特征图。图中实线圈出来的是目标特征，虚线全出的部分是噪声，噪声堆积较多时容易被误判断为目标。图4(b)中方框标出的部分是5个紧密排列的物体，图4(a)对这部分进行了放大，可以看出物体之间有非常多的噪声，这导致物体之间的边界模糊，不利于物体位置的回归。图4(d)是特征显著图，它与图4(b)相乘得到图4(c)，即净化特征图。图4(f)是标注数据，根据目标区域和非目标区域，可以将图4(f)变成如图4(e)的二值图，利用图4(e)可以训练网络生成图4(d)。从图4(c)显示的按本发明提取到的图像特征可以发现，用本发明提取物体特征能够有效的抑制噪声，使目标物体具有更加清晰的边界，有利于目标的识别和定位。

一种图像特征提取装置，包括处理器和存储器，所述存储器中存储有计算机程序；所述计算机程序被所述处理器执行时可实现如上任一项所述的方法。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。