一种引入双向注意力的目标检测方法与流程

文档序号:22967728发布日期:2020-11-19 21:42阅读:来源:国知局

技术特征:

1.一种引入双向注意力的目标检测方法,其特征在于,其具体步骤如下:

步骤1,获取用于目标检测的训练样本,并对训练样本进行预处理;

步骤2,建立引入双向注意力的目标检测算法模型,所述引入双向注意力的目标检测算法模型包括共享卷积网络、基础目标检测器和注意力模块;

步骤3,将训练样本送入引入双向注意力的目标检测算法模型中训练,优化模型的多任务损失;

步骤4,将实际应用场景中的测试样本送入训练好的引入双向注意力的目标检测算法模型进行测试,得到目标检测结果。

2.根据权利要求1所述的一种引入双向注意力的目标检测方法,其特征在于:所述步骤1中训练样本的预处理具体包括以下子步骤:

步骤11,读取目标检测训练样本,每个样本包括图像和标签;

步骤12,对图像进行预处理,将图像进行随机大小,随机长宽比的裁剪,然后将裁剪后的图像调整为固定大小;

步骤13,依概率p对图像进行水平翻转;

步骤14,将读入的图像数据转换为张量,并将rgb三个通道[0,255]的数值归一化至[0,1];

步骤15,将图像数据按通道进行标准化。

3.根据权利要求2所述的一种引入双向注意力的目标检测方法,其特征在于:所述步骤2具体包括以下子步骤:

步骤21,所述共享卷积网络用于提取图像的浅层特征图;

步骤22,基础目标检测器通过深度卷积神经网络组成的主干网络对浅层特征图继续提取特征,得到深层特征图;再对深层特征图进行分类和回归,得到矩形框和分类得分矩阵r;

步骤23,注意力模块根据基础目标检测器的结果给浅层特征图赋予不同的注意力权值,浅层特征图中的每个像素对应的特征向量和注意力权值进行点乘之后再继续输入到卷积网络中进行处理,得到注意力模块分类得分矩阵m;

步骤24,注意力模块的结果以一定的注意力权重和基础目标检测器的结果进行结合得到最后的目标检测结果。

4.根据权利要求3所述的一种引入双向注意力的目标检测方法,其特征在于:所述基础目标检测器采用一阶段或者两阶段的目标检测算法。

5.根据权利要求3所述的一种引入双向注意力的目标检测方法,其特征在于:所述注意力模块的卷积网络采用mobilenetv3网络。

6.根据权利要求3所述的一种引入双向注意力的目标检测方法,其特征在于:所述注意力权值按照如下的方法进行赋予:

(1)如果基础目标检测器预测的矩形框和真实物体框最大的iou大于设定的前景阈值fg_thresh,该矩形框中所有像素点的注意力权值赋为1;

(2)如果基础目标检测器预测的特征图的像素点对应预测得到的分类分数大于设定的attention阈值,该像素点预测得到的矩形框中范围内包含的所有像素点的注意力权值赋为1;

(3)其余像素点的注意力权值赋为0。

7.根据权利要求3所述的一种引入双向注意力的目标检测方法,其特征在于:所述注意力模块的结果以一定的注意力权重和基础目标检测器的结果结合的具体方式是:

首先计算注意力权重矩阵w:

其中m是注意力模块分类得分矩阵,c表示所有物体类别数;r是基础目标检测器分类得分矩阵,rt是r经过转置后的矩阵;

假设基础目标检测器得到某像素点的分类分数为r,结合注意力模块的结果得到该像素点的分类分数为

scare=r·(wtm)

其中wt表示注意力权重矩阵w转置后的矩阵;

该像素点对应的分类分数score和基础目标检测器预测得到的矩形框一起组成了该像素点的目标检测结果,然后利用非极大抑制算法对矩形框进行筛选,得到最后的目标检测结果。

8.根据权利要求3所述的一种引入双向注意力的目标检测方法,其特征在于:所述步骤3具体包括以下子步骤:

步骤31,将训练样本对随机打乱,每次训练迭代选择nb个训练样本进行训练,其中nb<<训练样本总数;

步骤32,将步骤31中预处理后的图像输入到共享卷积网络中,得到浅层特征图,浅层特征图同时输入到基础目标检测器和注意力模块中;基础目标检测器计算分类损失lcls和定位损失lloc,其中分类损失lcls采用交叉熵损失函数,定位损失lloc采用smooth-l1损失函数;

注意力模块分类损失lattention采用交叉熵损失函数;

步骤33,对网络参数进行调整优化多任务损失:l=lcls+lloc+lattention,训练算法模型直到收敛。

9.根据权利要求3所述的一种引入双向注意力的目标检测方法,其特征在于:所述的步骤4具体包括以下子步骤:

步骤41,将测试样本进行预处理;

步骤42,将预处理后的测试样本输入训练好的引入双向注意力的目标检测算法模型,得到目标检测结果;

步骤43,重复步骤41至步骤42,直到测试样本集中所有图片均测试完毕,计算目标检测评价指标map。


技术总结
一种引入双向注意力的目标检测方法,其具体步骤如下:步骤1,获取用于目标检测的训练样本,并对训练样本进行预处理;步骤2,建立引入双向注意力的目标检测算法模型,所述引入双向注意力的目标检测算法模型包括共享卷积网络、基础目标检测器和注意力模块;步骤3,将训练样本送入引入双向注意力的目标检测算法模型中进行训练,并优化模型的多任务损失;步骤4,将实际应用场景中的测试样本送入训练好的引入双向注意力的目标检测算法模型进行测试,得到目标检测结果。本发明可以模拟人脑的工作机制,提高目标检测性能。

技术研发人员:欧阳胜雄;李英明;钱小鸿;陈才君;蒋立靓;罗鹏
受保护的技术使用者:银江股份有限公司;浙江大学
技术研发日:2020.07.01
技术公布日:2020.11.17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1