基于特征增强的多类别光学图像旋转目标自适应检测方法

文档序号:25607430发布日期:2021-06-25 14:08阅读:来源:国知局

技术特征:
1.一种基于特征增强的多类别光学图像旋转目标自适应检测方法,其特征在于,包括如下步骤:(1)获取训练样本集和测试样本集:(1a)获取包括m个旋转目标类别的t幅大小为n
×
n的光学图像h={h1,h2,

,h
t
,

,h
t
},每幅光学图像h
t
至少包含k个旋转目标,并通过标注框对每幅光学图像h
i
中的每个旋转目标进行标注,将标注框中心的水平坐标x和垂直坐标y、标注框的长l和宽w、标注框的长边与水平方向的逆时针夹角θ作为h
t
中每个旋转目标的边界框位置标签,将标注框内目标的类别c作为h
t
中每个目标的类别标签,c∈{1,2,

,m},其中,m≥2,t≥20,h
t
表示第t幅光学图像,k≥2;(1b)以l_step为滑动步长,并通过大小为n
×
n的滑窗将每幅光学图像h
t
裁剪为p个光学子图像h

t
={h

t1
,h

t2
,

,h

ts
,

,h

tp
},得到裁剪后的光学图像集合h

={h
′1,h
′2,

,h

t
,

,h

t
},其中,h

ts
表示h
t
裁剪得到的第s个光学子图像;(1c)通过光学子图像h

ts
中目标相对于h
t
中目标的水平偏移量x
diff
和垂直偏移量y
diff
,计算图像h

ts
中目标的水平坐标x

=x

x
diff
和垂直坐标y'=y

y
diff
,并将图像h

ts
中目标的标注框中心的水平坐标x'和垂直坐标y'、标注框的长l和宽w、标注框的长边与水平方向的逆时针夹角θ作为h

ts
中目标的边界框位置标签,图像h

ts
中目标的标注框的类别c作为h

ts
中目标的类别标签;(1d)对h

t
中包含旋转目标的光学子图像集合h

t
中的每个光学子图像分别进行镜像翻转和随机角度扰动的数据增强,得到数据增强后的光学子图像集合h
″′
t
,并将h

t
和h
″′
t
构成的光学子图像集合以及中每个光学子图像的标签作为训练样本集,将从裁剪后的光学子图像集合h'中随机抽取的r
×
p幅裁剪后的光学子图像集合h
*
以及h
*
中每个光学子图像的标签作为测试样本集,其中,(2)构建基于特征增强的光学图像旋转目标检测网络模型:构建包括顺次连接的主干网络和检测网络的光学图像旋转目标检测网络模型,其中:主干网络包括顺次连接的特征提取子网络和特征增强子网络;特征提取子网络包括多个卷积层和多个block块,block块包括顺次连接的两个卷积层和一个残差连接层;特征增强子网络包含顺次连接的一个上采样层和block1块;检测网络包括并行连接的定位子网络和分类子网络;定位子网络包含顺次连接的卷积层、全连接层和先验框层;分类子网络包含顺次连接的卷积层和全连接层;(3)对基于特征增强的光学图像旋转目标检测网络模型进行迭代训练:(3a)初始化迭代次数为w,最大迭代次数为w,w≥10000,并令w=1;(3b)将从训练样本集随机选取的b个训练样本作为光学图像旋转目标检测网络模型的输入进行前向传播,主干网络中的特征提取子网络对每个训练样本的所有目标进行特征提取,特征增强子网络对特征提取子网络所提取的特征进行合并后,对合并后的特征进行卷积融合,得到融合后的语义特征和位置特征,检测网络中的定位子网络利用融合后的位置特征计算目标预测边界框,分类子网络利用融合后的语义特征计算目标预测类别,其中,b
≥10;(3c)定位子网络采用smoothl1函数,并通过目标的预测边界框和目标的边界框位置标签计算目标的位置损失值l1,分类子网络采用交叉熵函数,并通过目标的预测类别置信度和目标的类别标签计算目标的类别置信度损失值l2,然后采用随机梯度下降法,并通过l1与l2的和对主干网络和检测网络中的卷积核权重参数ω
w
和全连接层结点之间的连接权重参数θ
w
进行更新;(3d)判断w=w是否成立,若是,得到训练好的基于特征增强的光学图像旋转目标检测网络模型,否则,令w=w+1,并执行步骤(3b);(4)获取光学图像旋转目标的自适应检测结果:(4a)将测试样本中的每幅光学子图像作为训练好的基于特征增强的光学图像旋转目标检测网络的输入,进行目标的边界框位置和目标的类别置信度检测,得到中所有目标的边界框位置和类别置信度,并滤除目标类别置信度中低于置信度阈值λ的目标边界框位置和类别置信度,得到过滤后的目标边界框位置和类别置信度,然后通过旋转目标的非极大值抑制rnms方法对同一目标重复检测的边界框位置的目标的边界框和类别置信度进行过滤,得到的过滤后的目标边界框和类别置信度;(4b)对测试样本中的每幅光学子图像进行l1倍缩小和l2倍放大,并将缩小后的光学子图像和放大后的光学子图像作为训练好的基于特征增强的光学图像旋转目标检测网络的输入,进行目标的边界框位置和目标的类别置信度检测,得到和中所有目标的边界框位置和类别置信度,并滤除目标类别置信度中低于置信度阈值λ的目标边界框位置和类别置信度,得到过滤后的目标边界框位置和类别置信度,然后通过旋转目标的非极大值抑制rnms方法对同一目标重复检测的边界框位置的目标的边界框和类别置信度进行过滤,得到的过滤后的目标的边界框和类别置信度,以及的过滤后的目标的边界框和类别置信度;(4c)对和中的过滤后的目标边界框位置和类别置信度进行合并,并通过rnms方法对同一目标重复检测的边界框位置的目标的边界框和类别置信度进行过滤,得到所有目标的边界框位置和类别置信度,2.根据权利要求1所述的基于特征增强的多类别光学图像旋转目标自适应检测方法,其特征在于,步骤(2)中所述的特征提取子网络、特征增强子网络、定位子网络和分类子网络,具体结构和参数分别为:特征提取子网络包括5个卷积层和26个block块,具体结构为:第一卷积层、第一至第二block、第二卷积层、第三至第六block、第三卷积层、第七至第十四block、第四卷积层、第十五至第二十二block、第五卷积层和第二十三至第二十六block;第一卷积层的卷积核尺寸为5
×
5,第二至第五卷积层卷积核的尺寸均为3
×
3,激活函数均为relu函数,第一至第五卷积层的卷积步长均为2,第一至第五卷积层卷积核的个数分别为64、128、256、512和1024;
每个block包含顺次连接的卷积层block_c1和卷积层block_c2,block_c1的卷积核尺寸为1
×
1,block_c2的卷积核尺寸为3
×
3,卷积步长均为1,激活函数均为relu函数;特征增强子网络包括顺次连接的一个上采样层和block1,block1包含6个卷积层,具体结构为:并行连接的block_c1、block_c2、block_c2,block_c1、block_c2,block_c1;定位子网络包括3个卷积层、3个全连接层和3个先验框层,具体结构为:第六卷积层、第一全连接层、第一先验框层、第七卷积层、第二全连接层、第二先验框层、第八卷积层、第三全连接层和第三先验框层;第六卷积层的卷积核个数为1024,卷积核尺寸为5
×
5,第七卷积层的卷积核个数为512,卷积核尺寸为3
×
3,第八卷积层的卷积核个数为256,卷积核尺寸为3
×
3,该三个卷积层的卷积步长均为1,激活函数均为relu函数;第一、第二和第三全连接层的隐层单元个数分别为135、180和180;第一先验框层的三个先验框的长分别为0.728、0.573和0.478,宽分别为0.147、0.115和0.096,第二先验框层的四个先验框的长分别为0.374、0.248、0.159和0.095,宽分别为0.074、0.049、0.036和0.049,第三先验框层的四个先验框的长分别为0.057、0.043、0.030和0.029,宽分别为0.029、0.021、0.016和0.013,该三个先验框层的角度均为0
°
,20
°
,40
°
,60
°
,80
°
,100
°
,120
°
,140
°
,160
°
;分类子网络包括3个卷积层和3个全连接层,具体结构为:第九卷积层、第四全连接层、第十卷积层、第五全连接层、第十一卷积层、第六全连接层;第九卷积层的卷积核个数为1024,卷积核尺寸为5
×
5,第十卷积层的卷积核个数为512,卷积核尺寸为3
×
3,第十一卷积层的卷积核个数为256,卷积核尺寸为3
×
3,该三个卷积层的卷积步长均为1,激活函数均为relu函数;第四、第五和第六全连接层的隐层单元个数分别为243、324和324。3.根据权利要求1所述的基于特征增强的多类别光学图像旋转目标自适应检测方法,其特征在于,步骤(3c)中所述的目标的位置损失值l1、目标的类别置信度损失值l2、smoothl1函数和交叉熵函数的表达式,以及卷积核权重参数ω
w
和各全连接层结点之间的连接权重参数θ
w
的更新公式分别为:的更新公式分别为:的更新公式分别为:的更新公式分别为:的更新公式分别为:的更新公式分别为:
其中,gtbox
i
为第i个目标的边界框位置标签,pbox
i
为第i个目标的预测边界框,p
i
为第i个目标的m类的预测类别置信度向量,p
ij
为第i个目标第j类的预测类别置信度,y
i
为第i个目标的m类的类别标签向量,若第i个目标的类别为c,则y
i
=[0,

,1,

,0],1的位置在类别标签向量y
i
的第c个位置,y
ij
为y
i
的第j个位置的值,k'表示目标总数;η表示学习率,1e

6≤η≤0.1,ω
w+1
和θ
w+1
分别表示ω
w
和θ
w
更新后的结果,表示偏导计算。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1