捷联图像制导飞行器的目标识别及制导方法

文档序号:26007793发布日期:2021-07-23 21:26阅读:173来源:国知局
捷联图像制导飞行器的目标识别及制导方法

本发明涉及飞行器制导控制领域,具体涉及一种捷联图像制导飞行器的目标识别及制导方法。



背景技术:

目前,图像制导在飞行器控制领域中的应用越来越受到重视,其中捷联图像制导需要通过捷联在飞行器上的摄像头实时获得视场域照片,该视场域一般较大,且包含目标,再进一步锁定目标,获知目标位置,从而据此控制飞行器飞向目标。

但是目前的捷联图像制导方案整体效果并不理想,还存在一些问题需要进一步克服,首先,视场域照片较大,背景区域占比极高,不同应用场合下,背景区域区别极大,这会对目标识别造成巨大干扰,所以现有的制导控制方案中,找错目标或者未发现目标的情况都时有发生;由于捷联图像会受到飞行器抖动的影响,其图像噪音较大,也会导致从视场域照片中识别并筛选出目标的难度增大。另外,更为重要的是,由于视场域照片较大,其中可能包含多个能够被模型识别的目标,操作者和飞行器自身都难以实时从中挑选出预期的目标,这就导致飞行器即使命中,也未必能够达到预期的效果,事实上,这样的状况更大地可能会导致飞行器脱靶。

由于上述原因,本发明人对现有的控制方法做了深入研究,以期待设计出一种能够解决上述问题的捷联图像制导飞行器的目标识别及制导方法。



技术实现要素:

为了克服上述问题,本发明人进行了锐意研究,设计出一种捷联图像制导飞行器的目标识别及制导方法,该方法中对目标照片图像和捷联图像进行特征提取,将提取到的特征图输入深度神经网络进行目标区域识别,进而得到目标位置信息,从而实现将操作者给定的目标照片输入到计算模型中并控制该模型识别并追踪该目标的目的,进一步地,将该模型应用在捷联可见光导引头图像中,能够准确识别并追踪目标,还能够屏蔽复杂背景及捷联导引头抖动导致的不确定性,从而完成本发明。

具体来说,本发明的目的在于提供以一种捷联图像制导飞行器的目标识别及制导方法,该方法包括如下步骤:

步骤1,通过观测摄像头拍摄并获得目标照片,将目标照片发送给制导飞行器;

步骤2,制导飞行器通过其上的捷联摄像头实时拍摄捷联图像,

步骤3,每一帧捷联图像都与目标照片做特征匹配,并得到对应的特征图,

步骤4,将所述特征图实时输入到目标检测模型中,从而实时获得目标位置信息。

其中,在步骤2中,所述捷联摄像头安装在飞行器的前端,其在启动工作后,按照特定频率拍摄获得的照片称之为捷联图像。

在步骤3中,通过下式(一)执行特征匹配:

mi(x;y)表示反应捷联图像与目标照片相关度大小的互信息熵值,所述特征图即由所述互信息熵值组成;

p(x)表示捷联图像中每个元素点的边缘概率;

p(y)表示目标照片的每个元素点的边缘概率;

p(x,y)表示捷联图像和目标照片的联合概率。

其中,所述目标检测模型通过机器学习获得,并在飞行器发射前灌装到所述飞行器中;

优选地,所述目标检测模型的机器学习包括如下步骤:

步骤a,采集样本并获取数据集,

步骤b,数据集标注,

步骤c,深度神经网络学习。

其中,所述步骤a包括如下子步骤:

子步骤1,通过无人机搭载摄像机,在俯视角度下航拍获得背景照片;

子步骤2,选择需要训练的靶目标图像,并将之嵌入到背景照片中任意随机位置;

子步骤3,将所述靶目标图像旋转固定角度,得到倾斜的靶目标图像,调取不包含靶目标图像的背景照片,并将该倾斜的靶目标图像嵌入到背景照片中任意随机位置;

子步骤4,多次重复子步骤3,直至所述靶目标图像旋转360度。

其中,在子步骤3中,所述固定角度为固定角度为0.3~0.5度,优选为0.36度,即优选地,在子步骤4中获得包含1000张图像的数据集。

其中,对步骤a中的数据集图像,做扭曲处理后再执行子步骤b,

优选地,通过下式对所述数据集图像做扭曲处理:

offset_x表示水平方向形变的位置增量,

offset_y表示垂直方向形变的位置增量,

i表示水平方向形变前的初始值,

j表示垂直方向形变前的初始值,

优选地,数据集图像中每一个像素点原始位置(i,j)的像素值被发生位置形变后的像素点位置(i+offset_x,j+offset_y)的像素值所代替,从而完成数据集图像的扭曲处理。

其中,所述步骤a还包括:

子步骤5,更换需要训练的靶目标图像,并重复子步骤2-子步骤4。

其中,在步骤中c中,将所述带有标注的数据集逐一输入到所述目标检测模型中,该目标检测模型自动学习图像特征,生成相应的权值,并且逐渐调整,最终获得稳定的目标检测模型。

其中,该方法还包括步骤5,在获得目标位置信息后,通过下式(二)获得控制指令:

其中,ηy表示控制指令;

kp表示无控时的飞行器俯仰角约束比例系数;表示飞行器俯仰角;表示飞行器期望俯仰角;n表示比例系数;v表示飞行器速度;r表示飞行器与目标连线距离;k表示重力补偿系数;g表示当地重力加速度;θ表示飞行器轨迹倾角;δx表示相邻两组目标位置信息中目标在水平方向的位置差,δy表示相邻两组目标位置信息中目标在垂直方向的位置差;

key表示开关,具体通过下式(三)获得:

t0表示接收到第一个目标位置信息的时间点,t表示当前时间;δ表示视场角。

本发明所具有的有益效果包括:

(1)根据本发明提供的捷联图像制导飞行器的目标识别及制导方法,该方法能够快速准确地指定具体的目标,并使得飞行器通过捷联图像持续追踪该目标,不会受到视场域中其他目标的影响;

(2)根据本发明提供的捷联图像制导飞行器的目标识别及制导方法,能够应用在捷联环境下获得的捷联图像,并且据此准确追踪目标,不受捷联抖动的干扰,具有极高的鲁棒性。

附图说明

图1示出根据本发明一种优选实施方式的捷联图像制导飞行器的目标识别及制导方法整体逻辑图;

图2示出本发明实施例中数据集的示意图;

图3示出本发明实施例中扭曲后的数据集示意图;

图4和图5示出本发明实施例中目标检测模型的训练结果

图6示出本发明实施例中的预测效果图;

图7示出本发明实施例中的飞行器飞行轨迹图。

具体实施方式

下面通过附图和实施例对本发明进一步详细说明。通过这些说明,本发明的特点和优点将变得更为清楚明确。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。

根据本发明提供的捷联图像制导飞行器的目标识别及制导方法,如图1中所示,该方法包括如下步骤:

步骤1,通过观测摄像头拍摄并获得目标照片,将目标照片发送给制导飞行器;

步骤2,制导飞行器通过其上的捷联摄像头实时拍摄捷联图像,

步骤3,每一帧捷联图像都与目标照片做特征匹配,并得到对应的特征图,

步骤4,将所述特征图实时输入到目标检测模型中,从而实时获得目标识别信息,即为目标位置信息。所述飞行器根据实时获得的目标位置信息解算控制指令,并据此控制舵机打舵,从而确保飞行器持续飞向目标位置,直至最终命中目标。

在一个优选的实施方式中,所述观测摄像头安装在飞机上,由操作者来控制拍摄选择目标照片,所述目标照片的像素较小,如17*25。所述飞机可以为用以发射飞行器的大型飞机,也可以是专用侦查的小型飞机。所述飞行器可以为通过飞机投放的空投式飞行器,也可以是由地面炮管发射的飞行器。所述操作者可以为飞机驾驶员,或者由操作者远程控制无人机;在拍摄到包含目标的照片以后,再由操作者从中框选剪切出所述目标照片并发送给制导飞行器。

优选地,所述飞机为能够发射飞行器的飞机,所述飞行器挂载在所述飞机上,所述捷联摄像头能够在飞行器准备投放时启动工作,并接收目标照片。

所述捷联摄像头安装在飞行器的前端,其在启动工作后,按照特定频率拍摄获得的照片称之为捷联图像。所述特定频率优选为20hz。

在一个优选的实施方式中,在步骤3中,通过下式(一)执行特征匹配:

mi(x;y)表示反应捷联图像与目标照片相关度大小的互信息熵值,所述特征图即由所述互信息熵值组成;

p(x)表示捷联图像中每个元素点的边缘概率;

p(y)表示目标照片的每个元素点的边缘概率;

p(x,y)表示捷联图像和目标照片的联合概率。

本申请中通过执行上述特征匹配的处理步骤,能够使得后续目标检测模型中接收到的基础样本中目标位置的显著性提高,从而降低背景干扰、扰动干扰及其他种类目标的干扰对图像识别准确性带来的负面影响。

在一个优选的实施方式中,所述目标检测模型通过机器学习获得,并在飞行器发射前灌装到所述飞行器中;

优选地,所述目标检测模型的机器学习包括如下步骤:

步骤a,采集样本并获取数据集,

步骤b,数据集标注,

步骤c,深度神经网络学习。

具体来说,所述步骤a包括如下子步骤:

子步骤1,通过无人机搭载摄像机,在俯视角度下航拍获得背景照片,所述背景照片一般比较大,可以设置为320*256像素的照片;通过无人机俯视角度拍摄来使得获得的背景照片与飞行器上获得的真实照片近似,提高后续学习的准确性;

子步骤2,选择需要训练的靶目标图像,并将之嵌入到背景照片中任意随机位置,所述靶目标即为预计要通过飞行器进行打击的目标,可以设置为17×25像素的照片;

子步骤3,将所述靶目标图像旋转固定角度,得到倾斜的靶目标图像,调取不包含靶目标图像的背景照片,并将该倾斜的靶目标图像嵌入到背景照片中任意随机位置;

子步骤4,多次重复子步骤3,直至所述靶目标图像旋转360度。通过设置该旋转靶目标,既能够增加基础数据数量,还能够使得整体训练环境与旋转的飞行器获得的照片更为匹配。

优选地,在子步骤3中,所述固定角度为固定角度为0.3~0.5度,优选为0.36度,即优选地,在子步骤4中获得包含1000张图像的数据集。

进一步优选地,对步骤a中的数据集图像,做扭曲处理后再执行子步骤b,

优选地,通过下式对所述数据集图像做扭曲处理:

offset_x表示水平方向形变的位置增量,

offset_y表示垂直方向形变的位置增量,

i表示水平方向形变前的初始值,

j表示垂直方向形变前的初始值,

优选地,数据集图像中每一个像素点原始位置(i,j)的像素值被发生位置形变后的像素点位置(i+offset_x,j+offset_y)的像素值所代替,从而完成数据集图像的扭曲处理。

优选地,在步骤b中,数据集标注,并将之制作成voc格式数据集。

在一个优选的实施方式中,所述步骤a还包括:

子步骤5,更换需要训练的靶目标图像,并重复子步骤2至子步骤4。通过更换多种靶目标,使得目标检测模型能够识别更多的目标照片,进而建立完善的目标库,确保操作者给出的目标照片能够被目标检测模型识别,从而顺利实现针对该目标的精确打击。

在一个优选的实施方式中,在步骤中c中,将所述带有标注的数据集逐一输入到所述目标检测模型中,该目标检测模型自动学习图像特征,生成相应的权值,并且逐渐调整,最终获得稳定的目标检测模型。

优选地,所述目标检测模型包括主干网络、特征融合网络和预测网络。

所述主干网络的网络结构包括:

输入层:包含1个卷积层,1个激活函数leakyrelu;

cbl层:包含1个卷积层,1个激活函数leakyrelu;

csp1_1层:包含6个卷积层,3个激活函数leakyrelu;

cbl层:包含1个卷积层,1个激活函数leakyrelu;

csp1_3层:包含10个卷积层,3个激活函数leakyrelu;

cbl层:包含1个卷积层,1个激活函数leakyrelu;

csp1_3层:包含10个卷积层,3个激活函数leakyrelu;

cbl层:包含1个卷积层,1个激活函数leakyrelu;

spp层:包含2个卷积层,2个激活函数leakyrelu;

通过设置上述网络结构结构,能够有效的减少模型的参数量和浮点运算(flops)值,在维持检测速度和准确率的同时有效减小了模型的大小。

所述特征融合网络优选地选用路径聚合网络(panet)来完成聚合特征,以实现对同一目标但不同大小和尺度的识别。

所述预测网络采用多尺度预测网络,从而弥补对于小目标识别的缺陷,并改进了损失函数以及预测框的筛选。

所述目标检测模型包括主干网络、特征融合网络和预测网络经过多次带有标注的数据集的冲刷后,会自动学习图像特征,生成相应的权值,经过多次上述神经网络学习,最终生成相应的目标检测模型。

本申请中所述的目标检测模型还可以通过ssd、yolov3、yolov4及yolov5等算法模型进行深度神经网络学习获得。

在步骤4中,将特征图输入到该目标检测模型中时,该目标检测模型即可输出对应的目标位置信息,以便于飞行器据此控制自身的飞行方向。

在一个优选的实施方式中,在获得目标位置信息后,通过下式(二)获得控制指令:

其中,ηy表示控制指令;kp表示无控时的飞行器俯仰角约束比例系数,一般取值为0.1~1.5,优选取值为1;表示飞行器俯仰角,可由飞行器上的imu解算得到;表示飞行器期望俯仰角,一般为5°~12°,优选为8°;n表示比例系数,一般取值为2~5,优选为4;v表示飞行器速度,可由飞行器上的加速度计解算得到;r表示飞行器与目标连线距离,可以由捷联图像导引头的连续帧图像和imu联合估计得到;k表示重力补偿系数,一般取值为0.1~1,优选地取值为0.6;g为当地重力加速度,一般取值为9.81;θ表示飞行器轨迹倾角,可由飞行器上加速度计解算得到的速度做正切得到;δx表示相邻两组目标位置信息中目标在水平方向的位置差,δy表示相邻两组目标位置信息中目标在垂直方向的位置差;

key表示开关,具体通过下式(三)获得:

t0表示接收到第一个目标位置信息的时间点;δ为视场角,一般为5°~20°,优选地为15°。

实施例:

(1)搭建目标检测模型:

通过无人机搭载摄像机,在俯视角度下航拍获得背景照片;

选择需要训练的靶目标图像,并将之嵌入到背景照片中任意随机位置;

将所述靶目标图像旋转0.36度,得到倾斜的靶目标图像,调取不包含靶目标图像的背景照片,并将该倾斜的靶目标图像嵌入到背景照片中任意随机位置;

多次重复重复上述步骤999次,直至所述靶目标图像旋转360度;获得嵌入有靶目标图像的背景照片数据集;如图2中所示;

通过下式对数据集图像做扭曲处理;如图3中所示;

offset_x表示水平方向形变的位置增量,

offset_y表示垂直方向形变的位置增量,

i表示水平方向形变前的初始值,

j表示垂直方向形变前的初始值,

数据集图像中每一个像素点原始位置(i,j)的像素值被发生位置形变后的像素点位置(i+offset_x,j+offset_y)的像素值所代替,从而完成数据集图像的扭曲处理。

数据集标注,并将之制作成voc格式数据集;

利用标注好的数据集冲刷训练yolov5模型,获得目标检测模型。该目标检测模型的训练结果如图4和图5中所示;

其中,图4和图5的横坐标均是训练的轮数为3000轮。

图4反映了目标检测回归损失、置信度与训练轮数的关系,在训练的3000轮中,yolov5的回归损失和置信度在下降。

图5反映了召回率、精确率、平均精度均值map与训练轮数的关系,在训练的3000轮中,yolov5的召回率、精确率、平均精度均值map在提高。

该框架在yolov5的识别帧率为34.36,识别精度为0.88。yolov5和模板匹配后得到识别帧率为40.81,识别精度为0.93,经过模板匹配,它的识别帧率和识别精度得到了有效的提高。

平均精度均值map

精确率(precision)

召回率(recall)

目标检测回归损失giou

(2)获取特征图

调取飞行器上捷联导引头实时拍摄的捷联图像,每帧图像的像素大小为320×256,再调取像素大小为17×25的目标照片,通过下式(一)对每帧捷联图像与目标照片做特征匹配,得到连续的特征图;

其中,mi(x;y)表示反应捷联图像与目标照片相关度大小的互信息熵值,所述特征图即由所述互信息熵值组成;

(3)获得目标位置

将所述连续的特征图输入到目标检测模型中,实时输出得到连续的预测目标信息;预测结果的识别帧率为40.81,识别精度为0.93。

预测目标信息与真实目标信息基本一致,从而说明本申请提供的捷联图像制导飞行器的目标识别及制导方法能够实时精准识别到目标,效果可靠,预测效果图6中所示。

将获得的目标位置信息实时传递到飞行器中,在飞行器中选用下式(二)解算控制指令:

kp取值为1;取值为8°;n取值为4;k取值为0.6;g取值为9.81;

key表示开关,具体通过下式(三)获得:

δ取值为15°。

得到的飞行器运动轨迹如图7中所示,可以看出,该飞行器运行轨迹整体平稳,最终能够命中目标。

对比例:

(1)建立与实施例中相同的目标检测模型;

(2)调取与实施例中相同的飞行器上捷联导引头实时拍摄的捷联图,并将该飞行器上捷联导引头实时拍摄的捷联图像直接输入到目标检测模型中,实时输出得到连续的预测目标信息,预测结果的识别帧率为34.36,识别精度为0.88。

通过实施例和对比例的比较可知,通过本申请提供的捷联图像制导飞行器的制导控制方法,能够显著提高预测目标图像的识别帧率和识别精度,进而提高目标识别效果,为后续准确追踪目标提供数据基础。

以上结合了优选的实施方式对本发明进行了说明,不过这些实施方式仅是范例性的,仅起到说明性的作用。在此基础上,可以对本发明进行多种替换和改进,这些均落入本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1