一种复杂背景下无人机载小目标检测定位方法及系统与流程

本发明涉及无人机技术领域，特别涉及一种复杂背景下无人机载小目标检测定位方法及系统。

背景技术：

小型无人机具有造价低廉、使用方便等特点，是完成对地目标搜索、监视等任务的理想空中平台。然而，现有的无人机定位技术仍然存在着很多缺陷，如在复杂的背景下难以将物体与背景进行分离，从而造成定位精度低；远距离目标成像效果差，目标在图像中占据的像素点较少，难以将目标进行准确识别，无法实现检测定位等。

在算法方面，现有定位算法较为复杂，严重影响到定位系统的检测效率。在硬件方面，无人机载荷有限，而搭载的各种探测设备、硬件装置的重量和体积都较大。因此，设计出一种复杂背景下无人机载小目标的检测定位方法与系统，提升无人机对小目标检测定位的精度和实时性，是目前迫切需要解决的技术问题。

技术实现要素：

本发明的目的在于提供一种复杂背景下无人机载小目标检测定位方法及系统，以解决现有技术存在的复杂的背景下难以将物体与背景进行分离，造成定位精度低；远距离目标成像效果差，目标在图像中占据的像素点较少，难以对目标进行准确识别，无法实现精确检测定位的技术问题。

为解决上述技术问题，本发明的实施例提供如下方案：

一方面，提供了一种复杂背景下无人机载小目标检测定位方法，包括以下步骤：

获取小目标的视频图像以及无人机和云台的姿态数据；

通过多通道优选自适应引导滤波去雾算法对获取的视频图像进行预处理；

利用有限像素目标空间-语义信息融合检测算法，对预处理后的视频图像进行检测，获得小目标的像素位置；

利用空间多参数像素映射地理坐标定位算法，将视频图像中小目标的像素位置与无人机的地理坐标进行关联映射，获得小目标在地理坐标系下的经纬度和高度；

实时显示无人机载视频图像中的小目标及其在地理坐标系下的经纬度和高度。

优选地，所述通过多通道优选自适应引导滤波去雾算法对获取的视频图像进行预处理具体包括：

对获取的视频图像进行通道分割，分为：暗通道图像、亮通道图像和rgb三通道图像；

根据暗通道图像和亮通道图像估算局部大气值；

对rgb三通道图像进行加权引导滤波，之后估算局部透射率；

根据估算的局部大气值和局部透射率，结合雾干扰模型，得到去雾图像。

优选地，所述利用有限像素目标空间-语义信息融合检测算法，对预处理后的图像进行检测具体包括：

构建空间-语义特征提取网络，通过对感兴趣区域池化、归一化处理提取多层空间特征信息，通过循环卷积提取语义特征信息；

通过两层全连接层对目标的边界框进行回归分类，得到视频图像的检测结果。

优选地，所述利用空间多参数像素映射地理坐标定位算法，将视频图像中小目标的像素位置与无人机的地理坐标进行关联映射具体包括：

根据视频图像的检测结果，得到小目标在视频图像中的像素位置；

将无人机在地面位置的高度作为大地高，将小目标在视频图像中的像素位置与无人机地理坐标进行映射，求解出小目标在地理坐标系中的经纬度；

根据计算得到的经纬度，确定小目标的大地高，将得到的小目标的大地高与无人机在地面位置的高度对比，进行修正，确定小目标的经纬度和高度。

一方面，提供了一种复杂背景下无人机载小目标检测定位系统，包括：

目标视觉增强子系统，用于获取小目标的视频图像以及无人机和云台的姿态数据，并通过多通道优选自适应引导滤波去雾算法对获取的视频图像进行预处理；

深度学习机载检测定位子系统，用于利用有限像素目标空间-语义信息融合检测算法，对预处理后的视频图像进行检测，获得小目标的像素位置；以及，利用空间多参数像素映射地理坐标定位算法，将视频图像中小目标的像素位置与无人机的地理坐标进行关联映射，获得小目标在地理坐标系下的经纬度和高度；

数据回传与地面站子系统，用于实时传输及显示无人机载视频图像中的小目标及其在地理坐标系下的经纬度和高度。

优选地，所述目标视觉增强子系统具体用于：

对获取的视频图像进行通道分割，分为：暗通道图像、亮通道图像和rgb三通道图像；

根据暗通道图像和亮通道图像估算局部大气值；

对rgb三通道图像进行加权引导滤波，之后估算局部透射率；

根据估算的局部大气值和局部透射率，结合雾干扰模型，得到去雾图像。

优选地，所述深度学习机载检测定位子系统具体用于：

构建空间-语义特征提取网络，通过对感兴趣区域池化、归一化处理提取多层空间特征信息，通过循环卷积提取语义特征信息；

通过两层全连接层对目标的边界框进行回归分类，得到视频图像的检测结果。

优选地，所述深度学习机载检测定位子系统还具体用于：

根据视频图像的检测结果，得到小目标在视频图像中的像素位置；

将无人机在地面位置的高度作为大地高，将小目标在视频图像中的像素位置与无人机地理坐标进行映射，求解出小目标在地理坐标系中的经纬度；

根据计算得到的经纬度，确定小目标的大地高，将得到的小目标的大地高与无人机在地面位置的高度对比，进行修正，确定小目标的经纬度和高度。

优选地，所述检测定位系统包括摄像机、云台、惯性测量单元、复杂背景图像处理与空间姿态解算协处理单元和高性能计算单元；

所述复杂背景图像处理与空间姿态解算协处理单元包括i/o模块、时钟控制电路、jtag控制器、基本可编程逻辑单元；

所述摄像机、所述云台、所述惯性测量单元连接所述i/o模块，所述i/o模块连接所述时钟控制电路、所述jtag控制器以及所述基本可编程逻辑单元，所述时钟控制电路和所述jtag控制器连接所述基本可编程逻辑单元，所述基本可编程逻辑单元连接所述高性能计算单元，所述高性能计算单元连接所述数据回传与地面站子系统。

优选地，所述惯性测量单元包括三轴陀螺仪、三轴加速度计、三轴地磁传感器、气压计和gps模块。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明针对复杂背景下传统去雾算法局部细节损失导致有限像素小目标检测效果下降的特点，提出多通道优选自适应引导滤波去雾算法，去除杂散噪声，保留有限像素小目标整体特征信息；针对无人机载视频小目标所占像素少，目标与背景难以分离的特点，提出有限像素目标空间-语义融合检测算法，实现复杂背景下小目标的有效特征提取和检测；针对小目标中心位置难以测量，目标定位精度和实时性差的特点，提出空间多参数像素映射地理坐标定位算法，将视频图像中小目标像素位置与无人机地理坐标关联映射，获得小目标在地理坐标系下的经纬度和高度，本发明可对复杂背景下无人机载小目标进行实时在线精确检测定位。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种复杂背景下无人机载小目标检测定位方法的流程图；

图2是本发明实施例提供的多通道优选自适应引导滤波去雾算法流程图；

图3是本发明实施例提供的有限像素目标空间-语义融合信息检测算法网络结构图；

图4是本发明实施例提供的空间多参数像素映射地理坐标定位算法流程图；

图5是本发明实施例提供的一种复杂背景下无人机载小目标检测定位系统的结构示意图；

图6是本发明实施例提供的无人机载小目标检测定位系统的具体结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明的实施例提供了一种复杂背景下无人机载小目标检测定位方法，如图1所示，该方法包括以下步骤：

获取小目标的视频图像以及无人机和云台的姿态数据；

通过多通道优选自适应引导滤波去雾算法对获取的视频图像进行预处理；

利用有限像素目标空间-语义信息融合检测算法，对预处理后的视频图像进行检测，获得小目标的像素位置；

利用空间多参数像素映射地理坐标定位算法，将视频图像中小目标的像素位置与无人机的地理坐标进行关联映射，获得小目标在地理坐标系(wgs-84gps)下的经纬度和高度；

实时显示无人机载视频图像中的小目标及其在地理坐标系下的经纬度和高度。

本发明针对复杂背景下传统去雾算法局部细节损失导致有限像素小目标检测效果下降的特点，提出多通道优选自适应引导滤波去雾算法，去除杂散噪声，保留有限像素小目标整体特征信息；针对无人机载视频小目标所占像素少，目标与背景难以分离的特点，提出有限像素目标空间-语义融合检测算法，实现复杂背景下小目标的有效特征提取和检测；针对小目标中心位置难以测量，目标定位精度和实时性差的特点，提出空间多参数像素映射地理坐标定位算法，将视频图像中小目标像素位置与无人机地理坐标关联映射，获得小目标在地理坐标系下的经纬度和高度，本发明可对复杂背景下无人机载小目标进行实时在线精确检测定位。

进一步地，如图2所示，所述通过多通道优选自适应引导滤波去雾算法对获取的视频图像进行预处理具体包括：

对获取的视频图像进行通道分割，分为：暗通道图像、亮通道图像和rgb三通道图像；

根据暗通道图像和亮通道图像估算局部大气值；

对rgb三通道图像进行加权引导滤波，之后估算局部透射率；

根据估算的局部大气值和局部透射率，结合雾干扰模型，得到去雾图像。

在不同场景下，检测算法可能受到多种不同类型的干扰：在城市复杂背景中可能受到楼宇等人造建筑干扰；在山地环境下可能受到植被干扰；本发明针对复杂背景，构建公路、城市、山地、乡村等各种背景的小目标数据集，对检测网络进行训练，增强复杂背景下无人机载小目标检测定位模型的泛化能力。

无人机飞行时容易受到空中雾的干扰，复杂背景下传统去雾算法局部细节损失导致有限像素小目标检测效果下降，本发明设计多通道优选自适应引导滤波去雾算法，利用图像亮通道计算图像各个位置大气光成分，既能保证图像信息完整，又能使图像细节更清晰完善，并利用引导滤波去除杂散噪声，调整图像整体平滑度，增强有限像素小目标整体特征信息，从而提高检测定位效果。

具体地，本发明利用经典的雾模型，结合先验知识求解大气光成分和透射率，在计算机视觉中，根据雾图形成模型以及暗通道先验理论对透射率进行预估：

i(x)＝j(x)t(x)+a(1-t(x))

将上式稍作处理，变形为下式：

根据暗通道先验理论有：

因此，可推导出透射率的预估值。

假设大气光已知，而实际上大气光是估计值。传统算法在原始无雾图像中寻找像素对应位置的最大像素值作为大气光值。但是，若图像中背景区域有过亮或有高亮物体，则大气光估计值可能接近255，会导致去雾后图像出现偏色或色斑。本发明提出多通道优选引导滤波算法，从亮通道和暗通道两方面分别进行大气光值的估计，获取最终的大气光，从而求解出无雾图像，从而实现对目标结构和细节信息的增强。

进一步地，如图3所示，所述利用有限像素目标空间-语义信息融合检测算法，对预处理后的图像进行检测具体包括：

构建空间-语义特征提取网络，通过对感兴趣区域池化、归一化处理提取多层空间特征信息，通过循环卷积提取语义特征信息；

通过两层全连接层对目标的边界框进行回归分类，得到视频图像的检测结果。

通常目标尺寸小于4×4像素时，可以认为是小目标。此时目标成像面积小，由于无人机远距离成像、目标几何尺寸小等因素导致目标在成像视野范围内所占比例小，目标像素占比低于整幅图像的0.1％。针对小目标的图像，本发明提出一种有限像素目标空间-语义信息融合检测算法，该算法融合了目标的空间信息和语义信息，增强了目标的特征表达，能够实现复杂背景下小目标的特征提取，从而达到对复杂背景下小目标的精确检测。

进一步地，所述利用空间多参数像素映射地理坐标定位算法，将视频图像中小目标的像素位置与无人机的地理坐标进行关联映射具体包括：

根据视频图像的检测结果，得到小目标在视频图像中的像素位置；

将无人机在地面位置的高度作为大地高，将小目标在视频图像中的像素位置与无人机地理坐标进行映射，求解出小目标在地理坐标系中的经纬度；

根据计算得到的经纬度，确定小目标的大地高，将得到的小目标的大地高与无人机在地面位置的高度对比，进行修正，确定小目标的经纬度和高度。

具体地，如图4所示，根据视频图像的检测结果，得到小目标在视频图像中的像素位置；根据相机分辨率和像元尺寸进行变换，得到小目标在视频图像物理坐标系下的位置；再根据相机焦距得到小目标在相机坐标系中的位置，结合云台的俯仰角、偏航角、横滚角，得到小目标在无人机地理坐标系下的位置。无人机飞行时可以实时获得本体的俯仰角、偏航角、横滚角，由这些信息，可以确定其在相机坐标系下的位置。无人机在初始位置的经纬度和高度可以确定机载小目标在大地坐标系下的位置，根据地球参数，可以确定无人机载小目标在大地坐标系下的地理坐标系的经纬度。

本发明针对现有技术中机载小目标定位精度低、实时性差的问题，提出利用空间多参数像素映射地理坐标定位算法，该算法为基于投影坐标变换的机载小目标实时定位算法，从视频图像中获取载机的姿态信息，以视频图像中小目标的中心点像素作为其在视频图像中的像素位置，将机载小目标在视频图像中的像素位置与实际大地高相结合，在无人机视觉领域利用深度学习对机载小目标进行检测并进行空间姿态解算进行定位，将其与真实场景中的位置对应起来，获得小目标在地理坐标系下的经纬度和高度。

作为本发明的一种具体实现方式，利用空间多参数像素映射地理坐标定位算法的详细流程如下：根据获得的视频图像得到小目标在图像中的位置信息，该位置信息是在图像像素坐标系(图像的左上角为原点)下的坐标，将其进行变换，得到其在图像物理坐标系(图像的中心为原点)的坐标，再转换为相机坐标系中的位置(以相机的光轴中心为原点)的坐标，相机坐标系到云台坐标系(光轴中心为原点)的转换包括旋转和平移，进行变换后，得到其在云台坐标系下的坐标，估算目标的地理位置，提取目标区域的数字高程信息，可以使无人机在目标周围飞行，以无人机的高度信息作为初始大地高，进而对其进行机载坐标系(原点为相机的像点)，大地坐标系、云台坐标系、载机坐标系、大地坐标系(坐标系的原点均为相机的像点)，以及地理坐标系转换，得到物体在实际地理位置中的经纬度和高度。

根据大地高，对无人机载小目标进行定位，得到目标的经纬度和高度；根据该区域的数字高程信息，此时的大地高与目标的高度进行比较，当在一定误差范围内可以确定目标的高度。

相应地，本发明的实施例还提供了一种复杂背景下无人机载小目标检测定位系统，如图5所示，该系统包括：

目标视觉增强子系统，用于获取小目标的视频图像以及无人机和云台的姿态数据，并通过多通道优选自适应引导滤波去雾算法对获取的视频图像进行预处理；

深度学习机载检测定位子系统，用于利用有限像素目标空间-语义信息融合检测算法，对预处理后的视频图像进行检测，获得小目标的像素位置；以及，利用空间多参数像素映射地理坐标定位算法，将视频图像中小目标的像素位置与无人机的地理坐标进行关联映射，获得小目标在地理坐标系下的经纬度和高度；

数据回传与地面站子系统，用于实时传输及显示无人机载视频图像中的小目标及其在地理坐标系下的经纬度和高度。

本发明提供的复杂背景下无人机载小目标检测定位系统，可对复杂背景下无人机载小目标进行实时在线精确检测定位。

进一步地，所述目标视觉增强子系统具体用于：

对获取的视频图像进行通道分割，分为：暗通道图像、亮通道图像和rgb三通道图像；

根据暗通道图像和亮通道图像估算局部大气值；

对rgb三通道图像进行加权引导滤波，之后估算局部透射率；

根据估算的局部大气值和局部透射率，结合雾干扰模型，得到去雾图像。

目标视觉增强子系统与通道优选自适应引导滤波去雾算法深度整合，达到算法硬件化，提高硬件的深度处理能力与算法的适配性。

进一步地，所述深度学习机载检测定位子系统具体用于：

构建空间-语义特征提取网络，通过对感兴趣区域池化、归一化处理提取多层空间特征信息，通过循环卷积提取语义特征信息；

通过两层全连接层对目标的边界框进行回归分类，得到视频图像的检测结果。

进一步地，所述深度学习机载检测定位子系统还具体用于：

根据视频图像的检测结果，得到小目标在视频图像中的像素位置；

将无人机在地面位置的高度作为大地高，将小目标在视频图像中的像素位置与无人机地理坐标进行映射，求解出小目标在地理坐标系中的经纬度；

根据计算得到的经纬度，确定小目标的大地高，将得到的小目标的大地高与无人机在地面位置的高度对比，进行修正，确定小目标的经纬度和高度。

本发明实施例所述复杂背景下无人机载小目标检测定位系统的一种具体结构如图6所示。该系统包括摄像机、云台、惯性测量单元、复杂背景图像处理与空间姿态解算协处理单元和高性能计算单元；

所述复杂背景图像处理与空间姿态解算协处理单元包括i/o模块、时钟控制电路、jtag控制器、基本可编程逻辑单元；

所述摄像机、所述云台、所述惯性测量单元连接所述i/o模块，所述i/o模块连接所述时钟控制电路、所述jtag控制器以及所述基本可编程逻辑单元，所述时钟控制电路和所述jtag控制器连接所述基本可编程逻辑单元，所述基本可编程逻辑单元连接所述高性能计算单元，所述高性能计算单元连接所述数据回传与地面站子系统。

具体地，imu惯性测量单元为集成芯片，包括三轴陀螺仪、三轴加速度计、三轴地磁传感器、气压计和gps模块，在无人机中起到的作用是感知姿态的变化。其中三轴陀螺仪用于测量无人机本机的倾角；三轴加速度计用于测量飞机xyz三个轴的加速度；地磁传感器用于感知地磁的，相当于电子指南针；气压计通过测量不同位置的气压，计算压差以获得当前的高度；gps用于获取无人机的经纬度和高度。

时钟控制电路给i/o模块和基本可编程逻辑单元提供时钟信号，包括全局时钟信号，时钟复位信号和输出使能信号。

jtag控制器控制i/o模块通过总线对数据进行读取，其中，串口采集惯性测量单元中的无人机姿态数据和摄像头传输的视频图像，can总线采集云台的姿态数据，解码后存储到复杂背景图像协处理单元的数据存储模块。

基本可编程逻辑单元包括图像预处理模块，完成复杂背景下无人机载小目标的去雾等目标视觉增强，通过串行解码，把串行数据转换为并行数据，输出到高性能计算单元。

高性能计算单元根据复杂背景图像处理与空间姿态解算协处理单元的输出数据，对无人机载小目标进行视频图像检测，并与无人机坐标系地理坐标关联映射，实现机载小目标的地理定位，最后的结果通过数据回传与地面站子系统进行传输并实时显示。数据回传与地面站子系统实现机载小目标及其在地理坐标系下的经纬度和高度的可视化。

本发明实施例提供的检测定位系统不需要无人机搭载激光测距设备，适用于小型轻量的无人机。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。