一种无人机机载目标检测系统及方法与流程

本申请涉及无人机技术领域，尤其涉及无人机数据处理技术，更具体地，涉及一种无人机机载目标检测系统及方法。

背景技术：

随着人工智能的普及，传统产业也在不断的发生着改变。就无人机而言，越来越多机构借助机器视觉或者深度学习等技术使无人机变得更为智能。但大多数无人机飞控性能的制约，通常需要将拍摄到的图像进行压缩编码，传到地面端，再进行解码，最后再进行相应的处理，同时，通过无人机的地理位置坐标会确定无人机拍摄路径，而无人机的飞行姿态也会影响拍摄图像的平稳，特别是在目标检测过程中，更需要对无人机的地理位置坐标与飞行姿态进行获取。但在获取无人机的地理位置与飞行姿态时，都是需要传输到地面端进行处理并存储。使得整个过程并未对数据进行前端实时处理，导致实时性不强与检测效率不高的问题。

技术实现要素：

本申请提供了一种无人机机载目标检测系统及方法，用于解决现有技术中的无人机目标检测以及获取无人机的位置坐标与飞行姿态的实时性不强与检测效率不高的技术问题。

有鉴于此，本申请第一方面提供了一种无人机机载目标检测系统，包括：摄像机、计算模块、imu惯性测量单元、gps定位模块与传感器信息采集模块；

所述摄像机用于实时获取目标视频流；

所述gps定位模块，用于获取所述无人机的位置坐标；

所述imu惯性测量单元，用于获取所述无人机的加速度与角速度；

所述传感器信息采集模块，用于采集并向所述计算模块传输所述gps定位模块所获取的位置坐标与所述imu惯性测量单元所获取的所述无人机的加速度与角速度；

所述计算模块设于所述无人机上，所述计算模块包括深度学习目标检测算法模块、klt目标跟踪计数算法模块、平均值算法模块与卡尔曼滤波算法模块、数据报表生成模块与存储器；

所述深度学习目标检测算法模块，用于检测所述摄像机获取的所述目标视频流中的待检测目标物与相应的视频帧；

所述klt目标跟踪计数算法模块，用于对所述深度学习目标检测算法模块所检测出来的所述待检测目标物在所述目标视频流中进行跟踪，从而统计所述待检测目标物的数量；

所述平均值算法模块，用于对所述传感器信息采集模块所传输的所述加速度与所述角速度进行数据校准；

所述卡尔曼滤波算法模块，用于对经过所述平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定所述无人机的飞行姿态；

所述数据报表生成模块，用于生成数据报表，所述数据报表包括所述待检测目标物、所述待检测目标物对应的视频帧、所述待检测目标物对应的数量、所述无人机的位置坐标与飞行姿态；

所述存储器，用于存储所述数据报表生成模块生成的所述数据报表。

优选地，所述深度学习目标检测算法模块嵌入tiny-yolo目标检测算法模型。

优选地，所述计算模块还包括图像预处理模块，用于对所述摄像机所获取的所述目标视频流进行降噪处理。

优选地，所述计算模块采用fpga芯片集成所述深度学习目标检测算法模块。

优选地，所述计算模块采用arm芯片集成所述klt目标跟踪计数算法模块、所述平均值算法模块、所述卡尔曼滤波算法模块与所述数据报表生成模块。

优选地，所述imu惯性测量单元包括加速度计与陀螺仪，所述加速度计用于获取所述无人机的加速度，所述陀螺仪用于获取所述无人机的角速度。

优选地，所述无人机设有用于所述摄像机运动的三轴云台。

第二方面，本发明实施例还提供了一种无人机机载目标检测方法，包括以下步骤：

步骤s01：通过摄像机获取目标视频流，通过gps定位模块获取无人机的位置坐标，通过imu惯性测量单元获取所述无人机的加速度与角速度；

步骤s02：通过传感器信息采集模块采集并传输所述gps定位模块所获取的位置坐标与所述imu惯性测量单元所获取得所述无人机的加速度与角速度信息；

步骤s03：通过深度学习目标检测算法模块基于预存的深度学习目标检测算法检测所述摄像机获取的所述目标视频流中的待检测目标物与相应的视频帧，并通过klt目标跟踪计数算法模块基于预存的klt目标跟踪计数算法对所述深度学习目标检测算法模块所检测出来的所述待检测目标物在所述目标视频流中进行跟踪，从而统计所述待检测目标物的数量；

通过平均值算法模块，基于预存的平均值算法模块对所述传感器信息采集模块所传输的所述加速度与所述角速度进行数据校准，并通过卡尔曼滤波算法模块，基于预存的卡尔曼滤波算法对经过所述平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定所述无人机的飞行姿态；

步骤s04：通过数据报表生成模块生成数据报表，所述数据报表包括所述计算模块获取的所述待检测目标物、所述待检测目标物对应的视频帧、所述待检测目标物对应的数量、所述无人机的位置坐标与飞行姿态；

步骤s05：通过存储器存储所述数据报表生成模块生成的所述数据报表。

优选地，所述步骤s03中的深度学习目标检测算法采用tiny-yolo目标检测算法，并对tiny-yolo目标检测算法的网络结构模型进行压缩，具体的压缩方式包括：减少卷积层数和/或减少卷积核数目和/或降低图片输入容量。

优选地，所述步骤s01之前还包括：对所述传感器信息采集模块、所述深度学习目标检测算法模块与所述klt目标跟踪计数算法模块进行初始化处理。

从以上技术方案可以看出，本申请实施例具有以下优点：

本发明实施例提供了一种无人机机载目标检测系统及方法，通过摄像机获取视频流，并通过机载的计算模块中设置的深度学习目标检测算法模块检测出待检测目标物，并通过klt目标跟踪计数算法模块对待检测目标物进行跟踪计数，同时，通过gps定位模块获取无人机的位置坐标，并通过imu惯性测量单元获取无人机的加速度与角速度，并通过传感器信息采集模块同时采集并传输位置坐标、无人机的加速度与角速度，随后，通过计算模块中的平均值算法模块对加速度与角速度进行数据校准，并通过卡尔曼滤波算法模块获得精准地飞机姿态，并将上述中获得的待测目标物、待测目标物的数据、位置坐标、飞行姿态均进行记录并保存。通过上述技术方案，可以实现在无人机上直接进行目标检测与飞行数据获取和后续处理，无需传输至地面端进行处理，使得提高了目标检测的实时性，同时，也使得检测效率更加快速。

附图说明

图1为本申请实施例提供的一种无人机机载目标检测系统的结构示意图；

图2为本申请实施例提供的一种无人机机载目标检测系统的原理框图；

图3为本申请实施例提供的一种无人机机载目标检测系统所检测的第一帧图像示意图；

图4为本申请实施例提供的一种无人机机载目标检测系统所检测的第二帧图像示意图；

图5为本申请实施例提供的一种无人机机载目标检测系统所检测的第三帧图像示意图；

图6为本申请实施例提供的一种无人机机载目标检测方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

为了便于理解，请参阅图1与图2，本申请提供的一种无人机机载目标检测系统，包括：摄像机、计算模块、imu惯性测量单元、gps定位模块与传感器信息采集模块；

摄像机用于实时获取目标视频流；

gps定位模块，用于获取无人机的位置坐标；

imu惯性测量单元，用于获取无人机的加速度与角速度；

传感器信息采集模块，用于采集并向计算模块传输gps定位模块所获取的位置坐标与imu惯性测量单元所获取得无人机的加速度与角速度信息；

计算模块设于无人机上，计算模块包括深度学习目标检测算法模块、klt目标跟踪计数算法模块、平均值算法模块、卡尔曼滤波算法模块、数据报表生成模块与存储器；

深度学习目标检测算法模块，用于检测摄像机获取的目标视频流中的待检测目标物与相应的视频帧；

klt目标跟踪计数算法模块，用于对深度学习目标检测算法模块所检测出来的待检测目标物在所述目标视频流进行跟踪，从而统计待检测目标物的数量；

平均值算法模块，用于对传感器信息采集模块所传输的加速度与角速度进行数据校准；

卡尔曼滤波算法模块，用于对经过平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定无人机的飞行姿态；

数据报表生成模块，用于生成数据报表，数据报表包括计算模块获取的待检测目标物、待检测目标物对应的视频帧、待检测目标物对应的数量、无人机的位置坐标与飞行姿态；

存储器，用于存储数据报表生成模块生成的数据报表。

需要说明的是，传感器信息采集模块从imu惯性测量单元所获取得无人机的加速度与角速度的原始数据时，通常会伴随严重的噪声干扰，此外，传感器信息采集模块中的数据变化存在偏移现象，因此，通过平均值算法模块对其进行数据校准使得减少加速度与角速度的误差，提高获取飞行姿态的精准程度。

需要说明的是，klt目标跟踪计数算法模块基于klt目标跟踪计数算法，对深度学习目标检测算法模块所检测出来的待检测目标物进行跟踪并计数，为了防止检测出来的目标被重复统计，提高目标统计的准确度，跟踪计数的具体步骤如下：

(1)参考图3，假设第一帧图像中检测出第一个待检测目标物，klt目标跟踪计数算法会对此待检测目标物进行编号id:001,并对001号目标进行特征点提取；

(2)参考图4，输入第二帧图像，klt目标跟踪计数算法检测出该帧图像中存在两个待检测目标物。首先基于提取的001号待检测目标物的特征点进行匹配，找出001号待检测目标物在第二帧图像中的位置。并对新进入图片中的待检测目标物进行编号id：002，并对002号待检测目标物进行特征点提取；

(3)参考图5，输入第三帧图像，目标检测算法检测出该图像中存在两个待检测目标物。首先基于之前提取的001和002号待检测目标物的特征点进行匹配。如果未匹配到001号待检测目标物，匹配到002号待检测目标物，对新进入的待检测目标物进行编号id：003，并提取003号待检测目标物的特征点；

(4)对随后输入的帧图像重复以上操作，就能实现对目标的跟踪计数。

通过本实施例一，可以在无人机的机载系统中，即前端就可以目标检测并对待检测目标物计数，并在无人机机载系统中进行数据记录并存储相关记录数据。同时，还可以在前端实时获取到无人机的位置坐标与飞行姿态，也提高了目标检测的可靠性，从而使得无人机目标检测更具有实时性。另外，本实施例一通过卡尔曼滤波算法将加速度与角速度融合计算得出更为精准的飞行姿态信息。

实施例二

本实施例二在实施例一的基础上，进一步地，深度学习目标检测算法模块嵌入tiny-yolo目标检测算法。

需要说明的是，tiny-yolo目标检测算法的检测速度远超其他深度学习检测算法，能够更加满足无人机机载应用的实时性要求。

进一步地，计算模块还包括图像预处理模块，用于对摄像机所获取的目标视频流进行降噪处理。

可以理解的是，对目标视频流进行降噪处理，可以降低后期对目标检测造成的干扰程度。

进一步地，计算模块采用fpga芯片集成深度学习目标检测算法模块。

进一步地，计算模块采用arm芯片集成klt目标跟踪计数算法模块、平均值算法模块、卡尔曼滤波算法模块与数据报表生成模块。

进一步地，imu惯性测量单元包括加速度计与陀螺仪，加速度计用于获取无人机的加速度，陀螺仪用于获取无人机的角速度。

进一步地，无人机设有用于摄像机运动的三轴云台。

可以理解的是，无人机在飞行过程中，抖动现象是不可避免的，而通过三轴云台可以提高摄像机拍摄的稳定性。

实施例三

本实施例三提供了一种无人机机载目标检测方法，参考图6，包括以下步骤：

步骤s01：通过摄像机获取目标视频流，通过gps定位模块获取无人机的位置坐标，通过imu惯性测量单元获取无人机的加速度与角速度；

步骤s02：通过传感器信息采集模块采集并传输gps定位模块所获取的位置坐标与imu惯性测量单元所获取得无人机的加速度与角速度信息；

步骤s03：通过深度学习目标检测算法模块基于预存的深度学习目标检测算法检测摄像机获取的目标视频流中的待检测目标物与相应的视频帧，并通过klt目标跟踪计数算法模块基于预存的klt目标跟踪计数算法对深度学习目标检测算法模块所检测出来的待检测目标物在所述目标视频流进行跟踪，从而统计待检测目标物的数量；

通过平均值算法模块，基于预存的平均值算法模块对传感器信息采集模块所传输的加速度与角速度进行数据校准，并通过卡尔曼滤波算法模块，基于预存的卡尔曼滤波算法对经过平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定无人机的飞行姿态；

步骤s04：通过数据报表生成模块生成数据报表，数据报表包括待检测目标物、待检测目标物对应的视频帧、待检测目标物对应的数量、待检测目标物对应的当时无人机的位置坐标与飞行姿态；

步骤s05：通过存储器存储数据报表生成模块生成的数据报表。

进一步地，在步骤s03中的深度学习目标检测算法采用tiny-yolo目标检测算法，为了进一步降低深度学习计算对硬件资源的需求，对tiny-yolo目标检测算法的网络结构模型进行压缩，具体的压缩方式包括：(1)减少卷积层数，tiny-yolo目标检测算法的网络结构模型最后两层的卷积核数目较多，可以去除了其中一层卷积层，从而达到减少参数的目的；(2)减少卷积核数目，tiny-yolo目标检测算法的卷积核的数量随着层数的加深呈递增趋势，可采取折半的方法减少卷积核数量，保持网络结构中池化层以及最后一层卷积核数量不变，而其他卷积层的卷积核数量减半；(3)降低图片输入容量，通过降低图片输入容量，从而减小网络前向推理的计算量，进而加快在目标检测算法上的处理速度，以提高检测帧率。

需要说明的是，以上三种压缩方式可以单独使用或共同使用。，在此不做限定。

进一步地，步骤s01之前还包括：对传感器信息采集模块、深度学习目标检测算法模块与klt目标跟踪计数算法模块进行初始化处理。

可以理解的是，对传感器信息采集模块、深度学习目标检测算法模块与klt目标跟踪计数算法模块进行初始化处理，可以提高目标检测的准确性，以及减少数据采集的误差。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-onlymemory，英文缩写：rom)、随机存取存储器(英文全称：randomaccessmemory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。