一种基于视觉的无人机实时运动目标分类与检测方法与流程

本发明属于无人机图像处理技术和计算机视觉领域，具体而言涉及一种基于视觉和深度学习的无人机对实时运动目标的分类和检测方法。

背景技术：

运动目标在复杂动态背景下的实时识别是无人机朝着全自主应用必经的步骤，而由于应用平台的特殊性，在小型无人机系统下，传统的检测方法如基于分割、基于分类器、基于特征点等，由于基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余，对于动态背景的检测鲁棒性不高；而基于深度学习以r-cnn为代表的结合regionproposal和cnn分类的目标检测框架，因为不能在无人机平台上兼顾检测精度和检测速度的应用要求，无法实现对于运动目标在复杂动态背景中的实时机载检测。

技术实现要素：

本发明的目的在于提供一种基于视觉的无人机实时运动目标分类与检测方法，克服现有技术中无人机在复杂动态背景中的实时机载目标识别和检测，不能兼顾检测速度和精度等要求的技术问题。

为了解决上述问题，本发明采取如下技术方案：

一种基于视觉的无人机实时运动目标分类与检测方法，其特征在于，通过无人机系统完成对目标的识别与检测，所述无人机系统包括无人机和地面站系统，其中无人机包括无人机本体和设置在无人机本体上的云台、相机、机载嵌入式处理器、飞行控制器和无线数字传输设备，相机、飞行控制器和无线数字传输设备均与机载嵌入式处理器之间通过导线连接，无人机和地面站系统通过无线数字传输设备进行无线通讯；

无人机系统对目标的识别与检测包括如下步骤：

1)、控制无人机飞行到目标所在区域后，控制云台和相机对目标所在区域进行视频拍摄；

2)、无人机机载嵌入式处理器对所拍摄视频进行畸变校正，并压缩成能够进行目标识别的尺寸；

3)、机载嵌入式处理器采用经过训练的yolov2算法识别视频中同类目标；

4)、无人机将视频和同类目标的识别结果通过无线数字传输设备传输给地面站系统，地面站系统根据识别结果统计、标定视频中的同类目标物，便于用户执行后续操作；

5)、当需要无人机执行跟踪或者降落到某一特定目标的任务时，通过人为操作在地面站系统中选择已标定同类目标中的一个作为特定目标，以进一步识别与跟踪，并将已选定特定目标的结果上传给无人机；

6)、机载嵌入式处理器通过orb算法提取特定目标的特征并保存；

7)、无人机进行特定目标识别，采用yolov2算法识别所拍摄视频中每一帧图像中所有的同类目标，缩小特征提取范围、提高识别精度；

8)、机载嵌入式处理器采用orb算法提取每一帧中已识别的同类目标的特征，并与特定目标的特征进行特征匹配；同时，预估特定目标的移动轨迹，计算所有同类目标位置与预估特定目标移动轨迹的匹配度；

9)、综合特征匹配度和轨迹匹配度：

9.1)、当所有同类目标中的一个目标的匹配度满足设定阈值时，则认定该目标为特定目标，然后寻找到每一帧图像中特定目标所在位置，并标注，进而进行后续跟踪、降落等处理；

9.2)、当所有同类目标的匹配度均不满足设定阈值时，地面站系统重新选定特定目标。

通过上述方法解决了无人机在复杂动态背景中的实时机载目标识别和检测，包括同类目标物和特定目标物识别，兼顾检测速度和精度等要求。目标识别借助深度学习的前沿技术，无人机通过先进的yolov2算法准确识别视频中同类目标物，并对其进行统计和标记，以便用户使用；当用户在地面站选定已识别同类目标物中的某一个特定目标物后，无人机系统用orb算法提取其特征，之后不断与每帧视频中提取的同类目标物特征进行匹配，并结合选定目标的运动轨迹趋势，综合得到最终匹配的特定目标及其位置。特定目标识别为后续的目标自动跟踪、精准降落等自动化功能提供了保障。

进一步改进，实际使用中，由于加工和安装误差，相机拍摄的视频会存在畸变，需校正畸变误差，所述对视频进行畸变校正的步骤如下：

1)、使用无人机所选定相机对标准平面标定板进行多角度拍摄，拍摄图像数量为12～20张；

2)、通过matlab或opencv库对所拍摄标定板视图进行处理，获取相机畸变参数；

3)、根据相机畸变参数修正视频畸变误差。

进一步改进，yolov2算法是一种联合训练算法，代表着目前最先进物体检测水平，在多种监测数据集中都要快过其他检测系统，并可以在速度与精确度上进行权衡。

如果按照标准k-means使用欧式距离函数，大boxes比小boxes产生更多错误。但是，我们真正想要的是产生好的iou得分的boxes(与box的大小无关)。因此采用了如下距离度量：

d(box,centroid)＝1-iou(box,centroid)；

其中，box表示选择的目标框，centroid表示目标框的矩心，iou得分表示box之间的交集除以并集。如此处理，则错误就和box的尺度无关。iou得分越高，则距离d越小。，

通过调用开源的神经网络框架darknet来实现yolov2算法，更改其中的目标类、训练集、训练迭代次数、学习率、batches等参数以匹配实际应用。

采用yolov2算法识别目标的步骤如下：

1)、调用开源的神经网络框架darknet框架，输入所拍摄视频，输出检测结果，所述检测结果包括包围目标的矩形目标框的对角坐标和目标类别，所述目标框为矩形框；

2)、将检测结果输出为xml格式文件；

3)、在输入视频图像中绘制出矩形框，可视化检测结果；

4)、对检测结果按照需求进行统计。

进一步改进，通过在linux系统中调用opencv库的相关文件和函数，可实现orb算法。用其提取yolov2识别的同类目标的特征，与参考目标进行匹配，匹配度越高则为选定特定目标的概率越大。

orb算法结合了fast算法和brief算法的速度优势，并给fast特征点增加了方向性，使得特征点具有旋转不变性，并提出了构造金字塔方法，解决尺度不变性。

采用orb算法提取目标特征的步骤如下：

1)、构造尺度金字塔；

2)、在每层金字塔上采用fast算法提取特征点，采用harris角点响应函数，按角点响应值排序，选取前n个特征点，n的取值范围为和检测出的特征点个数有关，n为检测出特征点个数的20％～60％，且n为正整数；所述ast算法和brief算法为现有技术；

3)、计算每个特征点的主方向；

4)、旋转每个特征点的patch到主方向；

5)、采用汉明距离进行特征点匹配。

进一步改进，采用灰度质心法计算每个特征点的主方向，计算特征点半径为r的圆形邻域范围内的灰度质心位置，其中r的取值范围为2-40个像素点，根据从邻域范围中心位置到质心位置的向量，定义为该特征点的主方向；

定义矩的计算公式如下：

“p”表示矩是否在x轴方向上，1为在x轴上，0为不在x轴上；

“q”表示矩是否在y轴方向上，1为在y轴上，0为不在y轴上；

i(x，y)为点(x，y)处的灰度值；

灰度质心位置的坐标：

特征点主方向：

θ＝atan2(m01,m10)；

得到的θ值即特征点的主方向。

其中，(x，y)为邻域范围内点的坐标，m10表示矩的x轴方向距离，m01表示矩的y轴方向距离，m00表示单位矩。

进一步改进，所述预估特定目标的移动轨迹的方法如下，基于常规目标的速度在图像相邻帧之间不会突变，根据已检测到的特定目标在相邻多帧间的位置变化趋势，估计出特定目标移动轨迹和速度，从而预测出特定目标在下一帧的大概位置。

正常时只要在预测的位置附近进行目标检测即可，因为预测的范围比整幅图像小，可以大大加快检测速度；而且，不需要对检测图像进行大比例的缩小，可以提高检测精度。预测出目标的运动轨迹后，计算检测到的各个同类目标相对于预测轨迹和位置的偏离程度，偏离越小则为选定跟踪目标的概率越大。

进一步改进，所述无人机选用嵌入式超级计算平台nvidiajetsontx2来辅助完成yolov2算法。

与现有技术相比，本方案具有如下有益效果：

本发明解决了无人机在复杂动态背景中的实时机载目标识别和检测，兼顾检测速度和精度等要求。通过采用目前最新的深度学习算法在动态背景中准确识别同类目标的基础上，再调用先进的特征提取算法，保证目标识别和特征提取精度的同时通过减少提取区域来加快速度，并且分析预测目标物的运动轨迹，辅助特定目标位置的准确识别。通过搭载便携嵌入式ai平台nvidiatx2，解决算力问题。结合无人机系统的训练和测试等方法流程，可让无人机机载系统本身兼顾检测精度和速度，增强鲁棒性，实时且高效地分类和检测出选定目标物体，并可进行精准特定目标识别，进而为后续的目标物跟踪、精准降落等提供技术保障。

附图说明

图1为本发明所述无人机系统框图。

图2为本发明所述基于视觉的无人机实时运动目标分类与检测方法的流程图。

具体实施方式

为使本发明的目的和技术方案更加清楚，下面结合本发明实施例对本发明的技术方案进行清楚，完整的描述。

如图1所示，无人机系统包括无人机和地面站系统，其中无人机包括无人机本体和设置在无人机本体上的云台、相机、机载嵌入式处理器、nvidiajetsontx2和飞行控制器，相机、nvidiajetsontx2、飞行控制器和图传数传一体机与机载嵌入式处理器之间通过导线连接，无人机和地面站系统通过无线数字传输设备进行无线通讯。

在本实施例中，无人机系统对目标的识别与检测包括如下步骤，如图1所示：

1)、控制无人机飞行到目标所在区域后，控制云台和相机对目标所在区域进行视频拍摄；

2)、由于加工和安装误差，相机拍摄的视频会存在畸变，无人机机载嵌入式处理器对所拍摄视频进行畸变校正，并压缩成能够进行目标识别的尺寸；所述对视频进行畸变校正的步骤如下：

2.1)、使用无人机所选定相机对标准平面标定板进行多角度拍摄，拍摄图像数量为12～20张；

2.2)、通过matlab或opencv库对所拍摄标定板视图进行处理，获取相机畸变参数；

2.3)、根据相机畸变参数修正视频畸变误差。

3)、机载嵌入式处理器采用经过训练的yolov2算法识别视频中同类目标。yolov2算法是一种联合训练算法，代表着目前最先进物体检测水平，在多种监测数据集中都要快过其他检测系统，并可以在速度与精确度上进行权衡。如果按照标准k-means使用欧式距离函数，大boxes比小boxes产生更多错误。但是，我们真正想要的是产生好的iou得分的boxes(与box的大小无关)。因此采用了如下距离度量：

d(box,centroid)＝1-iou(box,centroid)；

其中，box表示选择的目标框，centroid表示目标框的矩心，iou得分表示box之间的交集除以并集。如此处理，则错误就和box的尺度无关。iou得分越高，则距离d越小。

通过调用开源的神经网络框架darknet来实现yolov2算法，更改其中的目标类、训练集、训练迭代次数、学习率、batches等参数以匹配实际应用。

采用yolov2算法识别目标的步骤如下：

3.1)、调用开源的神经网络框架darknet框架，输入所拍摄视频，输出检测结果，所述检测结果包括包围目标的矩形目标框的对角坐标和目标类别，所述目标框为矩形框；

3.2)、将检测结果输出为xml格式文件；

3.3)、在输入视频图像中绘制出矩形框，可视化检测结果；

3.4)、对检测结果按照需求进行统计。

4)、无人机将视频和同类目标的识别结果通过图传数传一体机传输给地面站系统，地面站系统根据识别结果统计、标定视频中的同类目标物，便于用户执行后续操作；

5)、当需要无人机执行跟踪或者降落到某一特定目标的任务时，通过人为操作在地面站中选择已标定同类目标中的一个作为特定目标，以进一步识别与跟踪，并将已选定特定目标的结果上传给无人机；

6)、机载嵌入式处理器通过orb算法提取特定目标的特征并保存。通过在linux系统中调用opencv库的相关文件和函数，可实现orb算法。用其提取yolov2识别的同类目标的特征，与参考目标进行匹配，匹配度越高则为选定特定目标的概率越大。orb算法结合了fast算法和brief算法的速度优势，并给fast特征点增加了方向性，使得特征点具有旋转不变性，并提出了构造金字塔方法，解决尺度不变性。

采用orb算法提取目标特征的步骤如下：

6.1)、构造尺度金字塔；

6.2)、在每层金字塔上采用fast算法提取特征点，采用harris角点响应函数，按角点响应值排序，选取前n个特征点，n的取值范围为和检测出的特征点个数有关，n为检测出特征点个数的20％～60％，且n为正整数；

6.3)、计算每个特征点的主方向；

6.4)、旋转每个特征点的patch到主方向；

6.5)、采用汉明距离进行特征点匹配。

在本实施中，采用灰度质心法计算每个特征点的主方向，计算特征点半径为r的圆形邻域范围内的灰度质心位置，根据从邻域范围中心位置到质心位置的向量，定义为该特征点的主方向；

定义矩的计算公式如下：

“p”表示矩是否在x轴方向上，1为在x轴上，0为不在x轴上；

“q”表示矩是否在y轴方向上，1为在y轴上，0为不在y轴上；

i(x，y)为点(x，y)处的灰度值；

灰度质心位置的坐标：

特征点主方向：

θ＝atan2(m01,m10)；

得到的θ值即特征点的主方向。

其中，(x，y)为邻域范围内点的坐标，m10表示矩的x轴方向距离，m01表示矩的y轴方向距离，m00表示单位矩。

7)、无人机进行特定目标识别，采用yolov2算法识别所拍摄视频中每一帧图像中所有的同类目标，缩小特征提取范围、提高识别精度；

8)、机载嵌入式处理器采用orb算法提取每一帧中已识别的同类目标的特征，并与特定目标的特征进行特征匹配；同时，预估特定目标的移动轨迹，计算所有同类目标位置与预估特定目标移动轨迹的匹配度；所述预估特定目标的移动轨迹的方法如下，基于常规目标的速度在图像相邻帧之间不会突变，根据已检测到的特定目标在相邻多帧间的位置变化趋势，估计出特定目标移动轨迹和速度，从而预测出特定目标在下一帧的大概位置。正常时只要在预测的位置附近进行目标检测即可，因为预测的范围比整幅图像小，可以大大加快检测速度；而且，不需要对检测图像进行大比例的缩小，可以提高检测精度。预测出目标的运动轨迹后，计算检测到的各个同类目标相对于预测轨迹和位置的偏离程度，偏离越小则为选定跟踪目标的概率越大。

9)、综合特征匹配度和轨迹匹配度：

9.1)、当所有同类目标中的一个目标的匹配度满足设定阈值时，则认定该目标为特定目标，然后寻找到每一帧图像中特定目标所在位置，并标注，进而进行后续跟踪、降落等处理。

9.2)、当所有同类目标的匹配度均不满足设定阈值时，需要在地面站系统上重新选定特定目标。

本发明中未做特别说明的均为现有技术或者通过现有技术即可实现，而且本发明中所述具体实施案例仅为本发明的较佳实施案例而已，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化与修饰，都应作为本发明的技术范畴。