一种基于多策略融合的无人机跟踪方法与流程

本发明涉及图像处理领域，尤其涉及一种基于多策略融合的无人机跟踪方法。

背景技术：

无人机通常是指一种有动力、可控制、可执行多种任务，并能重复使用的无人驾驶飞行器。与有人驾驶飞机相比，无人机具有重量轻、雷达反射截面小、运行成本低、灵活性高且不存在机组人员安全问题等优点，可广泛用于侦察、攻击等军事任务；在民用方面，可用于气象探测、灾害监测、地质勘探、地图测绘等诸多领域，因此受到越来越多国家的重视，发展迅猛。

无人机的飞行速度较快，且一般具有独特的几何形状，表现为缺乏完整的结构信息，因此在飞行中跟踪困难。

技术实现要素：

本发明的目的在于提供一种基于多策略融合的无人机跟踪方法，旨在解决无人机在飞行时跟踪困难的问题。

为实现上述目的，本发明提供了一种基于多策略融合的无人机跟踪方法，

包括：

基于centernet网络对无人机图像样本进行训练，生成特征图；

获取无人机信号，并对无人机信号进行分析处理后得到无人机的方向参数；

基于无人机的方向参数输出控制信号控制摄像机镜头转动，采集无人机的视频图像，得到无人机的估计位置；

对采集的视频图像进行图像块加权处理，基于视觉与频谱联合评估算法，得到无人机在视频图像里的具体位置；

基于opencv函数获取无人机的中心坐标，实时跟踪无人机。

其中，所述基于centernet网络对无人机图像样本进行训练，生成特征图的具体步骤，是：

获取无人机图像输入rgb三通道，并基于卷积神经网络处理，输出预测值；

基于网络前向传播，提取特征，得到特征图。

其中，所述获取无人机信号，并对无人机信号进行分析处理后得到无人机的方向参数得具体步骤，是：

检测并获取3公里范围内的无人机信号；

基于使用环境进行数据融合；

通过下变频、a/d采样、数字信道化和阵列信号处理提取无人机信号参数；

基于不同天线的参数进行幅相一体化测向处理，并与数据库比对，得到无人机型号；

基于多站测向交叉定位体制进行定位，得到无人机方向参数。

其中，所述基于无人机的方向参数输出控制信号控制摄像机镜头转动，采集无人机的视频图像，得到无人机的估计位置的具体步骤，是

读取输出的无人机方向参数；

计算方向参数与图像中心的差值；

通过数学模型计算出云台的转动量；

通过位置pd算法进行控制云台转动，所述位置pd算法模型如下：

其中，s(n)为控制输出，kp为比例控制参数，td为微分控制参数，e(n)为当前状态值与目标值之间的差值，n为控制次数，用kd表示，则有：

s(n)＝kpe(n)+kd[e(n)-e(n-1)]。

其中，所述对采集的视频图像进行图像块加权处理，基于视觉与频谱联合评估算法，得到无人机在视频图像里的具体位置的具体步骤，是：

将图像分为三个图像块，并赋予加权参数；

基于centernet网络提取特征图每个类别的关键点；

对关键点进行置信度判断，获取具体位置。

其中，所述对关键点进行置信度判断，获取具体位置的具体步骤，是，

基于原始的centernet算法对摄像机采集的原始图像进行第一次置信度判断，若特征图里的关键点小于阈值a，则摄像机放大固定倍数；

若特征图里的关键点大于阈值a，基于加权参数和特征响应值计算方式，使用centernet算法进行二次置信度判断；

若二次置信度判断特征峰值大于阈值b，用opencv函数画框显示，并回传无人机在图像里的中心坐标(x,y)。

其中，所述特征响应值计算方式的具体计算步骤，是，

建立如下公式：

y(t)＝(ω+b(n))x(t)t≥0,n≥0

其中，y(t)代表特征响应值，t代表特征点排序号，x(t)代表原始centernet算法计算的每个特征点的响应值，ω代表图像块权重，b(n)表示摄像机每放大一次倍数提高的准确度，n代表摄像机放大倍数的次数；

b(n)＝(1.1)ⁿβn≥0

其中，β为初始常量。

本发明的一种基于多策略融合的无人机跟踪方法，使用基于多策略融合的无人机跟踪方法能够将频谱探测和视觉跟踪融为一体，在用频谱探测对无人机进行粗略定位后使用视觉跟踪实现对无人机位置的准确定位，同时以更加直观的形式将无人机在视频中的位置标示出来，方便无人机使用者和监测者能够更加清楚地观察无人机的位置。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种基于多策略融合的无人机跟踪方法的流程图；

图2是本发明的一种基于多策略融合的无人机跟踪方法的运行框图；

图3是本发明的一种基于多策略融合的无人机跟踪方法的图像分块图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例

请参阅图1，本发明的一种基于多策略融合的无人机跟踪方法，包括：

s101、基于centernet网络对无人机图像样本进行训练，生成特征图。

获取无人机图像输入rgb三通道，并基于卷积神经网络处理，输出预测值；

24bitrgb图像也叫全彩图，其有三个通道，分别为r(red)，g(green)，b(blue)，用halcon程序以及halcon自带图像进行理解rgb图像和灰度值。三通道图像的灰度值是三个单通道的灰度值的组合。灰度值为0-255，每个通道都是0-255，值越大图像看起来越亮，值越小图像越暗。在三通道图像上看到哪部分的哪种颜色越深，证明在该部分的哪种颜色分量越大，反应到该单通道上越亮。

基于网络前向传播，提取特征，得到特征图。

网络前向传播是一个神经元有多个输入和一个输出，每个神经元的输入既可以是其他神经元的输出也可以是整个神经网络的输入。特征图(featuremap)相当于卷积神经网络提取原始图像特征之后形成的图像，从概率大小的角度来看，特征图里的每个类型的点都有自己的概率，即响应值，这就形成了热点图(heatmap)，反应的是颜色深度，即响应值大小，响应值最大的点就是跟踪目标所在的点。

s102、获取无人机信号，并对无人机信号进行分析处理后得到无人机的方向参数。

开启摄像头，开启频谱探测模块，此时由频谱探测模块拥有舵机控制模块的所有权，检测并捕获3公里范围内的无人机信号，信号数据根据使用环境进行数据融合；截获地面遥控器发出的遥控器信号和无人机下传的图传信号，通过下变频、a/d采样、数字信道化和阵列信号处理提取信号参数；根据不同天线的参数进行幅相一体化测向处理，通过实测参数与数据库比对，得到无人机型号；基于多站测向交叉定位体制进行定位，得到无人机的方向参数。

s103、基于无人机的方向参数输出控制信号控制摄像机镜头转动，采集无人机的视频图像，得到无人机的估计位置。

读取输出的无人机方向参数，如无人机相对于摄像机的方向，角度等；计算方向参数与图像中心的差值；通过数学模型计算出云台的转动量；通过位置pd算法进行控制云台转动，所述位置pd算法模型如下：

用kd表示，则有：

s(n)＝kpe(n)+kd[e(n)-e(n-1)]

其中，kp为比例控制参数，td为微分控制参数，e(n)为当前状态值与目标值之间的差值。

摄像机图像的中心位置即为无人机的估计位置。

s104、对采集的视频图像进行图像块加权处理，基于视觉与频谱联合评估算法，得到无人机在视频图像里的具体位置。

将采集的1920*1080大小的视频图像以(960,540)为图像中心点，如图3所示，将整张图像分为3个图像块，分别为image_inside，image_middle，image_outside。image_inside表示图像的正中间部分，image_inside图像块里理应具有较大的可能性存在无人机目标，而image_outside远离图像中心，理应具有较小的可能性存在无人机目标。设image_inside，image_middle，image_outside的参数分别为ω1，ω2，ω3，则ω2＝0.8ω1，ω3＝0.4ω1。

centernet检测器将特征图上的所有特征点与其连接的8个临近点进行比较，如果该点响应值大于或等于其八个临近点值则保留，得到所有满足要求的前100个关键点。

令是用上述方法检测得到的c类别的n个关键点的集合，每个关键点以整型坐标(xi,yi)的形式给出，则产生如下的检测框：

其中，是偏移预测结果，是尺度预测结果。

所有检测框组成一个粗略框图，然后设定一个阈值，小于阈值的舍弃，大于阈值的框图形成最终的无人机框图。

请参阅图2，使用centernet算法对摄像机采集的原始图像进行第一次置信度判断，若特征图里的关键点小于阈值a，则摄像机放大固定倍数，n加1，更新b(n)；若特征图里的关键点大于阈值a则进行第二次置信度判断，此时在摄像机采集视频里引入图像块权重，采用特征响应值计算方式，使用centernet算法再次进行置信度判断。最后，若经过第二次置信度判断，特征峰值大于阈值b，则确定跟踪目标，用opencv函数画框显示，并回传无人机在图像里的中心坐标(x,y)，此时视觉跟踪模块重新拥有舵机控制权，通过(x,y)重新控制舵机转动。

本算法在在引入图像块权重的基础上，设计了一种新的特征响应值计算方式，如下：

y(t)＝(ω+b(n))x(t)t≥0,n≥0

其中t代表特征点排序号，x(t)代表原始centernet算法计算的每个特征点的响应值，y(t)代表最终每个特征点的的响应值。ω代表图像块权重，根据3个不同的区域image_inside，image_middle，image_outside分为3个不同的值，分别为ω1，ω2，ω3，其中ω2＝0.8ω1，ω3＝0.4ω1。b(n)是一个线性增加的函数，用来表示摄像机每放大一次倍数(固定倍数)，图像的分辨率越高，centernet跟踪算法的准确度也就越高，其中n代表摄像机放大倍数的次数，方程如下：

b(n)＝(1.1)ⁿβn≥0

其中，β为初始常量。

s105、基于opencv函数获取无人机的中心坐标，实时跟踪无人机。

确定无人机在视频图像里的位置后，使用opencv函数画出无人机所在的矩形框，计算并回传矩形框的中心坐标(x,y)，舵机控制所有权交给视觉跟踪模块，通过该中心坐标重新控制舵机转动，实时跟踪无人机。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。