一种用于无人机的智能化目标图像跟踪方法与流程

本
技术实现要素：
属于目标跟踪，特别地，涉及一种用于无人机的智能化目标图像跟踪方法。

背景技术：

1、图像跟踪是机器视觉领域的重要内容，被应用于智能视频监控等领域，属于我国大力发展的人工智能技术之一，对于推动智慧城市、智能制造等国家战略的发展具有重要作用，是保障国家财产和人民安全的重要举措。

2、目标跟踪技术目前主要存在可疑目标、正常目标之间界限不清，频繁遮挡、表观近似等复杂情况导致跟踪不准确等瓶颈问题，而这些瓶颈问题在无人机实际应用的复杂环境下表现得更加突出。相比较于目前较常用的车载环境，无人机视觉应用的环境更加广泛，不仅用于城市道路，还广泛应用于农林植保，电力维修，外场作业等，环境更加复杂多变，为图像跟踪带来了巨大挑战。

3、现有技术中使用神经网络模型进行目标的跟踪，然而大部分主要集中在目标的识别，对于追踪本身效果不佳，也没有专门用于追踪的网络模型。此外，目前的跟踪神经网络大多数输入为图像数据，这在外界条件理想的情况下可以取得较好效果，但难以适应外部变化的环境，限制了无人机的应用范围。而且，过于庞大的网络规模会带来计算速度低、耗电高的问题，不适合在无人机上使用。

技术实现思路

1、为了解决在无人机在复杂环境下实现图像快速、准确、智能跟踪的问题，本发明提出一种新型智能化图像跟踪算法，利用以图像为主的多种传感器感知周围环境，加强图像跟踪智能算法对周围环境的识别力，建立多种传感器的智能图像跟踪模型，提高图像目标跟踪的精度和计算效率。

2、一种用于无人机的智能化目标图像跟踪方法，

3、步骤1：基于多传感器的多源数据采集和同步预处理：由一个主传感器按时序采集图像数据、多个副传感器按时序采集多种其他物理数据，并对上述主传感器和多个副传感器采集的时序数据进行同步预处理，得到：表示主传感器第s帧采集的图像；表示在主传感器采集第帧之前一段时间内第个副传感器所采集到的数据的平均期望；

4、步骤2：建立神经网络模型，推测第s帧中跟踪目标的位置

5、搜索图像为步骤1获得的第s帧采集的图像，跟踪目标记为；第一隐藏层为：

6、

7、其中、为预处理滤波器，分别表示宽、高和深度维，表示对应图像宽、高维度的坐标，、为截距参数，是激活函数；

8、在第二隐藏层中，利用利用雨量、雪量、pm2.5传感器的数据、、对上一层输出进行优化；在第三隐藏层中，对上一层的输出进行累加运算；在第四隐藏层中利用温度、湿度传感器的数据、对上一层输出进行优化；在第五隐藏层中，对上一层的输出进行卷积运算；

9、在输出层中，利用风速传感器数据，对上一层的输出进行修正：

10、

11、其中，表示风速传感器数据向量的第个元素，为上一层的输出，是修正线性参数，为神经网络模型的输出，是截距参数。

12、在神经网络模型训练阶段，对训练样本中跟踪目标在输出中对应的位置的像素置为1，其它部分像素置为0。

13、神经网络分类器的代价函数定义为：

14、

15、表示网络模型的输出值，表示训练样本中的输出标签。

16、采用上述神经网络模型根据主传感器采集的图像数据、多个副传感器采集的数据进行跟踪，求得模型输出的响应图中的峰值响应，作为跟踪目标的输出位置。

17、该方法在安装于无人机的处理器上实施。

18、该处理器与图像传感器、雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物pm2.5传感器连接。

19、该处理器接收多个传感器数据，并根据步骤2进行处理，输出跟踪目标的位置。

20、一种实施上述方法的无人机，包括无人机本体、处理器、图像传感器。

21、还包括图像传感器、雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物pm2.5传感器。

22、一种无人机跟踪系统，包括上述无人机。

23、本发明的发明点及技术效果：

24、1、本发明提出基于多传感器的多源数据采集和同步预处理方法，为多种数据的联合使用打下基础，可以有效降低神经网络的模型规模，提高跟踪的精度。

25、2、建立并优化神经网络模型，以第一步中获得的主、副传感器联合数据作为输入，并且采用在各隐藏层中逐步输入的方式，可避免传感器数据冗余，提高预测精度和计算速度，使得无人机能够实现目标实时图像精确跟踪。

1.一种用于无人机的智能化目标图像跟踪方法，其特征在于：

2.如权利要求1所述方法，其特征在于：在神经网络模型训练阶段，对训练样本中跟踪目标在输出中对应的位置的像素置为1，其它部分像素置为0。

3.如权利要求2所述方法，其特征在于：神经网络分类器的代价函数定义为：

4.如权利要求1所述方法，其特征在于：采用上述神经网络模型根据主传感器采集的图像数据、多个副传感器采集的数据进行跟踪，求得模型输出的响应图中的峰值响应，作为跟踪目标的输出位置。

5.如权利要求1所述方法，其特征在于：该方法在安装于无人机的处理器上实施。

6.如权利要求5所述方法，其特征在于：该处理器与图像传感器、雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物pm2.5传感器连接。

7.如权利要求5所述方法，其特征在于：该处理器接收多个传感器数据，并根据步骤2进行处理，输出跟踪目标的位置。

8.一种实施如权利要求1-5任意一项所述方法的无人机，其特征在于：包括无人机本体、处理器、图像传感器。

9.如权利要求8所述无人机，其特征在于：还包括图像传感器、雨量传感器、雪量传感器、湿度传感器、温度传感器、风速传感器、细颗粒物pm2.5传感器。

10.一种无人机跟踪系统，其特征在于包括如权利要求8、9所述的无人机。