基于自适应权重和置信度的高光谱图像目标跟踪方法

本发明属于图像处理，具体涉及基于自适应权重和置信度的高光谱图像目标跟踪方法。

背景技术：

1、目前在计算机视觉领域，使用高光谱视频跟踪还是一个新兴领域，高光谱目标跟踪广泛应用军事上的精准制导、太空研究中的行星地质土壤研究和地震预防搜救等热点领域。

2、然而，目前大多数目标跟踪的领域都是以可见光视频为数据进行研究，并且可见光条件下的目标跟踪往往因为目标与背景的颜色相近而难以区分，尤其是在受到光照变化的影响，导致跟踪的目标发生漂移。

3、高光谱视频目标跟踪是基于高光谱相机在不同波段下捕捉各个物体的光谱反射率，从而精准定位目标。即便颜色相近，也能根据不同波段上的光谱信息轻松识别不同材料的目标，因此，高光谱视频目标跟踪逐渐受到人们关注。

4、目前主流有两个跟踪框架，一个是基于相关滤波框架，一个是基于孪生网络的深度学习框架。

5、基于滤波器的目标跟踪算法，典型的算法为基于上下文感知的相关滤波器跟踪算法，该算法提取方向梯度特征，将上下文信息纳入相关滤波器，将目标上下文区域作为负样本用于滤波器的训练，提升跟踪精度；但是在复杂背景下方向梯度特征难以区分目标和背景，当光照发生变化时，选用的上下文区域也没有对背景区域全面采样对抑制背景具有偶然性，在抑制背景杂波时用相同的抑制权重容易产生漂移。

6、基于深度学习的目标跟踪算法，典型的算法为基于全卷积孪生网络的目标跟踪算法，这种算法利用相似度比较的方法，比较目标帧和模板图片的相似度，给出相似度最大的位置，就是目标帧中目标所在的位置，基于深度学习的算法没有利用到光谱信息，导致目标与背景极为相似时上述算法无法很好的跟踪目标，该方法面对光照变化时无法改变目标区域尺度容易跟丢目标。

技术实现思路

1、由鉴于此，本发明的主要目的在于提供基于自适应权重和置信度的高光谱图像目标跟踪方法。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、本发明实施例提供一种基于自适应权重和置信度的高光谱图像目标跟踪方法，该方法为：

4、步骤一、载入高光谱图像序列中的第1帧高光谱图像，第t帧高光谱图像和第t帧的相邻帧高光谱图像,并分别对其进行灰度归一化，分别获得归一化后的第1帧高光谱图像x1、归一化后的第t帧高光谱图像xt和归一化后的第t帧相邻帧高光谱图像其中，t表示高光谱图像序列中的高光谱图像的帧数，t为大于等2的整数，a表示相邻帧高光谱图像的帧数，a的值为t-1，x1、xt和内每个像素的灰度范围是0到1的左闭右闭区间，x1、xt和的通道数量均为16；

5、步骤二、通过主成分分析操作分别对x1、xt和进行降维，分别获得归一化后降维的第1帧高光谱图像z1、归一化后降维的第t帧高光谱图像zt和归一化后降维的第t帧相邻帧高光谱图像其中，z1、zt和的通道数量均为1；

6、步骤三、从z1中手动框选出第1帧目标区域i1；在zt中以第t-1帧目标区域型心为第t帧搜索区域it的型心坐标，以第t-1帧目标区域尺寸的两倍作为第t帧搜索区域it的尺寸，从zt中自动框选出第t帧搜索区域it；在中以第t-1帧目标区域型心为第t帧相邻帧目标区域的型心坐标，以第t-1帧目标区域尺寸作为第t帧相邻帧目标区域的尺寸，从中自动框选出第t帧相邻帧目标区域其中，i1的尺寸大小为m×n个像素，m表示行数，n表示列数，it的尺寸大小为2m×2n个像素，的尺寸大小为m×n个像素；

7、步骤四、将i1复制三次获得三通道的第1帧目标区域将it复制三次获得三通道的第t帧搜索区域将复制三次获得三通道的第t帧相邻帧目标区域

8、步骤五、构造双孪生网络框架，该双孪生网络框架包括第一路孪生网络和第二路孪生网络，将第一路孪生网络的输入设置为和所述第一路孪生网络中和的相似性函数为将第二路孪生网络的输入设置为和所述第二路孪生网络中和的相似性函数为

9、步骤六、通过alexnet网络分别提取的深度特征e1，提取的深度特征et和提取的深度特征

10、步骤七、通过e1与et进行朴素相关操作获得初始响应图r1，再通过与et进行朴素相关操作获得相邻响应图

11、步骤八、确定r1的峰值旁瓣比fp(r1)以及的峰值旁瓣比

12、步骤九、通过fp(r1)确定r1的自适应权重wi，以及通过和相邻帧置信度fc(t-1)确定的自适应权重wa；

13、步骤十、通过归一化后操作，确定wi归一化后的结果w1，确定wa归一化后的结果w2；

14、步骤十一、通过w1、r1、w2和确定融合响应图

15、步骤十二、通过确定当前帧参考值vt；

16、步骤十三、更新相邻帧置信度fc(t-1)；

17、步骤十四、通过和尺度估计模块实现高光谱图像目标跟踪，输出当前帧高光谱图像目标的型心坐标和目标框的大小；

18、步骤十五、更新当前帧置信度fc(t)；

19、步骤十六、更新xt；

20、步骤十七、依次读入高光谱图像序列内每一帧高光谱图像，重复步骤一至步骤十六，完成高光谱图像序列的目标跟踪。

21、上述方案中，所述步骤五，具体通过以下步骤实现：

22、(501)设置卷积嵌入函数φ(·)；

23、(502)将第一路孪生网络的输入设置为和

24、(503)确定第一路孪生网络中和的相似性函数为

25、其中，b1表示第一路孪生网络的随机信号，b1属于实数域，*表示相关操作；

26、(504)将第二路孪生网络的输入设置为和

27、(505)确定第二路孪生网络中和的相似性函数为

28、其中，b2表示第二路孪生网络的随机信号，b2属于实数域。

29、上述方案中，所述步骤八，具体通过以下步骤实现：

30、(801)确定r1的最大值max(r1)以及的最大值

31、(802)确定r1的平均值mean(r1)以及的平均值

32、(803)确定r1的标准差std(r1)以及的标准差

33、(804)确定r1的峰值旁瓣比fp(r1)为

34、(805)确定的峰值旁瓣比为其中，max(·)为求最大值操作，mean(·)为求均值操作，std(·)为求标准差操作。

35、上述方案中，所述步骤九，具体通过以下步骤实现：

36、(901)通过fp(r1)确定r1的自适应权重wi为

37、(902)通过和相邻帧置信度fc(t-1)确定的自适应权重wa为

38、上述方案中，所述步骤十，具体通过以下步骤实现：

39、(1001)确定wi归一化后的结果w1为

40、(1002)确定wa归一化后的结果w2为

41、上述方案中，所述步骤十一，具体为：通过w1、r1、w2和确定融合响应图为

42、上述方案中，所述步骤十二，具体通过以下步骤实现：

43、(1201)确定最大值

44、(1202)设置系数μ；

45、(1203)通过确定当前帧参考值vt为

46、

47、其中，vt-1表示上一帧参考值，v1为0.5，μ被设置为0.05。

48、上述方案中，所述步骤十三，具体通过以下步骤实现：

49、(1301)确定第t-1帧的融合响应图最大值

50、(1302)判断t是否等于2，如果t等于2，fc(t-1)赋初值为1，即fc(1)＝1，如果t不等于2，则执行步骤(1303)；

51、(1303)通过和vt-1更新相邻帧置信度fc(t-1)为

52、

53、上述方案中，所述步骤十五，具体为：通过和vt更新当前帧置信度fc(t)为

54、上述方案中，所述步骤十六，具体通过以下步骤实现：

55、(1601)设置更新阈值t；

56、(1602)通过fc(t)与t的关系来更新xt：其中，t设置为0.7。

57、与现有技术相比，本发明在特征提取模块中采用了双孪生网络作为框架，设计以alexnet作为深度学习的骨干网络，在全卷积孪生网络原有模板的基础上引入相邻模板；而在匹配模块中，通过自适应权值来融合这两个响应图，从而克服光照变化时的目标跟丢，最后，在回归模块中，使用了置信度判断来更新高光谱图像，在抑制背景杂波的同时纠正目标漂移，增大目标跟踪算法的容错率。