一种基于多专家决策的多模态视觉目标跟踪方法

1.本发明涉及视觉目标跟踪技术领域，特别是涉及一种基于多专家决策的多模态视觉目标跟踪方法。


背景技术：

2.可见光传感器获得的可见光图像具有高空间分辨率，同时也包含相当多的纹理细节信息，得到了较为广泛的应用。然而，在实际应用中，可见光图像却很容易受到外界光线及遮挡的影响，导致视觉目标跟踪很容易发生失败。热红外图像是根据辐射差来区分目标和背景，能够抵外界光线及遮挡的干扰，但是其分辨率较低且纹理较差。同时利用可见光和热红外这两种类型图像的优势，实现两者信息的互补，能够进行更稳定的视觉目标跟踪。
3.传统的视觉目标跟踪算法大多都是基于单一的可见光图像序列，其中，基于判别相关滤波的视觉目标跟踪方法因其具有良好的跟踪性能及极高的计算效率而得到了广泛的应用。然而，在光线昏暗、遮挡等场景中，其跟踪性能受到很大的影响。需要综合考虑图像特点以实现更稳定的视觉目标跟踪。


技术实现要素：

4.本发明所要解决的技术问题是提供一种基于多专家决策的多模态视觉目标跟踪方法，能够实现对目标的有效跟踪。
5.本发明解决其技术问题所采用的技术方案是：提供一种基于多专家决策的多模态视觉目标跟踪方法，包括：
6.步骤(1)：分别从当前帧的可见光图像和热红外图像中获取多个尺度的搜索窗口，并根据所述多个尺度的搜索窗口提取可见光图像和热红外图像的外观特征；
7.步骤(2)：采用若干判别相关滤波器分别作为专家，将提取的可见光图像和热红外图像的外观特征输入所述若干判别相关滤波器，根据每个专家输出的相关响应得分分别预测当前帧的目标位置；
8.步骤(3)：将每个专家预测的当前帧的目标位置乘以每个专家的权重，得到最终目标的位置。
9.所述步骤(1)中可见光图像和热红外图像的外观特征包括：可见光图像的方向梯度直方图特征f
hog_rgb
、热红外图像的方向梯度直方图特征f
hog_thermal
、可见光图像和热红外图像的级联f
{hog_rgb,hog_thermal}
，以及可见光图像和热红外图像的均值f
mean{hog_rgb,hog_thermal}
。
10.所述步骤(2)具体包括：
11.步骤(21)：通过最小化损失函数来生成判别相关滤波器；
12.步骤(22)：采用四个判别相关滤波器分别作为专家，将提取的可见光图像和热红外图像的外观特征分别输入四个判别相关滤波器；
13.步骤(23)：通过判别相关滤波器的相关响应函数计算每个专家的相关响应得分，并对每个专家的相关响应得分分别进行逆傅里叶变换，得到每个专家预测到的当前帧的目
标位置。
14.所述步骤(21)中的最小化损失函数的公式为：其中，x表示从视频序列图像中提取的训练样本，y表示相关响应预期的结果，h
l
表示第l个通道的判别相关滤波器参数，x
l
表示第l个通道的判别相关滤波器的训练样本数据，λ表示正则化参数，k表示目标特征通道数，*表示相关运算符。
15.所述步骤(23)中的判别相关滤波器的相关响应函数的公式为：其中，h
l
表示第l个通道的判别相关滤波器参数，z
l
表示第l个通道的判别相关滤波器输入样本数据。
16.所述步骤(3)中将每个专家预测的当前帧的目标位置乘以每个专家的权重，得到最终目标的位置，公式为：其中，表示第t帧专家n的权值且表示第n个专家在第t帧的目标位置。
17.所述步骤(2)中的判别相关滤波器还包括自动更新每个专家的权重和滤波器系数，具体为：
18.采用无参数对冲算法计算每个专家的决策损失，并根据所述决策损失更新每个专家的权重；
19.更新每个专家的滤波器系数。
20.所述每个专家的决策损失通过重叠率来表示，公式为：其中，表示第t帧专家n的损失，表示第t帧专家n预测的边界框与最终决策得到边界框的重叠率且叠率且表示第t帧专家n预测的边界框与最终决策得到边界框交集的面积，表示第t帧专家n预测的边界框与最终决策得到边界框并集的面积。
21.所述根据所述决策损失更新每个专家的权重，具体为：通过最小化累积遗憾来更新每个专家的权重，所述累积遗憾的公式为：其中，t为当前视频图像帧数，r
tn
表示遗憾测度且表示遗憾测度且表示第t帧专家n的损失，表示第t帧所有专家n的加权平均损失且平均损失且表示第t帧专家n的权值且
22.所述更新每个专家的滤波器系数，公式为：其中，η表示学习率，表示更新后第t帧的判别相关滤波器系数，表示第t
‑
1帧的判别相关滤波器系数，表示更新前第t帧的判别相关滤波器系数。
23.有益效果
24.由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明是对可见光
‑
热红外图像序列下的多模态视觉目标跟踪，相比于单一的可见光图
像序列下的是视觉目标跟踪方法，本发明充分利用了可见光
‑
热红外图像对中的特征信息，考虑了可见光和热红外图像互补的特性，克服了跟踪器很容易受到外界光线及遮挡的问题，提高了跟踪成功率和精确度。本发明通过多专家策略实现了更加稳定的视觉目标跟踪。本发明几乎不受到环境的干扰，即能在环境影响下始终保持目标跟踪的准确性。本发明在公共安防、人机交互等领域都有很好的应用前景。
附图说明
25.图1是本发明实施方式的原理示意图；
26.图2是本发明实施方式的流程图；
27.图3是本发明实施方式和传统的基于判别相关滤波的跟踪算法目标跟踪比较示意图。
具体实施方式
28.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
29.本发明的实施方式涉及一种基于多专家决策的多模态视觉目标跟踪方法，请参阅图1和图2，包括：
30.步骤(1)：分别从当前帧的可见光图像和热红外图像中获取多个尺度的搜索窗口，并根据所述多个尺度的搜索窗口提取可见光图像和热红外图像的外观特征；
31.步骤(2)：采用若干判别相关滤波器分别作为专家，将提取的可见光图像和热红外图像的外观特征输入所述若干判别相关滤波器，根据每个专家输出的相关响应得分分别预测当前帧的目标位置；
32.步骤(3)：将每个专家预测的当前帧的目标位置乘以每个专家的权重，得到最终目标的位置；
33.从视频序列图像的第2帧开始，还包括以下步骤：
34.步骤(4)：采用无参数对冲算法计算每个专家的决策损失，并根据所述决策损失更新每个专家的权重；
35.步骤(5)：更新每个专家的滤波器系数；
36.步骤(6)：获取下一帧图像并循环所述步骤(1)至步骤(3)，直至视频序列图像每一帧中的目标均被跟踪。
37.以下对上述各步骤进行详细描述：
38.进一步地，所述步骤(1)中可见光图像和热红外图像的外观特征包括：可见光图像的方向梯度直方图(hog)特征f
hog_rgb
、热红外图像的方向梯度直方图(hog)特征f
hog_thermal
、可见光图像和热红外图像的级联f
{hog_rgb,hog_thermal}
，以及可见光图像和热红外图像的均值f
mean{hog_rgb,hog_thermal}
。
39.所述步骤(2)具体包括：
40.步骤(21)：判别相关滤波器h可以通过解决脊回归问题得到，具体为：通过最小化
损失函数来找出判别相关滤波器h；
41.所述步骤(21)中的最小化损失函数的公式为：
[0042][0043]
其中，x表示从视频序列图像中提取的训练样本，y表示相关响应预期的结果，h
l
表示第l个通道的判别相关滤波器参数，x
l
表示第l个通道的判别相关滤波器的训练样本数据，λ表示正则化参数，k表示目标特征通道数，*表示相关运算符。
[0044]
由于上述最小化损失函数公式在频域上有个闭式解，根据该闭式解可求得判别相关滤波器，公式如下：
[0045][0046]
其中，∧表示离散傅里叶变换(dft)运算符，
·
表示复共轭，θ表示元素乘，x
i
表示第i个特征通道的训练样本数据，λ表示正则化参数，i表示单位矩阵。
[0047]
步骤(22)：采用四个判别相关滤波器分别作为专家，将提取的特征数据f
hog_rgb
、f
hog_thermal
、f
{hog_rgb,hog_thermal}
和f
mean{hog_rgb,hog_thermal}
分别输入四个判别相关滤波器；
[0048]
步骤(23)：通过判别相关滤波器的相关响应函数计算每个专家的相关响应得分，并对每个专家的相关响应得分分别进行逆傅里叶变换，得到每个专家预测到的当前帧的目标位置。
[0049]
所述步骤(23)中的判别相关滤波器的相关响应函数的公式为：
[0050][0051]
其中，h
l
表示第l个通道的判别相关滤波器参数，z
l
表示第l个通道的判别相关滤波器输入样本数据，再求得y'后，对y'进行逆向傅里叶变换，得到最大相关滤波响应值的位置即为预测到的当前帧的目标位置。
[0052]
进一步地，所述步骤(3)中将每个专家预测的当前帧的目标位置乘以每个专家的权重，得到最终目标的位置，公式为：
[0053][0054]
其中，表示第t帧专家n的权值且表示第t帧专家n的权值且表示第n个专家在第t帧的目标位置。
[0055]
进一步地，所述步骤(4)中选取重叠率来表示每个专家的决策损失，公式为：
[0056][0057]
其中，表示第t帧专家n的损失，表示第t帧专家n预测的边界框与最终决策得到边界框的重叠率且的重叠率且表示第t帧专家n预测的边界框与最终决策得到边界框交集的面积，表示第t帧专家n预测的边界框与最终决策得到边界框并集的面积。
[0058]
所述步骤(4)中根据所述决策损失更新每个专家的权重，具体为：通过最小化累积遗憾来更新每个专家的权重，所述累积遗憾的公式为：
[0059][0060]
其中，t为当前视频图像帧数(例如，求第10帧的累计遗憾时，t取值为10)，r
tn
表示遗憾测度且遗憾测度且表示第t帧专家n的损失，表示第t帧所有专家n的加权平均损失且失且表示第t帧专家n的权值且
[0061]
进一步地，所述步骤(5)中更新每个专家的滤波器系数，公式为：其中，η表示学习率，表示更新后第t帧的判别相关滤波器系数，表示第t
‑
1帧的判别相关滤波器系数，表示更新前第t帧的判别相关滤波器系数。
[0062]
请参阅图3，为本发明和传统的基于判别相关滤波的跟踪算法目标跟踪比较示意图，传统算法的跟踪框为数字1，本实施方式的跟踪框为数字2，主要用于跟踪雨中的行人，第一帧图像数字1和数字2几乎重叠，看不出优劣，从第二帧图像开始，本实施方式就能紧跟雨中的行人，而传统算法由于环境干扰而导致丢失了跟踪的目标，无法精准跟踪目标。
[0063]
由此可见，本发明是对可见光
‑
热红外图像序列下的多模态视觉目标跟踪，相比于单一的可见光图像序列下的是视觉目标跟踪方法，本发明充分利用了可见光
‑
热红外样本图像对中的特征信息，考虑了可见光和热红外图像互补的特性，克服了跟踪器很容易受到外界光线及遮挡的问题，提高了跟踪成功率和精确度。本发明通过多专家策略实现了更加稳定的视觉目标跟踪。