技术特征：
1.一种基于多专家决策的多模态视觉目标跟踪方法，其特征在于，包括：步骤(1)：分别从当前帧的可见光图像和热红外图像中获取多个尺度的搜索窗口，并根据所述多个尺度的搜索窗口提取可见光图像和热红外图像的外观特征；步骤(2)：采用若干判别相关滤波器分别作为专家，将提取的可见光图像和热红外图像的外观特征输入所述若干判别相关滤波器，根据每个专家输出的相关响应得分分别预测当前帧的目标位置；步骤(3)：将每个专家预测的当前帧的目标位置乘以每个专家的权重，得到最终目标的位置。2.根据权利要求1所述的基于多专家决策的多模态视觉目标跟踪方法，其特征在于，所述步骤(1)中可见光图像和热红外图像的外观特征包括：可见光图像的方向梯度直方图特征f
hog_rgb
、热红外图像的方向梯度直方图特征f
hog_thermal
、可见光图像和热红外图像的级联f
{hog_rgb,hog_thermal}
，以及可见光图像和热红外图像的均值f
mean{hog_rgb,hog_thermal}
。3.根据权利要求2所述的基于多专家决策的多模态视觉目标跟踪方法，其特征在于，所述步骤(2)具体包括：步骤(21)：通过最小化损失函数来生成判别相关滤波器；步骤(22)：采用四个判别相关滤波器分别作为专家，将提取的可见光图像和热红外图像的外观特征分别输入四个判别相关滤波器；步骤(23)：通过判别相关滤波器的相关响应函数计算每个专家的相关响应得分，并对每个专家的相关响应得分分别进行逆傅里叶变换，得到每个专家预测到的当前帧的目标位置。4.根据权利要求3所述的基于多专家决策的多模态视觉目标跟踪方法，其特征在于，所述步骤(21)中的最小化损失函数的公式为：其中，x表示从视频序列图像中提取的训练样本，y表示相关响应预期的结果，h
l
表示第l个通道的判别相关滤波器参数，x
l
表示第l个通道的判别相关滤波器的训练样本数据，λ表示正则化参数，k表示目标特征通道数，*表示相关运算符。5.根据权利要求3所述的基于多专家决策的多模态视觉目标跟踪方法，其特征在于，所述步骤(23)中的判别相关滤波器的相关响应函数的公式为：其中，h
l
表示第l个通道的判别相关滤波器参数，z
l
表示第l个通道的判别相关滤波器输入样本数据。6.根据权利要求1所述的基于多专家决策的多模态视觉目标跟踪方法，其特征在于，所述步骤(3)中将每个专家预测的当前帧的目标位置乘以每个专家的权重，得到最终目标的位置，公式为：其中，表示第t帧专家n的权值且表示第t帧专家n的权值且表示第n个专家在第t帧的目标位置。7.根据权利要求1所述的基于多专家决策的多模态视觉目标跟踪方法，其特征在于，所述步骤(2)中的判别相关滤波器还包括自动更新每个专家的权重和滤波器系数，具体为：采用无参数对冲算法计算每个专家的决策损失，并根据所述决策损失更新每个专家的权重；
更新每个专家的滤波器系数。8.根据权利要求7所述的基于多专家决策的多模态视觉目标跟踪方法，其特征在于，所述每个专家的决策损失通过重叠率来表示，公式为：其中，表示第t帧专家n的损失，表示第t帧专家n预测的边界框与最终决策得到边界框的重叠率且的重叠率且表示第t帧专家n预测的边界框与最终决策得到边界框交集的面积，表示第t帧专家n预测的边界框与最终决策得到边界框并集的面积。9.根据权利要求7所述的基于多专家决策的多模态视觉目标跟踪方法，其特征在于，所述根据所述决策损失更新每个专家的权重，具体为：通过最小化累积遗憾来更新每个专家的权重，所述累积遗憾的公式为：其中，t为当前视频图像帧数，r
tn
表示遗憾测度且测度且表示第t帧专家n的损失，表示第t帧所有专家n的加权平均损失且表示第t帧所有专家n的加权平均损失且表示第t帧专家n的权值且10.根据权利要求7所述的基于多专家决策的多模态视觉目标跟踪方法，其特征在于，所述更新每个专家的滤波器系数，公式为：其中，η表示学习率，表示更新后第t帧的判别相关滤波器系数，表示第t
‑
1帧的判别相关滤波器系数，表示更新前第t帧的判别相关滤波器系数。
技术总结
本发明涉及一种基于多专家决策的多模态视觉目标跟踪方法，包括：步骤(1)：分别从当前帧的可见光图像和热红外图像中获取多个尺度的搜索窗口，并根据所述多个尺度的搜索窗口提取可见光图像和热红外图像的外观特征；步骤(2)：采用若干判别相关滤波器分别作为专家，将提取的可见光图像和热红外图像的外观特征输入所述若干判别相关滤波器，根据每个专家输出的相关响应得分分别预测当前帧的目标位置；步骤(3)：将每个专家预测的当前帧的目标位置乘以每个专家的权重，得到最终目标的位置。本发明能够实现对目标的有效跟踪。明能够实现对目标的有效跟踪。明能够实现对目标的有效跟踪。
技术研发人员：罗珊珊 陈波 李成娟 李宝清 袁晓兵
受保护的技术使用者：中国科学院上海微系统与信息技术研究所
技术研发日：2021.07.07
技术公布日：2021/10/8