基于多模态交互和多阶段优化的实时RGBT目标跟踪方法

基于多模态交互和多阶段优化的实时rgbt目标跟踪方法
技术领域
1.本发明属于计算机视觉目标跟踪技术领域，具体涉及一种基于多模态交互和多阶段优化的实时rgbt目标跟踪方法。


背景技术：

2.可见光传感器广泛用于各个领域，但是由于夜晚光线较弱、雨雾天气可视距离受限，导致可见光摄像头无法正常工作，为了满足全天候运行需求，现有研究工作将结合多模态光电传感器，即可见光和热红外设备，实现热源信息和环境细节信息互补，构建鲁棒特征，提升模型性能。
3.rgbt跟踪任务是通过整合可见光谱和热光谱的互补特征来设计一个强大的全天候跟踪器，可以广泛应用于安防巡检、辅助驾驶、人群测温等领域。rgbt目标跟踪在抑制噪声的同时充分融合双模态互补线索，并根据初始帧的标签预测目标在后续帧中的包围框。许多方法利用模态的互补性，在多个领域提升了算法性能，但是在光照不断变化的环境中可见光模态不稳定；热红外模态在目标与背景温度接近时形成热交叉，分辨力也会下降，如果不进行动态特征选择，反而会增加噪声，削弱判别力的特征比表达，导致跟踪目标丢失。因此，需要进一步探索多模态之间的内在关联，实现特征互补、冗余噪声去除。
4.现有一类方法致力于研究多层特征的提取，生成一个可靠的特征表达，从而提升跟踪精度，另一类方法研究模态融合权重，实现特征的选择。但是，在光照变化和动态干扰等具有挑战性的场景下，这些现有跟踪方法性能会下降。此外，视觉跟踪中常见的挑战也需要更多的关注。通过观察，摄像机的运动和缩放变化会导致目标丢失，在这种情况下，许多跟踪器无法预测精确的结果。因此，在多模态交互设计和跟踪结果细化方面仍有一定的提升空间。


技术实现要素：

5.本发明要解决的问题是：针对现有跟踪技术中的不足，提出一种基于多模态交互和多阶段优化的实时rgbt目标跟踪方法，提升跟踪器模型实时性和鲁棒性。
6.本发明的技术方案为：基于多模态交互和多阶段优化的实时rgbt目标跟踪方法，基于红外光和可见光两种模态交互，构建一个目标跟踪模型，首先利用已有rgbt目标跟踪数据进行离线训练，在线跟踪时，根据首帧确定的跟踪目标在线微调跟踪目标模型参数，然后对视频序列进行实时目标跟踪；所述目标跟踪模型包括特征提取模块、多模态交互模块、目标分类器以及结果优化模块，实现如下：
7.步骤1)：将经过时空配准的热红外和可见光图像作为目标跟踪模型的输入；
8.步骤2)：构建共享权重的双流特征提取模块，所述双流特征提取模块利用轻量化vgg-m的前三层卷积对输入的热红外及可见光图像提取红外和可见光的深度特征；
9.步骤3)：构建多模态交互融合模块，对提取的红外和可见光的深度特征，计算多头跨模态注意力生成特征残差图，以双向增强的方式提升模态质量：
10.单一跨模态注意的从红外到可见光模式的判别特征转换表示为公式如下：
[0011][0012]
上式中，表示一对从步骤2)中获取的可见光和红外深度特征，r表示可见光，t表示红外，公式(1)中q，k和v分别表示查询、键和值，均经过1
×
1卷积操作进行变维，dk表示尺度因子，首先，建立qr和k
t
之间的交叉模态关联，然后通过softmax函数生成注意矩阵，最后，交叉模态特征由注意力矩阵和v
t
加权生成，为了兼顾不同空间的注意力分布，将单一跨模态注意扩展到多头结构，公式如下：
[0013]
multihead(qr,k
t
,v
t
)＝concat(h1,
…
,hn)woꢀꢀ
(2)
[0014][0015]
上式中，表示第i个注意力头下q，k和v的权重矩阵，wo表示多头注意力拼接的权重矩阵，n表示注意力头的个数，i＝1,
…
,n，concat表示级联操作；
[0016]
得到多头跨模态注意力的特征残差图f
t-r
＝multihead(qr,k
t
,v
t
)，根据双向增强的特性，根据上述公式反之计算得f
r-t
＝multihead(q
t
,kr,vr)，f
r-t
表示多头跨模态注意力的可见光模式转移到红外模式的判别力特征，即得到两个特征互补残差图f
r-t
和f
t-r
；
[0017]
步骤4)：使用门控函数去除步骤3)所得结果中的冗余特征信息，再利用级联的方式将增强的多模态特征聚合；
[0018]
步骤5)：利用roialign在步骤4)所生成的融合特征图上进行目标与背景采样，以目标为正例，背景为负例构建训练样本，用于训练目标分类器；
[0019]
步骤6)：构建目标分类器，由三层全连接层组成，使用softmax计算二分类损失，从而更新模型参数，目标分类器输出跟踪预测结果；
[0020]
步骤7)：构建结果优化模块，由光流算法和优化模型组成，光流用于预测目标的大范围移动，计算相邻两帧之间的偏移量，对跟踪结果进行修正，优化模型则对预测结果进行二次回归，从而获得更为精确的定位。
[0021]
进一步的，本发明包括以下步骤：
[0022]
步骤s1：构建数据集，从公开的rgbt目标跟踪数据集中划分出相应数据用于模型训练和测试；
[0023]
步骤s2：构建目标跟踪模型；
[0024]
步骤s3：离线模型训练，加载预训练模型vgg-m，重复步骤1)-6)，使用adamw算法训练目标跟踪模型的特征提取模块、多模态交互模块及目标分类器，直至损失收敛，获取训练好的模型参数，结果优化模块的偏移预测采用lucas-kanade光流算法，优化模型采用rgbt数据进行微调训练；
[0025]
步骤s4：在线训练和跟踪，具体如下：
[0026]
步骤s4.1：获取视频序列第一帧的标签作为初始跟踪目标，在线微调特征提取模块、多模态交互模块以及目标分类器参数，以便学习目标信息，然后选取置信度得分最高的区域，获取初步的跟踪结果；
[0027]
步骤s4.2：根据置信度得分判断是否对跟踪结果进行优化，以这一帧的跟踪结果作为下一帧的输入；
[0028]
步骤s4.3：重复步骤s4.1-s4.2，逐步计算每一帧目标跟踪结果，从而实现整体rgbt序列的目标跟踪。
[0029]
本发明的有益效果是：提供高效而精准的rgbt目标跟踪技术。相比现有技术具有如下优势。
[0030]
(1)本发明提出了多模态特征交互模块，结合了红外模态信息，弥补了可见光模态的缺陷，利用多头跨模态注意力计算多个空间维度下的注意力矩阵，引导模态增强，减小低质量模态的干扰，有效实现多模态信息交互融合，并且去除了冗余特征通道，使得整体特征简洁而鲁棒，从而提升了跟踪性能和泛化能力。
[0031]
(2)本发明提出了多阶段优化策略，利用光流预测目标的偏移量，利用优化模型对跟踪结果进行二次归回，然后根据置信度得分选择阶段性的选择优化方式，有效节约了计算成本的同时提升了跟踪精度和实时性。
附图说明
[0032]
图1为本发明的整体流程图。
[0033]
图2为本发明的跨模态注意力模块示意图。
[0034]
图3为本发明的门控网络示意图。
[0035]
图4为本发明在gtot数据集上的总体跟踪性能曲线，其中，(a)为准确率数据图precision plot,横坐标表示定位错误阈值，纵坐标为最大准确率，(b)为成功率数据图success plot，横坐标为重叠阈值，纵坐标为最大成功率，准确率分数和成功率分数分别如图所示，本发明方法为mfg，manet、mdnet+rgbt以及l1-pf为现有其他同类跟踪方法。
[0036]
图5为本发明在rgbt234数据集上的总体跟踪性能曲线，其中，(a)为准确率数据图precision plot,横坐标表示定位错误阈值，纵坐标为最大准确率，(b)为成功率数据图success plot，横坐标为重叠阈值，纵坐标为最大成功率，准确率分数和成功率分数分别如图所示，本发明方法为mfg，manet、rt、l1-pf以及jsr为现有其他同类跟踪方法。。
[0037]
图6为本发明测试的1个视频序列的定性结果图。
具体实施方式
[0038]
下面结合相应附图对本发明的技术方案做进一步的详细说明：
[0039]
如图1跟踪整体流程图所示，本发明提出了一种基于多模态交互和多阶段优化的实时rgbt目标跟踪方法，包括以下步骤：
[0040]
步骤s1：构建数据集，从公开的rgbt234和gtot目标跟踪数据集中划分出相应数据用于模型训练和测试。
[0041]
步骤s2：构建目标跟踪模型，包括特征提取模块、多模态交互模块、目标分类器以及结果优化模块，具体如下：
[0042]
步骤s2.1：利用已有rgbt目标跟踪数据，将经过时空配准的可见光和热红外图像作为目标跟踪模型的输入，成对得按视频帧时序输入模型。
[0043]
步骤s2.2：构建共享权重的双流特征提取模块，利用轻量化vgg-m的前三层卷积，
其中增加了空洞卷积提升感受野，第三层卷积输出的特征通道为512，提取红外和可见光的初步深度特征。
[0044]
步骤s2.3：构建多模态交互融合模块，如图2所示。针对步骤s2.2所提取的特征计算多头跨模态注意力生成特征残差图，以双向增强的方式提升低质量模态，其中多头跨模态注意探索潜在的rgbt模态相关性，感知全局信息，从而引导一个模态从另一个模态获取具有判别力的特征。单一跨模态注意的从红外到可见光模式的判别特征转换可以表示为公式如下：
[0045][0046]
上式中，表示一对从步骤s2.2中获取的rgbt深度特征，即可见光和红外深度特征；公式(1)中q，k和v分别表示查询、键和值，上标r表示可见光，t表示红外，均经过1
×
1卷积进行变维，dk表示尺度因子。首先，建立qr和k
t
之间的交叉模态关联；然后，通过softmax函数生成注意矩阵；最后，交叉模态特征由注意力矩阵和v
t
加权生成。为了兼顾不同空间的注意分布，本发明将单一跨模态注意attention(qr,k
t
,v
t
)扩展到多头结构multihead(qr,k
t
,v
t
)，公式如下：
[0047]
multihead(qr,k
t
,v
t
)＝concat(h1,
…
,hn)woꢀꢀ
(2)
[0048][0049]
上式中，表示第i个注意力头的q，k和v的权重矩阵，wo表示多头注意力拼接的权重矩阵，n表示注意力头的个数，i＝1,
…
,n，concat表示级联操作；得到多头跨模态注意力的特征残差图f
t-r
＝multihead(qr,k
t
,v
t
)，根据双向增强的特性，根据上述公式反之计算得f
r-t
＝multihead(q
t
,kr,vr)，f
r-t
表示多头跨模态注意力的可见光模式转移到红外模式的判别力特征，即得到两个特征互补残差图f
r-t
和f
t-r
。
[0050]
步骤s2.4：构建门控函数如图3所示。去除冗余特征，结合步骤s2.3的注意力增强特征，即两个特征互补残差图，实现多模态特征交互和聚合，详细方法如下：
[0051][0052]
wr＝softmax(concat(sr,s
t
))
ꢀꢀꢀ
(5)
[0053][0054][0055]
公式(4)-(6)去除原始特征的冗余信息上次生成特征图和公式(7)将和分别和f
t-r
及f
r-t
相加获得最终的特征图。公式(4)分别计算两种模态的通道注意力向量，采用sm表示，其中m为r时表示可见光特征通道注意力，m为t时表示红外特征通道注意力，xm表示原始的深度特征，也就是从步骤2)中获取的可见光和红外深度特征xr,x
t
，gap表示全局平均池化操作，表示卷积，σ表示激活函数；将注意向量sm级联，再利用softmax函数对注意力得分进行加权，权重wr由sr和s
t
级联得到，w
t
＝(1-wr)，利用wr抑制冗余通道特征生成
和然后与步骤3)所生成的增强特征f
t-r
和f
r-t
相加，获得最终的鲁棒特征表达和如公式(7)。
[0056]
本发明提出了一种门函数来自适应控制这两种模态信息流，并通过跨模态的通道注意建立一种长远的通道依赖关系。首先，用公式(4)分别计算两种模态的通道注意，然后将注意向量级联。最后，利用softmax函数对注意力得分进行加权，利用该权重抑制冗余通道特征，然后融合步骤s2.3所获得的增强特征，生成最终的鲁棒特征表达，如公式(7)，再利用级联的方式将增强的多模态特征聚合。
[0057]
步骤s2.5：利用roialign在步骤s2.3所生成的融合特征图上进行目标与背景采样，以目标为正例，背景为负例构建生成训练样本，用于训练目标分类器，因为直接从特征图上采样避免了像素层面的采样，所以加速了运算。
[0058]
步骤s2.6：构建目标分类器，由三层全连接层组成，损失函数由二分类损失和实例嵌入损失组成，从而引导模型参数更新。
[0059]
步骤s2.7：构建结果优化模块，由光流算法和优化模型组成，光流用于预测目标的大范围移动的偏移量，为了克服相机抖动或者遮挡带来目标跟踪漂移的问题，考虑到红外模态的稳定性，在红外模态上使用光流算法，构建特征点，计算相邻两帧之间的偏移量，从而对跟踪结果进行修正。优化模型则对预测结果进行二次回归，从而获得更为精确的定位，优化模型为一个即插即用的结构，由像素级相关层和空间感知的非局部层组成，模型参数通过公开的红外数据微调训练获取。
[0060]
步骤s3：离线模型训练，加载在imagenet上预训练模型vgg-m，遵循多域学习策略，重复步骤s2.1-s2.6，使用adamw算法训练模型直至损失下降收敛，迭代次数设置为200，最后一层全连接层学习率设置为1e-4
，其余层设置为1e-3
，获取训练好的模型参数；光流算法基于传统手工特征设计，采用lucas-kanade光流算法，简单而高效，所以不参与训练；优化模型在预训练模型上采用公开的红外数据进行微调训练，微调训练是常规迁移学习手段，不再详述。
[0061]
步骤s4：在线训练和跟踪阶段，具体如下：
[0062]
步骤s4.1：获取视频序列第一帧的标签作为初始跟踪目标，根据第一帧的标签，生成500个正样本和5000个负样本；使用adamw算法在线微调特征提取模块、多模态交互模块以及全连接层参数，迭代次数为50，以便跟踪器学习目标信息，然后选取置信度得分前5的区域，对其取平均，获取初步的跟踪结果；维护一个样本队列用于更新目标特征；
[0063]
步骤s4.2：根据置信度得分判断是否对跟踪结果进行优化，为了节约计算成本，根据置信度得分设计了优化策略，当置信度得分小于0，采用光流算法重新搜索目标，若偏移量大于t，则对目标位置进行修正；当置信度得分大于u，则采用优化模型，获取更为精确的跟踪结果，其余置信度区间，则不启用多阶段优化策略，根据实验测试，将参数u设置为30，参数t设置为10，可以取得相对较好的结果。并且，以这一帧的跟踪结果作为下一帧的输入；
[0064]
步骤s4.3：重复步骤s4.1-s4.2，逐步计算每一帧目标跟踪结果，从而实现整体rgbt序列的目标跟踪。
[0065]
为了验证跟踪模型的有效性，在两个广泛使用的rgbt数据集上进行对比实验，实验结果指标如图4和图5所示。与目前最先进的多模态跟踪方法相比，本发明mfg相比于实时多域跟踪网络rt-mdnet以及先进的manet方法在gtot和rgbt234数据集上的准确率和成功
率指标均有显著提升。
[0066]
最后，选取具有代表性的挑战场景作为示例用于定性分析跟踪性能，选取其中4帧图像展示，如图6所示，上排为可见光模态的跟踪结果，下排为红外模态的跟踪结果。可以看到，本发明方法在复杂的环境下，包括相机运动和极端照明环境中，都能获得满意的结果，跟踪的目标由虚线框标记，图6中用黑色箭头指向突出。例如，目标受到光照、尺度变化和局部遮挡的影响，这对大多数跟踪器无法取得满意的跟踪效果。然而，得益于鲁棒的多模态特征交互融合和跟踪结果优化，本发明方法实现了稳定的全天候跟踪，有效处理光照和部分遮挡的影响。此外，本发明方法运行速率大致为每一秒30帧，满足实时性的要求。