一种基于协同低秩图模型的RGBT目标跟踪方法及系统

一种基于协同低秩图模型的rgbt目标跟踪方法及系统
技术领域
1.本发明属于计算机视觉技术领域，涉及一种基于协同低秩图模型的rgbt目标跟踪方法及系统。


背景技术：

2.基于图模型的目标跟踪是划分目标包围盒为互不重叠的图像块，并学习不同图像块的权重与底层特征融合以此获得可靠目标特征表示的算法，主要用于处理目标真值包围盒中含有的背景信息对跟踪结果造成的影响。该算法是将目标的包围盒划分成不相同的图像块集合，并且把它们看成节点构建协同图，通过模型学习不同图像块之间的关系，优化图结构、获得图像块权重以及相似性权重，并提取图像块的底层特征从而得到可靠的目标特征表示。
3.传统的目标跟踪是基于单模态下图像的，例如：可见光(波长0.4
‑
0.7μm)图像包含丰富的几何和纹理细节，但是对光线敏感，在复杂场景和环境下图像质量急剧下降，如：雾霾和低光照等。而热红外(波长3
‑
12μm)图像反映了场景中的表面温度分布，因此对光照不敏感，具有很好的云雾穿透、以及特殊的识别伪装的能力。但是，该类图像的分辨率一般比较低，边缘模糊，且容易受温度分布影响。
4.因此，利用多种模态的天然互补性以及图学习获得可靠的目标特征表示，实现挑战场景和环境下具有鲁棒性的多模态目标跟踪。但是基于图模型如何学习可靠的相似性矩阵，进而获得可靠的目标特征表示对目标跟踪模型的鲁棒性和准确性尤为重要，现有方式存在着如下缺点：1)以往图学习的方法中对于相似性矩阵的求解存在问题，通常做法是利用图像块重构系数之间的距离直接表示图节点之间的相似性，即系数距离越小，图像块越相似，得到的相似性值越大。这种做法简单，但重构系数之间的距离一般是无法很好地表示节点之间的真实相似性关系；2)直接对原始输入特征进行学习，跟踪结果容易受到噪声的干扰；3)由于来自不同模态的数据不仅具有异质性还具有协同性，而以往的研究模型通常只考虑异质性，对于模态间的协同性并未进行建模。
5.文献cross
‑
modal ranking with soft consistency and noisy labels for robust rgb
‑
t tracking(c li，computer vision
‑
eccv 2018)，基于特征的重构系数求解相似性矩阵，未考虑当特征表示系数之间相差过小，获得的特征图之间难以区分，使得跟踪结果不准确的因素。


技术实现要素：

6.本发明的目的在于如何设计一种基于协同低秩图模型的rgbt目标跟踪方法及系统，以解决现有技术的基于图模型的目标跟踪算法中相似性求解存在的可靠性低以及跟踪结果噪声高的问题。
7.本发明是通过以下技术方案解决上述技术问题的：
8.一种基于协同低秩图模型的rgbt目标跟踪方法，包括以下步骤：
9.s1、同时输入一对配准的多模态视频序列，将目标的包围盒划分为不同的图像块，以每个图像块为节点构图；
10.步骤s1中所述的每个图像块为节点构图的方法为：初始化种子节点的权重，缩小框中图像块权重设置为1，将缩小框中的图像块初始化即全是前景，而包围盒与扩大框之间的全是背景，即大框之间的全是背景，即表示第i个图像块的权重；
11.所述的缩小框的尺寸为：(l
x
+0.2w,l
y
+0.2h,0.6w,0.6h)，扩大框的尺寸为：(l
x
‑
w
′
,l
y
‑
h
′
,w+2w
′
,h+2h
′
)，其中，(l
x
,l
y
,w,h)分别指目标的包围盒左上角的坐标、宽和高，w
′
和h
′
表示图像块的宽和高。
12.s2、同时对特征的异质性与协同性建模，采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分，并对特征之间的协同性进行建模；
13.步骤s2中所述的采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分的公式如下：min
d,e
||d||
2,1
+α‖e‖1，s.t.x＝d+e，其中，低秩约束采用l
2,1
范式，稀疏约束采用l1范式，所述的特征之间的协同性进行建模公示如下：
14.min
d,e,g
‖d
‑
g‖
2,1
+α‖e‖1+βrank(g)，s.t.x＝d+e，g代表协同性，e代表异质性，对g施加低秩约束，对e施加稀疏约束，‖d
‑
g‖
2,1
代表通过l
2,1
范数实现对矩阵的低秩约束；‖e‖1是通过l1范数对噪声矩阵进行稀疏约束,rank(g)是对协同性矩阵施加低秩约束；
15.s3、构建基于协同低秩图模型的rgbt目标跟踪模型，优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示；
16.所述的rgbt目标跟踪模型的公式如下：
[0017][0018]
其中，m∈{1，2，...，m}代表第m种模态，‖d
m
‑
g
m
‖
2，1
代表通过l
2，1
范数实现对第m种模态矩阵的低秩约束；‖e
m
‖1是通过l1范数对第m种模态噪声矩阵进行稀疏约束；rank(g)是对协同性矩阵施加低秩约束；用来计算不同图像块之间的相似性；γ＝[γ1，γ2，
…
，γ
m
]
t
为参数向量，由第一次迭代后的重构误差决定；α，β，γ，δ，λ1和λ2表示正则化参数；
⊙
表示向量的点乘，即对应元素相乘；
[0019]
步骤s3中所述的优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示的方法为：引入为辅助变量用以取代d
m
‑
g
m
，g＝bc用以对协同性矩阵施加低秩分解，其中低秩分解，其中通过模型得到优化后的图像块权重，并且针对可见光图像提取颜色和梯度特征，针对热红外图像提取灰度和梯度特征，梯度信息和每个颜色通道的维度被设置为8；表示第i个图像块的可见光和热红外特征，然后将模型优化得到的图像块权重向量s1,s2,...,s
m
与提取的特征结合，构成目标特征表示。
[0020]
所述的构成目标特征表示具体如下：对于第i个图像块，结合优化后的权重得到最终结果：δ为尺度参数，结合可见光和热红外特征的表示是：
[0021]
s4、利用交替方向乘子法对步骤s2中的rgbt目标跟踪模型的公式进行求解，并采用结构化支持向量机进行跟踪，通过最大化分类得分得到跟踪结果，将得到的目标特征表示输入到结构化支持向量机中进行预测，预测出最终的结果。
[0022]
本发明的技术方案基于协同异质图模型的rgbt目标跟踪算法学习可靠的目标特征表示，改进基于图学习的方法中求解相似性矩阵的计算方式，学习到更可靠的相似性值，并且采用特征分解模型对原始输入特征进行分解，抑制噪声对跟踪结果的影响，同时对不同模态之间的异质性和协同性进行建模，有效利用不同模态的特征。
[0023]
一种基于协同低秩图模型的rgbt目标跟踪系统，包括：第一模块、第二模块、第三模块、第四模块；
[0024]
所述的第一模块用于同时输入一对配准的多模态视频序列，将目标的包围盒划分为不同的图像块，以每个图像块为节点构图；
[0025]
第一模块中所述的每个图像块为节点构图的方法为：初始化种子节点的权重，缩小框中图像块权重设置为1，将缩小框中的图像块初始化即全是前景，而包围盒与扩大框之间的全是背景，即扩大框之间的全是背景，即表示第i个图像块的权重；
[0026]
所述的缩小框的尺寸为：(l
x
+0.2w，l
y
+0.2h,0.6w，0.6h)，扩大框的尺寸为：(l
x
‑
w
′
，l
y
‑
h
′
，w+2w
′
，h+2h
′
)，其中，(l
x
，l
y
，w，h)分别指目标的包围盒左上角的坐标、宽和高，w
′
和h
′
表示图像块的宽和高。
[0027]
所述的第二模块用于同时对特征的异质性与协同性建模，采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分，并对特征之间的协同性进行建模；
[0028]
第二模块中所述的采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分的公式如下：min
d，e
||d||
2，1
+α‖e‖1，s.t.x＝d+e，其中，低秩约束采用l
2，1
范式，稀疏约束采用l1范式，所述的特征之间的协同性进行建模公示如下：
[0029]
min
d，e，g
‖d
‑
g‖
2，1
+α‖e‖1+βrank(g)，s.t.x＝d+e，g代表协同性，e代表异质性，对g施加低秩约束，对e施加稀疏约束，‖d
‑
g‖
2,1
代表通过l
2,1
范数实现对矩阵的低秩约束；‖e‖1是通过l1范数对噪声矩阵进行稀疏约束,rank(g)是对协同性矩阵施加低秩约束；
[0030]
所述的第三模块用于构建基于协同低秩图模型的rgbt目标跟踪模型，优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示；
[0031]
所述的rgbt目标跟踪模型的公式如下：
[0032][0033]
其中，m∈{1,2,...,m}代表第m种模态，‖d
m
‑
g
m
‖
2,1
代表通过l
2,1
范数实现对第m种模态矩阵的低秩约束；‖e
m
‖1是通过l1范数对第m种模态噪声矩阵进行稀疏约束；rank(g)是对协同性矩阵施加低秩约束；用来计算不同图像块之间的相似性；γ＝[γ1,γ2,
…
,γ
m
]
t
为参数向量，由第一次迭代后的重构误差决定；α,β,γ,δ,λ1和λ2表示正则化参数；
⊙
表示向量的点乘，即对应元素相乘；
[0034]
第三模块中所述的优化更新图像块权重，并与图像块的底层特征结合，构成目标特征表示的方法为：引入为辅助变量用以取代d
m
‑
g
m
，g＝bc用以对协同性矩阵施加低秩分解，其中加低秩分解，其中通过模型得到优化后的图像块权重，并且针对可见光图像提取颜色和梯度特征，针对热红外图像提取灰度和梯度特征，梯度信息和每个颜色通道的维度被设置为8；表示第i个图像块的可见光和热红外特征，然后将模型优化得到的图像块权重向量s1,s2,...,s
m
与提取的特征结合，构成目标特征表示。
[0035]
所述的构成目标特征表示具体如下：对于第i个图像块，结合优化后的权重得到最终结果：δ为尺度参数，结合可见光和热红外特征的表示是：
[0036]
所述的第四模块用于利用交替方向乘子法对第二模块中的rgbt目标跟踪模型的公式进行求解，并采用结构化支持向量机进行跟踪，通过最大化分类得分得到跟踪结果，将得到的目标特征表示输入到结构化支持向量机中进行预测，预测出最终的结果。
[0037]
本发明的优点在于：
[0038]
本发明的技术方案基于协同异质图模型的rgbt目标跟踪算法学习可靠的目标特征表示，改进基于图学习的方法中求解相似性矩阵的计算方式，学习到更可靠的相似性值，并且采用特征分解模型对原始输入特征进行分解，抑制噪声对跟踪结果的影响，同时对不同模态之间的异质性和协同性进行建模，有效利用不同模态的特征。
附图说明
[0039]
图1是本发明实施例一的基于协同低秩图模型的rgbt目标跟踪方法的多模态目标跟踪流程图；
[0040]
图2是本发明实施例一的初始化种子节点的设置图，最外、中间和最内框分别代表扩展区域、目标区域和收缩区域。
[0041]
图3是现有技术的sgt跟踪器与本发明实施例一的相似性求解方式的对比图，a框代表本发明的跟踪器，b框是sgt跟踪器。
具体实施方式
[0042]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：
[0044]
实施例一
[0045]
如图1所示，多模态目标跟踪方法实施的流程包括如下步骤：
[0046]
步骤1、同时输入配准的多模态视频序列，对每一帧图像对采取相同的操作；首先，
同时对输入的可见光和热红外图像对进行划分，缩小框的尺寸为：(l
x
+0.2w,l
y
+0.2h,0.6w,0.6h)，扩大框的尺寸为：(l
x
‑
w
′
,l
y
‑
h
′
,w+2w
′
,h+2h
′
)，其中，(l
x
,l
y
,w,h)分别指目标包围盒左上角的坐标、宽和高，w
′
和h
′
表示图像块的宽和高。
[0047]
如图2所示，把目标的包围盒划分成64个图像块，设置q
m
为初始化权重向量，令当第i个图像块的权重时，代表该图像块属于前景目标，反之，表示该图像块属于背景。根据初始帧的真值或后续帧的预测结果更新q
m
。假设目标包围盒的缩小框全为前景，即它们的权重向量包围盒与扩大框之间的全是背景，即另外，在跟踪过程中，设置指示向量γ，当γ
i
＝1说明对该图像块属于目标或者背景区域，已经进行过判断。反之，当γ
i
＝0说明该图像块还未确定。
[0048]
步骤2、采用特征分解将原始输入特征分解为低秩特征部分和稀疏噪声部分，如下公式所示：min
d,e
||d||
2,1
+α‖e‖1，s.t.x＝d+e，其中，低秩约束采用l
2,1
范式，稀疏约束采用l1范式，通过特征分解，有效抑制噪声对跟踪结果的影响。根据数据来源以及成像原理的不同，可以判断不同模态之间的特征不仅存在异质性，而且存在协同性。所以，此处定义一个矩阵用g表示，并且规定它代表不同模态之间的协同性，并且改进相似性矩阵的计算方式，改进模型如下：改进模型如下：s.t.x
m
＝d
m
+e
m
。其中m∈{1,2,...,m}代表第m种模态，‖d
m
‑
g
m
‖
2,1
代表通过l
2,1
范数实现对矩阵的低秩约束。‖e
m
‖1是通过l1范数对噪声矩阵进行稀疏约束。rank(g)是对协同性矩阵施加低秩约束。用来计算不同图像块之间的相似性。γ＝[γ1,γ2,
…
,γ
m
]
t
为参数向量，由第一次迭代后的重构误差决定。α,β,γ,δ,λ1和λ2表示正则化参数。
⊙
表示向量的点乘，即对应元素相乘。
[0049]
步骤3、利用交替方向乘子法(admm)对上式进行求解优化(具体参见文献：boyd s,parikh n,chu e.distributed optimization and statistical learning via the alternating direction method of multipliers[m].now publishers inc,2011)，因为采用admm算法求解，模型需为可分离，所以引入辅助变量取代d
m
‑
g
m
。另外，由于求解低秩约束需要用到奇异值分解(svd，参见文献：a singularly valuable decomposition:the svd of a matrix[j].the college mathematics journal,1996,27(1):2
‑
23.),此处将低秩矩阵分解成两个低维子矩阵，即g＝bc，23.),此处将低秩矩阵分解成两个低维子矩阵，即g＝bc，最终模型如下：
[0050][0051]
接下来求解变量d、e、s、b、c和w。
[0052]
为了便于求解，为辅助变量用以取代d
m
‑
g
m
，g＝bc用以对协同性矩阵施
加低秩分解，其中加低秩分解，其中通过模型，得到优化后的图像块权重，并且针对可见光图像提取颜色和梯度特征，针对热红外图像提取灰度和梯度特征，梯度信息和每个颜色通道的维度被设置为8。表示第i个图像块的可见光和热红外特征，然后将模型优化得到的图像块权重向量s1,s2,...,s
m
与提取的特征结合，构成目标特征表示。从而，对于第i个图像块，结合优化后的权重得到最终结果：δ为尺度参数，结合可见光和热红外特征的表示是：采用结构化支持向量机(s
‑
svm)进行跟踪(具体参见文献：tsochantaridis i,joachims t，hofmann t，et al.large margin methods for structured and interdependent output variables[j].journal of machine learning research，2005，6(9))，预测出最终的结果。
[0053]
由于虽然在整个式子中所有变量不能同时满足凸问题条件，但在每个子问题中，不同变量符合凸问题条件并且有一个闭合解，所以采用admm算法求解。
[0054]
首先，统一划分目标的包围盒为不同的图像块，初始化种子点权重，缩小框中图像块权重设置为1，将缩小框中的图像块初始化为1，即全是前景，而包围盒与扩大框之间的全是背景，即
[0055]
通过提出的模型优化图像块权重s1,s2,...,s
m
，并提取可见光的颜色和梯度特征以及热红外的灰度和梯度特征向量与提取的特征结合，构成目标特征表示。从而，对于第i个图像块，结合优化后的权重得到最终结果：δ为尺度参数，结合可见光和热红外特征的表示是：
[0056]
将上述得到的目标特征表示输入到s
‑
svm中进行预测，通过最大化分类得分得到跟踪结果估计出最终的结果。
[0057]
如图3所示，b框包围盒根据现有技术(具体参见文献：li c l，zhao n，lu y j，et al.weighted sparse representation regularized graph learning for rgb
‑
tobject tracking[c]//proceedings of the association for computing machinery international conference on multimedia.2017：1856
‑
1864)的sgt方法计算的相似性。a框包围盒是根据本发明提出的方法方法计算的相似性。从图3可以很明显的看出，sgt由于计算的相似性不符合实际情况，很容易使模型发生漂移，影响后续跟踪结果。而本发明的方法，可以避免上述问题的产生，提高模型鲁棒性。
[0058]
本发明改进基于图模型的目标跟踪算法中相似性求解方式，并同时对不同模态之间的异质性和协同性建模，有效利用不同模态的特征。另外，受到鲁棒主成分分析的启发，本发明使用特征分解将原始输入特征分解成低秩特征部分和稀疏噪声部分，协同利用多模态特征同时克服噪声影响。
[0059]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施
例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。