基于区域结构树的红外夜视行人目标跟踪方法与流程

技术特征：

1.一种基于区域结构树的红外夜视行人目标跟踪方法，其特征在于，包括以下步骤：

S1：计算ROI区域；

S2：目标区域特征树提取；

S3：区域特征树筛选；

S4：特征树跟踪及状态更新；

S5：区域特征匹配，实现目标跟踪。

2.如权利要求1所述的基于区域结构树的红外夜视行人目标跟踪方法，其特征在于，所述步骤S1中，计算ROI区域包括以下过程：

初次设定目标时，取比目标大30％的区域作为ROI区域，ROI区域位于图像边界范围内；

在后续车辆及目标运动过程中，根据车辆运动和目标的状态来重新计算ROI区域，首先，基于目标状态和车辆运动状态进行目标和相机相对位置状态估计；然后，进行目标状态估计；接下来，进行ROI估计，计算当前ROI区域，ROI估计依据目标历史状态进行计算。

3.如权利要求2所述的基于区域结构树的红外夜视行人目标跟踪方法，其特征在于，所述步骤S2中，目标区域特征树提取分为两个步骤，第一个步骤为图像中区域特征提取；第二个步骤为区域特征聚类。

4.如权利要求3所述的基于区域结构树的红外夜视行人目标跟踪方法，其特征在于，所述步骤S2中，图像中区域特征提取依照MSER特征提取规则对图像目标区域构建局部区域特征结构树，然后按照稳定特征的判定规则对区域特征树进行筛选，得到一定数量的稳定的区域特征所构成的区域特征树。

5.如权利要求4所述的基于区域结构树的红外夜视行人目标跟踪方法，其特征在于，所述步骤S2中，区域特征聚类是将不同的区域特征分类管理，以实现对柔性目标跟踪，包括以下过程：

假设目标A由若干部件组成：

A＝{P₁ P₂ … P_N}

任意部件由若干区域特征组成：

$P_1=\left\{\begin{array}{cccc}{R}_{1,1}& R_{1,2}& ...& R_{1,N_1}\end{array}\right\}$

其中N₁是该部件所包含的区域特征的数量，一个部件所包含的最少区域特征数量为2；

区域特征聚类以各个区域特征的运动矢量为判别依据，如果运动方向一致，且运动速度差异不超过预设限度，则归结为一个部件；

对于任意部件P_i内的区域特征R_i，j，与其它任意该部件内的区域特征，其运动矢量：

需要满足匹配准则：

部件之间可以交叉，一个区域特征可能会短时出现同时属于两个部件的情况；

运动聚类是单一区域特征到部件再到目标全特征结构树的聚类过程，即目标区域特征结构树是单一特征及部件子集的全集。

6.如权利要求5所述的基于区域结构树的红外夜视行人目标跟踪方法，其特征在于，所述步骤S3中，区域特征树筛选包括以下过程：

S31：初始目标区域特征树筛选

如果目标ROI区域过大，将特征区域的数量上限设定为100；

如果目标ROI区域较小，所有计算出的区域特征均计入候选跟踪区域特征集；

S32：候选跟踪区域特征集筛选

根据跟踪有效性约定，一个目标区域所包含的区域特征数不超过100个，则候选跟踪区域特征集内的特征数量加上目标区域树中的特征数量总和不超过100，如果超过100，则依据特征稳定性约束条件MaxVariation来进行筛选，不断增加约束条件，直至候选跟踪区域特征的数量不超过100个。

7.如权利要求6所述的基于区域结构树的红外夜视行人目标跟踪方法，其特征在于，所述步骤S32中，

如果一个区域特征存在时长超过3帧，那么加入到区域结构树的跟踪序列中；

如果一个区域特征在区域结构树中的稳定连续存在时长超过3帧，则认为该区域特征能够支持部件及整个目标；但如果3帧后丢失，则从区域结构树中删除；

如果一个区域特征在区域结构树中的稳定连续存在时长超过20帧，那么后续如果丢失，则继续维持三帧有效推测，如果三帧后仍然丢失，则从区域结构树中删除；如果三帧内区域特征重新找回，则认为该区域特征从未丢失；

候选跟踪区域特征集是指那些未能连续出现三次的特征集，也即连续出现次数为两次和三次的特征区域。

8.如权利要求7所述的基于区域结构树的红外夜视行人目标跟踪方法，其特征在于，所述步骤S4中，特征树跟踪及状态更新过程中，

特征树的匹配更新流程为：

(1)输入条件

输入1：当前目标区域结构特征树TRST(TargetRegional Structure Tree)中；

输入2：候选跟踪区域特征集；

输入3：当前图像帧提取的所有区域特征LRS(Local Region Set)；

(2)对于任意一个目标区域结构树TRST中的区域特征TRi，在LRS中搜寻其匹配区域特征：

如果找到匹配特征，则用新的区域特征属性替代原特征所有属性；

如果未找到匹配特征：

I.如果当前区域特征的存在时长大于等于20，则将其保留在目标区域结构树TRST中；

II.如果当前区域特征的存在时长小于20，则将其删除；

(3)对于候选跟踪区域特征集中的任意区域，在LRS中搜寻其匹配区域特征：

如果找到其匹配区域特征，且其匹配区域特征已与TRST中的某区域相匹配，则从候选跟踪区域特征集中将该区域特征删除；

如果找到其匹配区域特征，且其匹配区域特征未与TRST中的任意区域特征相匹配：

I.如果该后续区域特征出现时长超过3帧，则将该特征加入到目标区域结构树中；

II.如果该后续区域特征出现时长未超过3帧，则将该特征继续保留在候选跟踪区域特征集中；

如果未找到其匹配区域特征，则把该候选跟踪区域特征从后续跟踪特征集中删除；

(4)更新部件状态

将所有加入到目标区域结构特征树中的区域特征进行运动矢量聚类，符合一致性判决条件的，则聚类为一个部件，否则区域特征可作为一个独立部件；

(5)更新候选跟踪区域特征集

a.经过步骤(5)，候选跟踪区域特征集中的部分特征被删除，部分特征被加入到目标区域结构树中，部分特征继续保留在候选跟踪区域特征集中；

b.对于当前帧提取的LRS，如果其中的任意特征经过前面的步骤未能加入到目标区域结构树中，且未能加入到候选跟踪区域特征集中，则把该特征加入到候选跟踪区域特征集中；即，LRS中的任意区域特征，经过当前帧的所有处理后，只有两种情况，一加入到目标区域结构树中；二加入到候选跟踪区域特征集中。

9.如权利要求8所述的基于区域结构树的红外夜视行人目标跟踪方法，其特征在于，所述步骤S5中，区域特征匹配过程为：

假设前后两帧图像的特征集为S_k-1和S_k，其中

$S_{k-1}=\left\{\begin{array}{cccc}{S}_{k-1,1}& S_{k-1,2}& ...& S_{k-1,N_{k-1}}\end{array}\right\}$

$S_k=\left\{\begin{array}{cccc}{S}_{k,1}& S_{k,2}& ...& S_{k,N_k}\end{array}\right\}$

N_k-1为S_k-1的特征数量，N_k为S_k的特征数量；

区域特征匹配准则：

对于任意两个区域特征：S_k-1，i和S_k，j，运用它的匹配面积变化率、位移变化量去评估；

面积变化率为：AreaDif＝Area(S_k-1，i)-Area(S_k，j)；

位移矢量变化率为：

如果AreaDif小于面积匹配判定阈值AreaThr，则认为这两个区域特征面积是匹配的；

位移估算矢量：

则位移计算矢量和位移估算矢量之间的匹配为：

如果匹配矢量满足下面两个条件，则认为两者匹配：

由此实现对目标的跟踪。

10.如权利要求9所述的基于区域结构树的红外夜视行人目标跟踪方法，其特征在于，所述AreaThr取值0.2。