基于区域结构树的红外夜视行人目标跟踪方法与流程

本发明属于目标跟踪技术领域，涉及一种基于区域结构树的红外夜视行人目标跟踪方法。

背景技术：

图像目标的跟踪大致可以分为基于目标模板的跟踪和基于特征的跟踪两种形式。基于目标模板的算法需要目标模板变化不能太大，否则跟踪稳定性将大大降低，该类算法不适用于行人等姿态多变的柔性目标；基于特征的跟踪算法随着近年来图像处理领域对图像特征提取算法的研究不断推进而得到关注，该类算法主要是提取目标区域范围内的一类或者多类特征，以特征跟踪的形式来替代对目标模板本身的跟踪。然而，目标特征的提取方法多种多样，有点特征、线特征、局部区域特征等。

车载红外夜视系统，具有目标形式多样、背景形式多样、环境形式多样等情况，导致具体的目标千差万别，对跟踪的一致性、可靠性具有很高的挑战。

技术实现要素：

(一)要解决的技术问题

本发明要解决的技术问题是：提供一种基于区域结构树的红外夜视行人目标跟踪方法，解决在这样高复杂条件下的各种行人目标可靠跟踪问题。

(二)技术方案

为了解决上述技术问题，本发明提供一种基于区域结构树的红外夜视行人目标跟踪方法，其包括以下步骤：

S1：计算ROI区域；

S2：目标区域特征树提取；

S3：区域特征树筛选；

S4：特征树跟踪及状态更新；

S5：区域特征匹配，实现目标跟踪。

其中，所述步骤S1中，计算ROI区域包括以下过程：

初次设定目标时，取比目标大30％的区域作为ROI区域，ROI区域位于图像边界范围内；

在后续车辆及目标运动过程中，根据车辆运动和目标的状态来重新计算ROI区域，首先，基于目标状态和车辆运动状态进行目标和相机相对位置状态估计；然后，进行目标状态估计；接下来，进行ROI估计，计算当前ROI区域，ROI估计依据目标历史状态进行计算。

其中，所述步骤S2中，目标区域特征树提取分为两个步骤，第一个步骤为图像中区域特征提取；第二个步骤为区域特征聚类。

其中，所述步骤S2中，图像中区域特征提取依照MSER特征提取规则对图像目标区域构建局部区域特征结构树，然后按照稳定特征的判定规则对区域特征树进行筛选，得到一定数量的稳定的区域特征所构成的区域特征树。

其中，所述步骤S2中，区域特征聚类是将不同的区域特征分类管理，以实现对柔性目标跟踪，包括以下过程：

假设目标A由若干部件组成：

A＝{P₁ P₂ … P_N}

任意部件由若干区域特征组成：

其中N₁是该部件所包含的区域特征的数量，一个部件所包含的最少区域特征数量为2；

区域特征聚类以各个区域特征的运动矢量为判别依据，如果运动方向一致，且运动速度差异不超过预设限度，则归结为一个部件；

对于任意部件P_i内的区域特征R_i，j，与其它任意该部件内的区域特征，其运动矢量：

需要满足匹配准则：

部件之间可以交叉，一个区域特征可能会短时出现同时属于两个部件的情况；

运动聚类是单一区域特征到部件再到目标全特征结构树的聚类过程，即目标区域特征结构树是单一特征及部件子集的全集。

其中，所述步骤S3中，区域特征树筛选包括以下过程：

S31：初始目标区域特征树筛选

如果目标ROI区域过大，将特征区域的数量上限设定为100；

如果目标ROI区域较小，所有计算出的区域特征均计入候选跟踪区域特征集；

S32：候选跟踪区域特征集筛选

根据跟踪有效性约定，一个目标区域所包含的区域特征数不超过100个，则候选跟踪区域特征集内的特征数量加上目标区域树中的特征数量总和不超过100，如果超过100，则依据特征稳定性约束条件MaxVariation来进行筛选，不断增加约束条件，直至候选跟踪区域特征的数量不超过100个。

其中，所述步骤S32中，

如果一个区域特征存在时长超过3帧，那么加入到区域结构树的跟踪序列中；

如果一个区域特征在区域结构树中的稳定连续存在时长超过3帧，则认为该区域特征能够支持部件及整个目标；但如果3帧后丢失，则从区域结构树中删除；

如果一个区域特征在区域结构树中的稳定连续存在时长超过20帧，那么后续如果丢失，则继续维持三帧有效推测，如果三帧后仍然丢失，则从区域结构树中删除；如果三帧内区域特征重新找回，则认为该区域特征从未丢失；

候选跟踪区域特征集是指那些未能连续出现三次的特征集，也即连续出现次数为两次和三次的特征区域。

其中，所述步骤S4中，特征树跟踪及状态更新过程中，

特征树的匹配更新流程为：

(1)输入条件

输入1：当前目标区域结构特征树TRST(TargetRegional Structure Tree)中；

输入2：候选跟踪区域特征集；

输入3：当前图像帧提取的所有区域特征LRS(Local Region Set)；

(2)对于任意一个目标区域结构树TRST中的区域特征TRi，在LRS中搜寻其匹配区域特征：

如果找到匹配特征，则用新的区域特征属性替代原特征所有属性；

如果未找到匹配特征：

I.如果当前区域特征的存在时长大于等于20，则将其保留在目标区域结构树TRST中；

II.如果当前区域特征的存在时长小于20，则将其删除；

(3)对于候选跟踪区域特征集中的任意区域，在LRS中搜寻其匹配区域特征：

如果找到其匹配区域特征，且其匹配区域特征已与TRST中的某区域相匹配，则从候选跟踪区域特征集中将该区域特征删除；

如果找到其匹配区域特征，且其匹配区域特征未与TRST中的任意区域特征相匹配：

I.如果该后续区域特征出现时长超过3帧，则将该特征加入到目标区域结构树中；

II.如果该后续区域特征出现时长未超过3帧，则将该特征继续保留在候选跟踪区域特征集中；

如果未找到其匹配区域特征，则把该候选跟踪区域特征从后续跟踪特征集中删除；

(4)更新部件状态

将所有加入到目标区域结构特征树中的区域特征进行运动矢量聚类，符合一致性判决条件的，则聚类为一个部件，否则区域特征可作为一个独立部件；

(5)更新候选跟踪区域特征集

a.经过步骤(5)，候选跟踪区域特征集中的部分特征被删除，部分特征被加入到目标区域结构树中，部分特征继续保留在候选跟踪区域特征集中；

b.对于当前帧提取的LRS，如果其中的任意特征经过前面的步骤未能加入到目标区域结构树中，且未能加入到候选跟踪区域特征集中，则把该特征加入到候选跟踪区域特征集中；即，LRS中的任意区域特征，经过当前帧的所有处理后，只有两种情况，一加入到目标区域结构树中；二加入到候选跟踪区域特征集中。

其中，所述步骤S5中，区域特征匹配过程为：

假设前后两帧图像的特征集为S_k-1和S_k，其中

N_k-1为S_k-1的特征数量，N_k为S_k的特征数量；

区域特征匹配准则：

对于任意两个区域特征：S_k-1，i和S_k，j，运用它的匹配面积变化率、位移变化量去评估；

面积变化率为：AreaDif＝Area(S_k-1，i)-Area(S_k，j)；

位移矢量变化率为：

如果AreaDif小于面积匹配判定阈值AreaThr，则认为这两个区域特征面积是匹配的；

位移估算矢量：

则位移计算矢量和位移估算矢量之间的匹配为：

如果匹配矢量满足下面两个条件，则认为两者匹配：

由此实现对目标的跟踪。

其中，所述AreaThr取值0.2。

(三)有益效果

上述技术方案所提供的基于区域结构树的红外夜视行人目标跟踪方法，将区域特征在跟踪过程中进行动态聚类，形成目标区域结构树TRST(TargetRegional Structure Tree)，运用对目标区域结构树的跟踪来实现对目标本身的跟踪，应用于红外夜视辅助驾驶系统，对车辆行驶前方夜视相机视场内的行人目标进行检测跟踪；行人目标跟踪是红外夜视辅助驾驶系统的必要组成部分，对目标的跟踪，可以提供目标的运动方向、运动速度、存在时长等若干信息，有利于对目标对行车的危险程度进行更为准确的评估，以有效提高辅助驾驶系统的可靠性。

附图说明

图1为区域特征树动态演变图例。

图2为区域特征树的简化模型动态演变过程。

图3为区域特征树部件组成示例。

图4为基于区域特征树的目标跟踪整体流程。

图5为ROI更新流程。

图6为目标区域特征树示例。

图7为目标区域特征树更新流程。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明方法运用三维区域特征树来对目标进行描述，跟踪过程中，不是对行人整体区域作为单一模板的跟踪，而是对目标区域特征树进行跟踪。区域特征树分为三级结构，第一级为单一区域特征，即页节点；第二级为部件模型，部件是由多个区域特征组合而成的局部组合；第三极也就是最高级，为目标区域特征树，它由部件和所有叶节点共同组成。如上所述，区域特征树的跟踪涉及到两个问题，一是区域特征的提取；二、区域特征树构建；三、特征树筛选及动态维护。

区域特征树的变化，如图1所示，该示例是一种最理想的变化过程。实际应用中所提取的区域往往是不规则的，且区域特征的组织关系会千差万别，这就要求区域特征树能够在图像变化的过程中，建立其弹性模型。假设我们以部件连接关节作为节点，则模型变为如图2所示。

以上为区域连接3D目标模型，在此基础上，每个节点会是一个独立的部件。部件可能是一个单一特征区域，也可能是一个由若干特征区域构成的子集，如图3所示。如果区域节点不是叶子节点，这意味着它有子区域或子树。

在3D区域结构树演变的过程中，任意节点可能消失，也可能会出现新的节点。任意节点具有其对应的置信度，这里的置信度定义为特征的生存生命周期ET(ExistingTime)。区域特征树的匹配跟踪将从高置信度的开始。在跟踪过程中，该方法试图在ROI区域内计算搜索出区域特征树。然而，这同时可能会将背景区域中的极值区域当作是目标的组成部分而加入到目标动态模型当中。在目标跟踪过程当中，如果目标是运动的，那么需要动态地对特征树进行修剪维护。

目标运动过程中很容易局部受到前景目标遮挡，或者背景强辐射干扰。比如一辆汽车从行人目标后面经过，其本身的发热会极大地干扰到行人目标的形态，此时会很容易导致目标模型发生剧烈变化，这时很容易导致任何基于全局模板的跟踪算法失效。但是如果这时能够跟踪头部或脚部等有效局部区域，则同样能够实现对目标的跟踪。如前述，在车辆行进过程中，目标特征树的状态实时更新，如目标尺度变化、姿态变化、背景变化、场景灰阶变化等都会对目标的状态造成影响。

鉴于上述分析，参照图4所示，本实施例行人目标跟踪方法包括以下步骤：

S1：计算ROI区域

初次设定目标时，取比目标大30％的区域作为ROI区域，ROI区域位于图像边界范围内。

在后续车辆及目标运动过程中，需要根据车辆运动和目标的状态来重新计算ROI区域，具体计算流程如图5所示，首先，基于目标状态和车辆运动状态进行目标和相机相对位置状态估计；然后，进行目标状态估计；接下来，进行ROI估计，计算当前ROI区域，ROI估计依据目标历史状态进行计算，其原则是ROI范围不能太大，以保证有效性；另外，ROI范围要保证目标尽量出现在其内部中心区域。

S2：目标区域特征树提取

目标区域特征树的提取分为两个步骤，第一个步骤为图像中区域特征的提取；第二个步骤为区域特征的聚类。

S21：区域特征提取

正如人眼所关注一样，显著性是一个非常重要的关注条件，而平滑区域作为显著区域的一种，对于目标的跟踪及判别是一种较为稳定的判断输入条件。区域特征提取依照MSER特征提取规则对图像目标区域构建局部区域特征结构树，然后按照稳定特征的判定规则对区域特征树进行筛选，得到一定数量的稳定的区域特征所构成的区域特征树。如图6所示，为一种目标区域特征树示例。

S22：区域特征聚类

区域特征聚类是将不同的区域特征分类管理，以实现对柔性目标跟踪。柔性目标通常由多个具有不同运动特征的部件所组成，各个运动部件具有在短时间内具有独立的运动特征，但是在较长的时间轴上，与目标本身的运动特征则具有一致性。例如人体的胳膊、腿。将区域特征聚类，以为更好地对部件进行描述，通过部件的跟踪以在更长的时间轴上实现对目标的稳定跟踪。

假设目标A由若干部件组成：

A＝{P₁ P₂ … P_N}

任意部件由若干区域特征组成：

其中N₁是该部件所包含的区域特征的数量，一个部件所包含的最少区域特征数量为2，否则该部件退化为一个页节点，所以N₁＞1。

区域特征聚类以各个区域特征的运动矢量为主要判别依据，如果运动方向一致，且运动速度差异不超过预设限度，则可以归结为一个部件。

对于任意部件P_i内的区域特征R_i，j，与其它任意该部件内的区域特征，其运动矢量：

需要满足匹配准则：

部件之间可以交叉，一个区域特征可能会短时出现同时属于两个部件的情况；

运动聚类是单一区域特征到部件(特征子集)再到目标全特征结构树的聚类过程，即目标区域特征结构树是单一特征及部件子集的全集。

部件子集更新可能会重新包含进新的单一特征，也可能将之前已有的单一特征排除在外，那么排除在外的特征则形成了新的目标部件。部件的跟踪可以有效地确认目标存在的有效范围，进而提高跟踪效率。

S3：区域特征树筛选

S31：初始目标区域特征树筛选

为提高目标区域结构树的有效性，如果目标ROI区域过大，那么将特征区域的数量上限设定为100；如果超过100个，很容易有太多的零散不稳定区域，则运算效率会下降很多，而性能改进无大多好处。

如果目标ROI区域较小，一般提取的区域特征数量不会超过100个。此时，所有计算出的区域特征均计入候选跟踪区域特征集。

S32：候选跟踪区域特征集筛选

候选跟踪区域特征集是指暂时存储在跟踪队列当中，但不属于目标区域树的区域特征。根据跟踪有效性约定，本算法限定一个目标区域所包含的区域特征数不超过100个，则意味着候选跟踪区域特征集内的特征数量加上目标区域树中的特征数量总和不超过100。如果超过100，则依据特征稳定性约束条件MaxVariation来进行筛选，不断增加约束条件，直至候选跟踪区域特征的数量不超过100个。

S4：特征树跟踪及状态更新

区域结构树由各个部件组成，各个部件对应于不同的稳定性度量。对于任意一个区域，其稳定性度量由其生命周期ET来度量。ET越大，则说明该区域长期被长期跟踪，稳定性较好。稳定性好的区域，对于目标确认有较好的支撑作用。部件的确认只能由部件的区域子结构树来支撑，如果部件的支撑区域特征不能满足支撑条件，则该部件失效。部件的支撑条件即至少两个有效的特征存在。如果只剩一个区域特征，则该部件退化为页节点。

如果一个区域特征存在时长超过3帧，那么加入到区域结构树的跟踪序列中。

如果一个区域特征在区域结构树中的稳定连续存在时长超过3帧，那么认为该区域特征是能够支持部件及整个目标的；但如果3帧后丢失，则从区域结构树中删除；

如果一个区域特征在区域结构树中的稳定连续存在时长超过20帧，那么后续如果丢失，则继续维持三帧有效推测，如果三帧后仍然丢失，则从区域结构树中删除；如果三帧内区域特征重新找回，则认为该区域特征从未丢失；

候选跟踪区域特征集是指那些未能连续出现三次的特征集，也即连续出现次数为两次和三次的特征区域。

如图7所示，特征树的匹配更新流程为：

(1)输入条件

输入1：当前目标区域结构特征树TRST(TargetRegional Structure Tree)中；

输入2：候选跟踪区域特征集；

输入3：当前图像帧提取的所有区域特征LRS(Local Region Set)；

(2)对于任意一个目标区域结构树TRST中的区域特征TRi，在LRS中搜寻其匹配区域特征：

如果找到匹配特征，则用新的区域特征属性替代原特征所有属性；

如果未找到匹配特征：

I.如果当前区域特征的存在时长大于等于20，则将其保留在目标区域结构树TRST中；

II.如果当前区域特征的存在时长小于20，则将其删除；

(3)对于候选跟踪区域特征集中的任意区域，在LRS中搜寻其匹配区域特征：

如果找到其匹配区域特征，且其匹配区域特征已与TRST中的某区域相匹配，则从候选跟踪区域特征集中将该区域特征删除；

如果找到其匹配区域特征，且其匹配区域特征未与TRST中的任意区域特征相匹配：

I.如果该后续区域特征出现时长超过3帧，则将该特征加入到目标区域结构树中；

II.如果该后续区域特征出现时长未超过3帧，则将该特征继续保留在候选跟踪区域特征集中；

如果未找到其匹配区域特征，则把该候选跟踪区域特征从后续跟踪特征集中删除；

(4)更新部件状态

将所有加入到目标区域结构特征树中的区域特征进行运动矢量聚类，符合一致性判决条件的，则聚类为一个部件，否则区域特征可作为一个独立部件；

(5)更新候选跟踪区域特征集

a.经过步骤(5)，候选跟踪区域特征集中的部分特征被删除，部分特征被加入到目标区域结构树中，部分特征继续保留在候选跟踪区域特征集中；

b.对于当前帧提取的LRS，如果其中的任意特征经过前面的步骤未能加入到目标区域结构树中，且未能加入到候选跟踪区域特征集中，则把该特征加入到候选跟踪区域特征集中。即，LRS中的任意区域特征，经过当前帧的所有处理后，只有两种情况，一加入到目标区域结构树中；二加入到候选跟踪区域特征集中。

S5：区域特征匹配

区域匹配是区域特征跟踪及目标区域树动态维护的前提。

一个区域特征在众多区域特征中寻找到最优的匹配区域的方式为：找出所有的面积相似和距离相近的匹配区域。

假设前后两帧图像的特征集为S_k-1和S_k，其中

N_k-1为S_k-1的特征数量，N_k为S_k的特征数量。

区域特征匹配准则：

对于任意两个区域特征：S_k-1，i和S_k，j，运用它的匹配面积变化率、位移变化量去评估；

面积变化率为：AreaDif＝Area(S_k-1，i)-Area(S_k，j)；

位移矢量变化率为：

从上面的表达式可以看出，面积变化率是一个标量，用标量阈值进行约束。如果AreaDif小于面积匹配判定阈值AreaThr，则认为这两个区域特征面积是匹配的。这里AreaThr取值0.2。

上面表达式可以看出，位移矢量变化率为矢量，位移计算矢量需要和位移估算矢量进行对比。

位移估算矢量：

则位移计算矢量和位移估算矢量之间的匹配为：

如果匹配矢量满足下面两个条件，则认为两者匹配：

由此实现对目标的跟踪。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。