一种基于连续最小能量表观模型的多目标跟踪方法
【专利摘要】本发明公开了一种基于连续最小能量表观模型的多目标跟踪方法。本发明所述方法包括以下步骤：利用观测模型、表观模型、运动模型、互斥模型、轨迹维持模型及轨迹修正模型构建一个目标函数；利用梯度下降法对构建的目标函数求解，以得到各时刻跟踪目标的近似最小能量，及对应的多目标个数和状态；采用基于最小能量的智能探测方法，得到平滑、连续的跟踪轨迹。本发明基于连续最小能量表观模型的多目标跟踪方法能够在存在杂波、虚警、漏检的复杂场景中实现多目标的正确关联，得到稳定、持续的跟踪轨迹。
【专利说明】一种基于连续最小能量表观模型的多目标跟踪方法
【技术领域】
[0001]本发明涉及一种基于连续最小能量表观模型的多目标跟踪方法，属于计算机视觉【技术领域】。
【背景技术】
[0002]目标跟踪技术是计算机视觉与模式识别领域研究的一个热门课题，受到国内外学者的普遍关注，具有广泛的应用前景。目标跟踪的目的旨在获取跟踪目标的位置与数量信息，并利用跟踪目标当前的运动信息进行目标后续运动状态的预测，最终实现目标轨迹的跟踪和身份的认证。近年来，由于目标检测性能的提高，基于检测方法的跟踪技术已越来越受欢迎。这些方法主要利用目标的轮廓、位移、速度等信息构建一个模型，用以测量检测响应或最佳关联结构微小轨迹间的相似性。
[0003]尽管多目标跟踪在很多方面都有着十分广泛地应用，但要同时鲁棒地(robustness)检测、跟踪多个目标，尤其在目标被外界物体遮挡、目标间相互遮挡、目标改变运动方向等情况下，仍是一个巨大地挑战。而本发明能够很好地解决上面的问题。
【发明内容】
[0004]本发明目的是解决了目标间由于运动方向改变、外界物体遮挡以及目标间相互遮挡引起的漏检、误检和标签互换问题；本发明首先利用目标的检测信息构建一个能量函数，然后通过对该能量函数求解最佳能量值的方法获取跟踪序列的关联策略，逐步实现微小轨迹拼接成更长、更连续的轨迹，进而达到最佳的跟踪结果。
[0005]本发明解决其技术问题所采取的技术方案是:本发明提出一种基于连续最小能量表观模型的多目标跟踪方法，该方法包括以下步骤:
[0006]步骤1:利用观测模型、表观模型、运动模型、互斥模型、轨迹维持模型及轨迹修正模型构建一个目标函数；
[0007]步骤2:利用梯度下降法对构建的目标函数求解，以得到各时刻跟踪目标的近似最小能量，及对应的多目标个数和状态；
[0008]步骤3:采用基于最小能量的智能探测方法，得到平滑、连续的跟踪轨迹。
[0009]首先定义一个全局最优能量函数并对其进行优化，然后采用梯度下降法对优化后的近似线性能量函数进行求解，得到该能量函数在整个视频序列中的最优解。该能量函数定义如下:
[0010]E (X) = a Edet (χ) + β Eapp(X) + K Eexc
[0011]+Y Edyn(X)+ λ Eper(X)+ μ Ereg(X)
[0012]其中，α，β，κ，Y，λ，μ分别表示各能量函数的权重。Edet表示观察模型的能量；Eapp表示表观模型的能量，旨在消除不同目标间的关联；Eex。、Edyn及Epot分别表示互斥模型、动态模型、轨迹维持模型的能量，旨在优化跟踪轨迹结果；EMg表示轨迹修正模型的能量，旨在一定程度上防止迭代过程中的过拟合。[0013]在实际实验过程中，跟踪效果可通过各能量函数权重进行调节，如在跟踪过程中，可通过增加μ来降低误跟踪率。
[0014]目标函数旨在找到一个使能量函数E(X)取得最优跟踪轨迹的状态X*:
[0015]X*=argminE(^)
XeR
[0016]其中，E(X*)表示搜索空间R的连续最小能量。该空间取值一般介于IO3-1O4之间，具体取值取决于视频图像序列的长度和目标数目的多少。
[0017]本发明所构造的能量函数为非凸函数，在全局跟踪过程中可能存在2个或者多个峰值，因此，本发明中引入一系列跳跃运动来改变当前状态X。.的维数，以按照能量下降的方向迭代，获得最低的能量。能量按照下降方向通过移动新增一个跟踪轨迹的同时，通过关联使得已有轨迹变得更长。本发明采用梯度下降法对能量函数方程进行求解，以求得跟踪目标的近似最小能量。
[0018]本发明在求解过程中，对跟踪目标每进行η次迭代，就对目标轨迹执行一次跳跃运动，实现一次关联，直到能量有上升趋势为止。求解过程中，本发明假设跳跃运动的顺序不会影响最终的跟踪结果。也即，当正向迭代无法获得跟踪目标的最优解时，可通过反向迭代求解跟踪目标的最小能量。这一优化过程的特点在于总能找到降低能量的途径，同时使得跳跃运动优化过程具有教大的适应性，并使最初的最小能量值可以不依赖于跟踪目标的数目。 [0019]本发明是采用基于智能探测策略的梯度下降法，该方法是利用独立模式梯度下降的优势，按照能量梯度下降方向进行迭代，并对能量相近的跟踪目标位置进行关联。只要迭代过程是按照能量下降方向进行，则跳跃运动会一直继续。智能探测策略推演法包括目标轨迹的增长与收缩策略、拆分与合并策略、删除与添加三种策略。
[0020]目标轨迹的增长与收缩策略是指采用智能轨迹探测法在时空上对每条跟踪轨迹进行扩展和缩短。具体来说，如果能量函数的下一次迭代中，无法获得最优的跟踪位置，则将该轨迹上的跟踪目标移除，跟踪轨迹缩短；反之，如果迭代过程一直按照能量下降的方向进行，则该跟踪轨迹将在原有基础上进行扩展，增长现有轨迹。目标轨迹的增长和缩短策略一方面有助于重新对跟丢的目标进行跟踪，另一方面有助于清除误检目标。
[0021]目标轨迹的拆分与合并策略其目的在于消除目标跟踪过程中，由于相互遮挡而引起目标身份的互换。如果一条跟踪轨迹拆分为两条或多条跟踪轨迹后，能量是减少的，则拆分策略是可行的；如果两条或多条跟踪轨迹合并为一条物理上合理的跟踪轨迹后，能量是减少的，则合并策略是可行的。拆分过程的目的在于将误检对象从原有轨迹中剥离，并对其重新关联到正确的跟踪轨迹中；合并过程的目的在于解决由于遮挡而引起目标暂时跟踪失败的问题。
[0022]目标轨迹的添加和删除策略其目的在于消除目标跟踪过程中，由于检测失败造成的目标丢失、错误预警等问题。能量函数迭代中，由于能量最强位置处的目标不属于原有跟踪片段，因此，需要对该目标建立新的轨迹，且需对该条轨迹进行验证。具体来说，除最初的迭代过程外，还需对该条新建的跟踪轨迹进行连续迭代验证，如连续迭代后，该能量函数依然按照能量下降方向进行迭代，则认为新添加的跟踪轨迹是可靠的；如果在能量函数迭代中，突然出现某一帧的能量跳增，而之后能量又恢复正常，则认为当前帧的跟踪轨迹是不可靠的，需将其移除。
[0023]有益效果:
[0024]1、本发明实现微小轨迹拼接成更长、更连续的轨迹，并且达到了最佳的跟踪结果。
[0025]2、本发明能够重新对跟丢的目标进行跟踪，有助于清除误检目标。
[0026]3、本发明目标轨迹的增长和缩短策略一方面有助于重新对跟丢的目标进行跟踪，另一方面也有助于清除误检目标
[0027]4、本发明能够找到降低能量的途径，同时使得跳跃运动优化过程具有教大的适应性，并使最初的最小能量值可以不依赖于跟踪目标的数目。
【专利附图】
【附图说明】
[0028]图1为本发明的跟踪轨迹状态示意图。
[0029]图2为本发明变量固定法下参数α = I各参数对跟踪性能示意图。
[0030]图3为本发明的方法流程图。
【具体实施方式】
[0031]以下实施例结合说明书附图对本发明创造作进一步的详细说明。
[0032]如图1、图2和图3所示，本发明提供一种基于连续最小能量表观模型的多目标跟踪方法，该方法首先通过观察模型、表观模型和动态模型得到运动目标的状态信息；然后，通过互斥模型、轨迹维持模型和轨迹修正模型减少跟踪目标的漏检、误检和标签互换；最后，构造反应目标状态的能量函数，并采用梯度下降法对该能量函数进行求解，以得到能量函数的近似能量最小值，进而获取目标准确的个数和状态信息。
[0033]本发明提供一个优选实施方式，具体包括如下步骤:
[0034]步骤1:利用观测模型、表观模型、运动模型、互斥模型、轨迹维持模型及轨迹修正模型构建一个目标函数；
[0035]1、观察模型
[0036]观察模型主要用于检测跟踪轨迹与初始化轨迹的对比，以保证能量按下降方向搜索:当目标的各方向位置与初始化位置精确匹配时，此时所得能量则为最小能量。通过平滑
跟踪目标Z/与给定检测对象< 间的距离，可获得更为准确的目标位置。观察模型能量函数
的表达式如下所示:
[0037]
【权利要求】
1.一种基于连续最小能量表观模型的多目标跟踪方法，其特征在于，所述方法包括以下步骤: 步骤1:利用观测模型、表观模型、运动模型、互斥模型、轨迹维持模型及轨迹修正模型构建一个目标函数； 步骤2:利用梯度下降法对构建的目标函数求解，以得到各时刻跟踪目标的近似最小能量，及对应的多目标个数和状态； 步骤3:采用基于最小能量的智能探测方法，得到平滑、连续的跟踪轨迹。
2.根据权利要求1所述的一种基于连续最小能量表观模型的多目标跟踪方法，其特征在于，所述方法的步骤3包括:首先定义一个全局最优能量函数并对其进行优化，然后利用梯度下降法对优化后的近似线性能量函数进行求解，得到该能量函数在整个视频序列中的最优解，该能 量函数定义如下:
E (X) = a Edet (Χ) + β Eapp (X)+ κ Eexc
+ Y Edyn(Χ) + λ Eper (Χ) + μ Ereg(X) 其中，α , β , κ , y , λ , μ分别表示各能量函数的权重,Edet表示观察模型的能量；Eapp表示表观模型的能量，旨在消除不同目标间的关联；E_、Edyn及Epw分别表示互斥模型、动态模型、轨迹维持模型的能量，旨在优化跟踪轨迹结果；EMg表示轨迹修正模型的能量，旨在一定程度上防止迭代过程中的过拟合。
3.根据权利要求1或2所述的一种基于连续最小能量表观模型的多目标跟踪方法，其特征在于，所述方法的步骤3包括: 目标函数旨在找到一个使能量函数E(X)取得最优跟踪轨迹的状态
A,':' = arg mi η E (Λ')
Xe及 其中，Ε(Χ*)表示搜索空间R的连续最小能量，该空间取值一般介于IO3-1O4之间。
4.根据权利要求1所述的一种基于连续最小能量表观模型的多目标跟踪方法，其特征在于，所述方法利用梯度下降法对能量函数方程进行求解，以求得跟踪目标的近似最小能量；求解过程中，对跟踪目标每进行η次迭代，就对目标轨迹执行一次跳跃运动，实现一次关联，直到能量有上升趋势为止；求解过程中，假设跳跃运动的顺序不会影响最终的跟踪结果；也即，当正向迭代无法获得跟踪目标的最优解时，通过反向迭代求解跟踪目标的最小能量，并使最初的最小能量值不依赖于跟踪目标的数目。
5.根据权利要求1所述的一种基于连续最小能量表观模型的多目标跟踪方法，其特征在于，所述方法采用基于智能探测策略的梯度下降法，利用独立模式梯度下降的优势，按照能量梯度下降方向进行迭代，并对能量相近的跟踪目标位置进行关联；只要迭代过程是按照能量下降方向进行，则跳跃运动会一直继续；智能探测策略推演法包括目标轨迹的增长与收缩策略、拆分与合并策略、删除与添加三种策略。
6.根据权利要求4所述的一种基于连续最小能量表观模型的多目标跟踪方法，其特征在于:所述方法的目标轨迹的增长与收缩策略是采用智能轨迹探测法在时空上对每条跟踪轨迹进行扩展和缩短；如果能量函数的下一次迭代中，无法获得最优的跟踪位置，则将该轨迹上的跟踪目标移除，跟踪轨迹缩短；反之，如果迭代过程一直按照能量下降的方向进行，则该跟踪轨迹将在原有基础上进行扩展，增长现有轨迹。
7.根据权利要求4或6所述的一种基于连续最小能量表观模型的多目标跟踪方法，其特征在于:所述方法目标轨迹的拆分与合并策略其目的在于消除目标跟踪过程中，由于相互遮挡而引起目标身份的互换；如果一条跟踪轨迹拆分为两条或多条跟踪轨迹后，能量是减少的，则拆分策略是可行的；如果两条或多条跟踪轨迹合并为一条物理上合理的跟踪轨迹后，能量是减少的，则合并策略是可行的。
8.根据权利要求7所述的一种基于连续最小能量表观模型的多目标跟踪方法，其特征在于:所述方法的目标轨迹的添加和删除策略是在于消除目标跟踪过程中，由于检测失败造成的目标丢失、错误预警问题；能量函数迭代中，由于能量最强位置处的目标不属于原有跟踪片段，因此，需要对该目标建立新的轨迹，且需对该条轨迹进行验证；除最初的迭代过程外，还需对该条新建的跟踪轨迹进行连续迭代验证，如连续迭代后，该能量函数依然按照能量下降方向进行迭代，则认为新添加的跟踪轨迹是可靠的；如果在能量函数迭代中，突然出现某一帧的能量跳增，而之后能量又恢复正常，则认为当前帧的跟踪轨迹是不可靠的，需将其移 除。
【文档编号】G06K9/62GK104008392SQ201410197133
【公开日】2014年8月27日 申请日期:2014年5月9日 优先权日:2014年5月9日
【发明者】朱松豪, 孙伟, 李向向, 陈玲玲 申请人:南京邮电大学