基于行为学习的多目标跟踪方法及系统的制作方法
【专利摘要】本发明提出一种基于行为学习的多目标跟踪方法及系统，该方法包括：获取目标视频序列，对目标视频序列进行检测，并根据检测结果获得跟踪目标候选框的大小及位置信息；对多目标实时跟踪问题进行建模，并建立多目标实时跟踪问题的产生式概率模型；针对产生式概率模型中的全局条件概率项，在已进行正确标注的训练集上进行离线训练，进行普适于各种场景的全局行为预测，针对产生式概率模型中的局部条件概率项利用每个目标在当前帧之前的跟踪数据，实时在线训练适用于该目标的局部行为预测；结合全局行为预测及局部行为预测得到目标的行为预测，并根据预测的目标行为进行多目标跟踪。本发明在多目标跟踪时能保持跟踪率，同时能明显的减少跟踪错误率。
【专利说明】
基于行为学习的多目标跟踪方法及系统
技术领域
[0001] 本发明设及计算机视觉及机器人导航技术领域，特别设及一种基于行为学习的多 目标跟踪方法及系统。
【背景技术】
[0002] 目标跟踪一直是计算机视觉领域的重要问题和研究热点，目标跟踪根据同时跟踪 的目标数分为单目标跟踪W及多目标跟踪(M0T，Multi-0bject化acking)。近年来，由于在 视频监控、运动分析、自动驾驶W及机器人导航等视频分析场景有更广泛的应用，对于多目 标跟踪的研究变得更加重要并拥有更多的现实意义。下面简述一些多目标跟踪的重要应用 场景：
[0003] (1)智能视频监控:基于运动识别（例如基于步法的人类识别，自动物体检测等）， 自动化监测（监视一个场景W检测可疑行为）；交通监视(实时收集交通数据用来指挥交通 流动）。
[0004] (2)人机交互:传统人机交互是通过计算键盘和鼠标进行的。而人们期望计算机更 智能地W自然方式与人交流。实现运一目标的方式之一是使计算机具有识别和理解人的姿 态、动作、手势等能力，跟踪是完成运些任务的关键一步。
[0005] (3)机器人导航:视觉传感器是智能机器人一种重要的信息源，为能自主运动，智 能机器人须认识和跟踪环境中的物体。在机器人手眼应用中，跟踪技术用安装在机器人手 上的摄像机拍摄物体，计算其运动轨迹，选择最佳姿态抓取物体。
[0006] (4)虚拟现实:虚拟环境中3D交互和虚拟角色动作模拟直接得益于视频人体运动 分析的研究成果，可给参与者提供更加丰富的交互形式。从视频中获取人体运动数据，用新 的虚拟人物或具有类似关节模型的物体替换原视频中的人物，W得到意想不到的特殊效 果。其关键技术是人体运动跟踪分析。
[0007] 多目标跟踪指从视频序列中获取感兴趣的多个目标(一般是某一类)的位置、大小 W及运动轨迹的过程。随着深度学习等更加先进的算法成功的应用到物体检测领域，物体 检测的准确度进一步提高。运也就为基于检测的多目标跟踪算法的产生提供了基础和依 据。基于检测的多目标跟踪简单来说就是将每一帖的检测结果对应连接起来形成每个目标 在视频空间的"轨迹(trajectoriesT。为了确定运个轨迹，就要解决检测之间歧义链接W 及错误检测问题(多检一一假阳，漏检一一假阴）。
[000引为了更好的解决上述问题，较为直接的想法是用整体(batch)模式，即在整段视频 序列上进行循环迭代，不断优化求得的轨迹。由于运种方法只能处理已有的整段视频，无法 实时跟踪，也被称为离线(offline)模式。显而易见，整体模式的实用性并不强，无法应用到 实时监控W及自动驾驶等需要实时处理的领域。因此，与之相对的实时(online)模式就成 为了现在研究的主要方向。
【发明内容】
[0009] 本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
[0010] 为此，本发明的一个目的在于提出一种基于行为学习的多目标跟踪方法，该方法 在多目标跟踪时能保持跟踪率，同时能明显的减少跟踪错误率。
[0011] 本发明的另一个目的在于提出一种基于行为学习的多目标跟踪系统。
[0012] 为了实现上述目的，本发明第一方面的实施例提出了一种基于行为学习的多目标 跟踪方法，包括W下步骤:Sl:获取目标视频序列，对所述目标视频序列进行检测，并根据检 测结果获得跟踪目标候选框的大小及位置信息;S2:对多目标实时跟踪问题进行建模，并建 立所述多目标实时跟踪问题的产生式概率模型；S3:针对所述产生式概率模型中的全局条 件概率项，在已进行正确标注的训练集上进行离线训练，进行普适于各种场景的全局行为 预测，针对所述产生式概率模型中的局部条件概率项利用每个目标在当前帖之前的跟踪数 据，实时在线训练适用于该目标的局部行为预测；W及S4:结合所述全局行为预测及所述局 部行为预测得到目标的行为预测，并根据预测的目标行为进行多目标跟踪。
[0013] 根据本发明实施例的基于行为学习的多目标跟踪方法，在应用于多目标跟踪场景 时，既能保持跟踪率，同时能明显的减少跟踪错误率，提高跟踪准确性。
[0014] 另外，根据本发明上述实施例的基于行为学习的多目标跟踪方法还可W具有如下 附加的技术特征：
[0015] 在一些示例中，所述S2中，所述产生式概率模型建立过程如下：
[0016] 采用公式(I)所示的概率模型来表示求解多目标跟踪问题：
[0017]
(I)，
[001引其中，X表示所跟踪目标的状态的集合，Z表示所有的检测结果的信息集合；
[0019] 具体到所述目标视频序列中每一帖t的所有目标的状态，所述公式(I)可变形为：
[0020]
)，
[0021] 其中，ZtW及Xt分别表示第t帖的所有观测和目标状态，所述公式（E)相当于逐帖 求得最优解；
[0028] 其中，P(Xi)是在第一帖初始化目标状态，P(ZtlXt)是观测目标框W及目标状态信 息所决定的目标框的图像特征相似性，巧X, i例巧巧是所有目标共性行为的全局先验知识
[0022] 根据多目标跟踪问题的马尔科夫性，Xt可W被看作是由前一帖的目标状态Xt-iW 及关于目标行为的预测或者先验知识巧共同产生的，则所述公式（n)就可W被进一步推导 为：
[0023]
[0024] 浊立的，具体为：
[0025]
[00%] i-步的变形为：
[0027] (IV)， 对目标状态的预测，巧X/1 为每一个目标在前一帖的状态产生当前帖状态的概率， '试 相当于根据目标自身的行为对该目标的状态预测。
[0029] 在一些示例中，在所述S3中，所述全局行为预测具体包括:利用数据变形的方法， 将原始的探测数据结合训练集的标注结果产生训练数据，并利用所述训练数据训练神经网 络，W使训练出的神经网络能够根据目标前Tg帖的状态信息预测出目标当前帖的状态信 息，其中，所述训练数据的结构为：目标前Tg帖的状态信息W及对应的当前帖的状态信息。
[0030] 在一些示例中，在所述S3中，所述局部行为预测具体包括:在进行目标跟踪的过程 中，实时进行训练，并将目标之前的跟踪信息进行变形，产生出训练数据，并利用所述训练 数据训练神经网络，W使训练出的神经网络能够根据目标前Tl帖的状态信息预测出目标当 前帖的状态信息，其中，训练数据的结构为，目标前Tl帖的状态信息W及对应的当前帖的状 态fs息。
[0031] 为了实现上述目的，本发明第二方面的实施例还提供了一种基于行为学习的多目 标跟踪系统，包括:获取模块，所述获取模块用于获取目标视频序列，对所述目标视频序列 进行检测，并根据检测结果获得跟踪目标候选框的大小及位置信息;建模模块，所述建模模 块用于对多目标实时跟踪问题进行建模，并建立所述多目标实时跟踪问题的产生式概率模 型;预测模块，所述预测模块用于针对所述产生式概率模型中的全局条件概率项，在已进行 正确标注的训练集上进行离线训练，进行普适于各种场景的全局行为预测，针对所述产生 式概率模型中的局部条件概率项利用每个目标在当前帖之前的跟踪数据，实时在线训练适 用于该目标的局部行为预测；W及跟踪模块，所述跟踪模块用于结合所述全局行为预测及 所述局部行为预测得到目标的行为预测，并根据预测的目标行为进行多目标跟踪。
[0032] 根据本发明实施例的基于行为学习的多目标跟踪系统，在应用于多目标跟踪场景 时，既能保持跟踪率，同时能明显的减少跟踪错误率，提高跟踪准确性。
[0033] 另外，根据本发明上述实施例的基于行为学习的多目标跟踪系统还可W具有如下 附加的技术特征：
[0034] 在一些示例中，所述产生式概率模型建立过程如下：
[0035] 采用公式(I)所示的概率模型来表示求解多目标跟踪问题：
[0036]
(1)，
[0037] 其中，X表示所跟踪目标的状态的集合，S表示所有的检测结果的信息集合；
[003引且化面I断冰曰惊抑麻席別由锭一帖t的所有目标的状态，所述公式（I)可变形为：
[0039] 。。'
[0040] 其中，ZtW及Xt分别表示第t帖的所有观测和目标状态，所述公式（E)相当于逐帖 求得最优解；
[0041 ]根据多目标跟踪问题的马尔科夫性，Xt可W被看作是由前一帖的目标状态Xt-I W 及关于目标行为的预测或者先验知识技共同产生的，则所述公式（n)就可W被进一步推导 为：
[0042]
[0043] 其中，所述先验知识技W及前一帖目标的状态Xt-I是相互独立的，具体为：
[0044]
(III);
[0045] 利用一阶马尔科夫性进行逐帖递推，所述公式(m)可W进一步的变形为：
[0046；
UV )，
[0047] 其中，P(Xi)是在第一帖初始化目标状态，P(ZtlXt)是观测目标框W及目标状态信 息所决定的目标框的图像特征相似性，巧XJ錢巧巧是所有目标共性行为的全局先验知识 对目标状态的预测
I每一个目标在前一帖的状态产生当前帖状态的概率， 相当于根据目标自身的行为对该目标的状态预测。
[0048] 在一些示例中，所述全局行为预测具体包括:利用数据变形的方法，将原始的探测 数据结合训练集的标注结果产生训练数据，并利用所述训练数据训练神经网络，W使训练 出的神经网络能够根据目标前Tg帖的状态信息预测出目标当前帖的状态信息，其中，所述 训练数据的结构为：目标前Tg帖的状态信息W及对应的当前帖的状态信息。
[0049] 在一些示例中，所述局部行为预测具体包括:在进行目标跟踪的过程中，实时进行 训练，并将目标之前的跟踪信息进行变形，产生出训练数据，并利用所述训练数据训练神经 网络，W使训练出的神经网络能够根据目标前Tl帖的状态信息预测出目标当前帖的状态信 息，其中，训练数据的结构为，目标前Tl帖的状态信息W及对应的当前帖的状态信息。
[0050] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0051] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得 明显和容易理解，其中：
[0052] 图1是根据本发明一个实施例的基于行为学习的多目标跟踪方法的流程图；
[0053] 图2是根据本发明一个实施例的基于行为学习的多目标跟踪方法的整体流程图； 图3是本发明一个实施例的基于行为学习的多目标跟踪方法的全局跟踪的流程框图；
[0054] 图4是本发明一个实施例的基于行为学习的多目标跟踪方法局部跟踪的流程框 图；
[0055] 图5是本发明一个具体实施例的基于行为学习的多目标跟踪方法的目标大小的预 测结果与实际结果比较示意图；
[0056] 图6是本发明一个具体实施例的基于行为学习的多目标跟踪方法的目标位置的预 测结果与实际结果比较示意图；W及
[0057] 图7是本发明一个实施例的基于行为学习的多目标跟踪系统的结构框图。
【具体实施方式】
[0058] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0059] W下结合附图描述根据本发明实施例的基于行为学习的多目标跟踪方法及系统。
[0060] 图1是根据本发明一个实施例的基于行为学习的多目标跟踪方法的流程图。图2是 根据本发明一个实施例的基于行为学习的多目标跟踪方法的整体流程图。如图1所示，并结 合图2,根据本发明一个实施例的基于行为学习的多目标跟踪方法，包括W下步骤：
[0061] 步骤Sl:获取目标视频序列，对目标视频序列进行检测，并根据检测结果获得跟踪 目标候选框的大小及位置信息。
[0062] 步骤S2:对多目标实时跟踪问题进行建模，并建立多目标实时跟踪问题的产生式 概率模型。
[0063] 其中，在步骤S2中，产生式概率模型建立过程如下：
[0064] 采用公式（I)所示的概率模型来表示求解多目标跟踪问题：
[00化]
0)，
[0066] 其中，X表示所跟踪目标的状态的集合，Z表示所有的检测结果的信息集合，其中， 所跟踪目标的状态包括大小和位置。因此多目标跟踪问题就是求得能使得到观测结果的概 率达到最大的目标状态。
[0067] 具体到目标视频序列中每一帖t的所有目标的状态，公式(I)可变形为：
[006引
（U )'
[0069] 其中，ZtW及Xt分别表示第t帖的所有观测和目标状态，公式（n)相当于逐帖求得 最优解。由于实时多目标跟踪要求得到当前帖的最优解，公式（n)的运一特性就可W有效 的处理实时多目标跟踪问题，因此可W应用到更广泛的场景中，例如自动驾驶W及机器人 导航等。
[0076] 其中，P(Xi)是在第一帖初始化目标状态，P(ZtlXt)是观测目标框W及目标状态信 息所决定的目标框的图像特征相似性，i 6)巧6)是所有目标共性行为的全局先验知识
[0070] 根据多目标跟踪问题的马尔科夫性，Xt可W被看作是由前一帖的目标状态Xt-iW 及关于曰标斤责的丽娜Il遗若先胳细巧巧最同产年的.则公立（TT )就可U被进一步推导为；
[0071]
[007^ ，具体为：
[007；3] (川）；
[0074] 的变形为：
[0075] (IV). 对目标状态的预测，巧馬I Xy)为每一个目标在前一帖的状态产生当前帖状态的概率， ';-_气 1.-Z 相当于根据目标自身的行为对该目标的状态预测。
[0077] 步骤S3:针对产生式概率模型中的全局条件概率项，在已进行正确标注的训练集 上进行离线训练，进行普适于各种场景的全局行为预测（即目标的位置W及大小的变化趋 势预测），针对产生式概率模型中的局部条件概率项利用每个目标在当前帖之前的跟踪数 据，实时在线训练适用于该目标的局部行为预测。
[0078] 其中，结合图3所示，全局行为预测具体包括:利用数据变形的方法，将原始的探测 数据结合训练集的标注结果产生训练数据，并利用训练数据训练神经网络，W使训练出的 神经网络能够根据目标前Tg帖的状态信息预测出目标当前帖的状态信息，其中，训练数据 的结构为：目标前Tg帖的状态信息W及对应的当前帖的状态信息。具体的训练过程如下：
[0079] 通过产生的前Tg帖的状态信息，在神经网络的前向过程中算出预测值将预测 值带入到下式的损失函数中：
[0080]
(V)，
[0081] 通过后向过程得到残差，并不断迭代直到达到设定值。利用运些数据训练神经网 络，使得训练出的神经网络能够根据目标前Tg帖的状态信息预测出目标当前帖的状态信 息。
[0082] 另一方面，结合图4所示，局部行为预测具体包括:在进行目标跟踪的过程中，实时 进行训练，并将目标之前的跟踪信息进行变形，产生出训练数据，并利用训练数据训练神经 网络，W使训练出的神经网络能够根据目标前Tl帖的状态信息预测出目标当前帖的状态信 息，其中，训练数据的结构为，目标前Tl帖的状态信息W及对应的当前帖的状态信息。与全 局离线训练不同的是，实时训练的数据集仅仅产生自当前的跟踪目标，是对当前跟踪目标 自身的行为进行的学习。
[0083] 步骤S4:结合全局行为预测及局部行为预测得到目标的行为预测，并根据预测的 目标行为进行多目标跟踪。具体地说，即将两种方式（即全局预测和局部预测)得到的预测 进行加权结合，得到目标最终的预测状态。图5和图6所展示的结果证明了本发明实施例预 测的准确性。将检测结果与预测状态的欧氏距离作为相似特征的一个数值标准，结合图像 特征等其他特征进行多目标跟踪。
[0084] 综上，根据本发明实施例的基于行为学习的多目标跟踪方法，在应用于多目标跟 踪场景时，既能保持跟踪率，同时能明显的减少跟踪错误率，提高跟踪准确性。
[0085] 本发明的进一步实施例还提供了一种基于行为学习的多目标跟踪系统。
[0086] 图7是根据本发明一个实施例的基于行为学习的多目标跟踪系统的结构框图。如 图7所示，该系统100包括:获取模块110、建模模块120、预测模块130和跟踪模块140。
[0087] 具体地，获取模块110用于获取目标视频序列，对目标视频序列进行检测，并根据 检测结果获得跟踪目标候选框的大小及位置信息。
[0088] 建模模块120用于对多目标实时跟踪问题进行建模，并建立多目标实时跟踪问题 的产生式概率模型。
[0089] 其中，产生式概率模型建立过程如下：
[0090] 采用公式(I)所示的概率模型来表示求解多目标跟踪问题：
[0091]
[0092] 其中，X表示所跟踪目标的状态的集合，Z表示所有的检测结果的信息集合，其中， 所跟踪目标的状态包括大小和位置。因此多目标跟踪问题就是求得能使得到观测结果的概 率达到最大的目标状态。
[0093] 具体到目标视频序列中每一帖t的所有目标的状态，公式(I)可变形为：
[0094]
(I。，
[0095] 其中，ZtW及Xt分别表示第t帖的所有观测和目标状态，公式（n)相当于逐帖求得 最优解。由于实时多目标跟踪要求得到当前帖的最优解，公式（n)的运一特性就可W有效 的处理实时多目标跟踪问题，因此可W应用到更广泛的场景中，例如自动驾驶W及机器人 导航等。
[0096] 根据多目标跟踪问题的马尔科夫性，Xt可W被看作是由前一帖的目标状态Xt-I W 及关于目标行为的预测或者先验知识巧共同产生的，则公式（n)就可W被进一步推导为：
[0097]
[009引 勺，具体为；
[0099] (IIU;
[0100] 職变形为：
[0101] (IV).
[0102] 其中，P(Xi)是在第一帖初始化目标状态，P(ZtlXt)是观测目标框W及目标状态信 息所决定的目标框的图像特征相似性，巧X, i例巧心)是所有目标共性行为的全局先验知识 对目标状态的预测，n巧X, IX,.为每一个目标在前一帖的状态产生当前帖状态的概率， /二.2' 相当于根据目标自身的行为对该目标的状态预测。
[0103] 预测模块130用于针对产生式概率模型中的全局条件概率项，在已进行正确标注 的训练集上进行离线训练，进行普适于各种场景的全局行为预测，针对产生式概率模型中 的局部条件概率项利用每个目标在当前帖之前的跟踪数据，实时在线训练适用于该目标的 局部行为预测。
[0104] 其中，全局行为预测具体包括:利用数据变形的方法，将原始的探测数据结合训练 集的标注结果产生训练数据，并利用训练数据训练神经网络，W使训练出的神经网络能够 根据目标前Tg帖的状态信息预测出目标当前帖的状态信息，其中，训练数据的结构为：目标 前Tg帖的状态信息W及对应的当前帖的状态信息。
[01化]具体的训练过程如下：
[0106] 通过产生的前了8帖的状态信息，在神经网络的前向过程中算出预测值：^^1&将预测 值带入到下式的损失函数中：
[0107]
(V)，
[0108] 通过后向过程得到残差，并不断迭代直到达到设定值。利用运些数据训练神经网 络，使得训练出的神经网络能够根据目标前Tg帖的状态信息预测出目标当前帖的状态信 息。
[0109] 另一方面，局部行为预测具体包括:在进行目标跟踪的过程中，实时进行训练，并 将目标之前的跟踪信息进行变形，产生出训练数据，并利用训练数据训练神经网络，W使训 练出的神经网络能够根据目标前Tl帖的状态信息预测出目标当前帖的状态信息，其中，训 练数据的结构为，目标前Tl帖的状态信息W及对应的当前帖的状态信息。与全局离线训练 不同的是，实时训练的数据集仅仅产生自当前的跟踪目标，是对当前跟踪目标自身的行为 进行的学习。
[0110] 跟踪模块140用于结合全局行为预测及局部行为预测得到目标的行为预测，并根 据预测的目标行为进行多目标跟踪。具体地说，即将两种方式（即全局预测和局部预测)得 到的预测进行加权结合，得到目标最终的预测状态。
[0111] 综上，根据本发明实施例的基于行为学习的多目标跟踪系统，在应用于多目标跟 踪场景时，既能保持跟踪率，同时能明显的减少跟踪错误率，提高跟踪准确性。
[0112] 在本发明的描述中，需要理解的是，术语"中屯、"、"纵向"、"横向"、"长度"、"宽度"、 "厚度"、"上"、"下"、"前"、"后左"、"右"、"竖直"、"水平"、"顶"、"底""内"、"外"、"顺时 针"、"逆时针"、"轴向"、"径向"、"周向"等指示的方位或位置关系为基于附图所示的方位或 位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必 须具有特定的方位、W特定的方位构造和操作，因此不能理解为对本发明的限制。
[0113] 此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可W明示或者 隐含地包括至少一个该特征。在本发明的描述中，"多个"的含义是至少两个，例如两个，= 个等，除非另有明确具体的限定。
[0114] 在本发明中，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"、"固定"等 术语应做广义理解，例如，可W是固定连接，也可W是可拆卸连接，或成一体;可W是机械连 接，也可W是电连接;可W是直接相连，也可W通过中间媒介间接相连，可W是两个元件内 部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员 而言，可W根据具体情况理解上述术语在本发明中的具体含义。
[0115] 在本发明中，除非另有明确的规定和限定，第一特征在第二特征"上"或"下"可W 是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在 第二特征"之上"、"上方"和"上面"可是第一特征在第二特征正上方或斜上方，或仅仅表示 第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"可W是第 一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0116] 在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可W在任 一个或多个实施例或示例中W合适的方式结合。此外，在不相互矛盾的情况下，本领域的技 术人员可W将本说明书中描述的不同实施例或示例W及不同实施例或示例的特征进行结 合和组合。
[0117] 尽管上面已经示出和描述了本发明的实施例，可W理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可W对上述 实施例进行变化、修改、替换和变型。
【主权项】
1. 一种基于行为学习的多目标跟踪方法，其特征在于，包括以下步骤： S1:获取目标视频序列，对所述目标视频序列进行检测，并根据检测结果获得跟踪目标 候选框的大小及位置信息； S2:对多目标实时跟踪问题进行建模，并建立所述多目标实时跟踪问题的产生式概率 丰旲型； S3:针对所述产生式概率模型中的全局条件概率项，在已进行正确标注的训练集上进 行离线训练，进行普适于各种场景的全局行为预测，针对所述产生式概率模型中的局部条 件概率项利用每个目标在当前帧之前的跟踪数据，实时在线训练适用于该目标的局部行为 预测；以及 S4:结合所述全局行为预测及所述局部行为预测得到目标的行为预测，并根据预测的 目标行为进行多目标跟踪。2. 根据权利要求1所述的基于行为学习的多目标跟踪方法，其特征在于，所述S2中，所 述产生式概率模型建立过程如下： 采用公式(I)所示的概率模型来表示求解多目标跟踪问题：其中，X.表示所跟踪目标的状态的集合，2表示所有的检测结果的信息集合； 具体到所述目标视频序列中每一帧t的所有目标的状态，所述公式(I)可变形为：其中，Zt以及Xt分别表示第t帧的所有观测和目标状态，所述公式（Π)相当于逐帧求得 最优解； 根据多目标跟踪问题的马尔科夫性，Xt可以被看作是由前一帧的目标状态Xt-iW及关于 目标行为的预测或者先验知识B共同产生的，则所述公式（Π )就可以被进一步推导为：其中，所述先验知识B:以及前一帧目标的状态Xt-i是相互独立的，具体为：利用一阶马尔科夫性进行逐帧递推，所述公式0Π)可以进一步的变形为：其中，P(X〇是在第一帧初始化目标状态，P(Zt|Xt)是观测目标框以及目标状态信息所 决定的目标框的图像特征相似性，八X, i妁/5旧)是所有目标共性行为的全局先验知识对目 标状态的预测，I ΧΜ)为每一个目标在前一帧的状态产生当前帧状态的概率，相当 ?^2 于根据目标自身的行为对该目标的状态预测。3. 根据权利要求1所述的基于行为学习的多目标跟踪方法，其特征在于，在所述S3中， 所述全局行为预测具体包括： 利用数据变形的方法，将原始的探测数据结合训练集的标注结果产生训练数据，并利 用所述训练数据训练神经网络，以使训练出的神经网络能够根据目标前仏帧的状态信息预 测出目标当前帧的状态信息，其中，所述训练数据的结构为：目标前Tg帧的状态信息以及对 应的当前帧的状态信息。4. 根据权利要求1所述的基于行为学习的多目标跟踪方法，其特征在于，在所述S3中， 所述局部行为预测具体包括： 在进行目标跟踪的过程中，实时进行训练，并将目标之前的跟踪信息进行变形，产生出 训练数据，并利用所述训练数据训练神经网络，以使训练出的神经网络能够根据目标前h 帧的状态信息预测出目标当前帧的状态信息，其中，训练数据的结构为，目标前Τι帧的状态 信息以及对应的当前帧的状态信息。5. -种基于行为学习的多目标跟踪系统，其特征在于，包括： 获取模块，所述获取模块用于获取目标视频序列，对所述目标视频序列进行检测，并根 据检测结果获得跟踪目标候选框的大小及位置信息； 建模模块，所述建模模块用于对多目标实时跟踪问题进行建模，并建立所述多目标实 时跟踪问题的产生式概率模型； 预测模块，所述预测模块用于针对所述产生式概率模型中的全局条件概率项，在已进 行正确标注的训练集上进行离线训练，进行普适于各种场景的全局行为预测，针对所述产 生式概率模型中的局部条件概率项利用每个目标在当前帧之前的跟踪数据，实时在线训练 适用于该目标的局部行为预测；以及 跟踪模块，所述跟踪模块用于结合所述全局行为预测及所述局部行为预测得到目标的 行为预测，并根据预测的目标行为进行多目标跟踪。6. 根据权利要求5所述的基于行为学习的多目标跟踪系统，其特征在于，所述产生式概 率模型建立过程如下： 采用公式(I)所示的概率模型来表示求解多目标跟踪问题：其中，X表示所跟踪目标的状态的集合，1表示所有的检测结果的信息集合； 具体到所述目标视频序列中每一帧t的所有目标的状态，所述公式(I)可变形为：其中，Zt以及Xt分别表示第t帧的所有观测和目标状态，所述公式（Π)相当于逐帧求得 最优解； 根据多目标跟踪问题的马尔科夫性，Xt可以被看作是由前一帧的目标状态Xt-iW及关于 目标行为的预测或者先验知识B共同产生的，则所述公式（Π)就可以被进一步推导为：其中，所述先验知识S以及前一帧目标的状态Xt-i是相互独立的，具体为：利用一阶马尔科夫性进行逐帧递推，所述公式(m)可以进一步的变形为：其中，P(Xi)是在第一帧初始化目标状态，P(Zt|Xt)是观测目标框以及目标状态信息所 决定的目标框的图像特征相似性，汽X, I的八奶是所有目标共性行为的全局先验知识对目 标状态的预领为每一个目标在前一帧的状态产生当前帧状态的概率，相当 于根据目标自身的行为对该目标的状态预测。7. 根据权利要求5所述的基于行为学习的多目标跟踪系统，其特征在于，所述全局行为 预测具体包括： 利用数据变形的方法，将原始的探测数据结合训练集的标注结果产生训练数据，并利 用所述训练数据训练神经网络，以使训练出的神经网络能够根据目标前仏帧的状态信息预 测出目标当前帧的状态信息，其中，所述训练数据的结构为：目标前T g帧的状态信息以及对 应的当前帧的状态信息。8. 根据权利要求5所述的基于行为学习的多目标跟踪系统，其特征在于，所述局部行为 预测具体包括： 在进行目标跟踪的过程中，实时进行训练，并将目标之前的跟踪信息进行变形，产生出 训练数据，并利用所述训练数据训练神经网络，以使训练出的神经网络能够根据目标前h 帧的状态信息预测出目标当前帧的状态信息，其中，训练数据的结构为，目标前Τι帧的状态 信息以及对应的当前帧的状态信息。
【文档编号】G06T7/20GK105957105SQ201610258466
【公开日】2016年9月21日
【申请日】2016年4月22日
【发明人】季向阳, 但乐, 赵泽奇, 戴琼海
【申请人】清华大学, 清华大学深圳研究生院