一种基于动态贝叶斯模型网络的对象跟踪方法和设备的制作方法
【专利摘要】本发明公开了一种基于动态贝叶斯网络的对象跟踪方法，该方法包括：对输入的图像帧进行预处理，对图像帧进行对象检测或者前景检测，得到对象检测结果，根据对象检测结果，针对需要跟踪的新对象初始化对象跟踪器，并将其添加到对象跟踪器序列中；根据对象跟踪序列中每个对象的位置提取其在当前帧的各种状态的多种表观特征，将对象关联的检测结果和各种状态的多种表观特征加入到动态贝叶斯网络中进行分析处理，最终推理出每个对象在当前帧的最优位置并更新对象跟踪序列。本发明通过引入适合对象跟踪的动态贝叶斯网络，有效的克服了对象之前相互遮挡对跟踪性能的影响，提高了对象跟踪的召回率和跟踪精度。
【专利说明】ー种基于动态贝叶斯模型网络的対象跟踪方法和设备
【技术领域】
[0001]本发明涉及监控视频和智能交通领域中的对象跟踪方法和设备，特别是ー种基于视频的对象跟踪方法和设备。
【背景技术】
[0002]在视频和监控领域中，基于对象检测的对象跟踪方法，可以依据对象检测结果的性能，更好的排除使用前景跟踪带来的背景噪声。但是，由于监控视频中的对象经常发生严重的相互遮挡，而对象检测结果在该种现象中往往检测性能会大幅度下降，故此，对象跟踪方法不能仅仅依靠对象的检测結果。
[0003]现有的基于机器学习的使用特征分类器的对象跟踪方法，都在研究如何使用特征来提高分类器的可信度，但是往往在跟踪过程中，由于更新方式的选择过于简单，使得大量的背景变成正样本加入到分类器中，并且由于不能保留对象的各种状态信息，因而导致跟踪性能相对较差。
[0004]CN101923716A号中国发明专利申请“ー种改善粒子滤波跟踪效果的方法”提出了ー种利用基于颜色直方图的粒子滤波器跟踪方法。该方法在于对采样的新粒子进行概率重新分布，然后使用顔色直方图来计算粒子的权重，最后再对粒子的稳定性进行比较以输出跟踪結果。该方法对于对象跟踪过于简单，而且只应用了顔色直方图这ー个特征，无法到达在真实的监控视频场景下的对象跟踪。
[0005]CN102065275A号中国发明专利申请“智能监控系统中多目标跟踪方法”中提出了可以在真实监控场景下进行多目标跟踪的方法。该方法通过对通过对象检测后，将提取传统的颜色特征和基于对比度特征进行融合，用于目标匹配，并为之建立多世代跟踪队列，在采用生命质量竞争机制来达到最优的跟踪結果。但是，该方法仅仅是将两种简单的特征进行融合，不能够真正的代表跟踪队列的生命质量，也不能处理密集监控场景下，对象遮挡严重导致表观特征突变的情形。
[0006]外文文献“Online Mult1-Person Tracking-by-Detection from aSingle, Uncalibrated Camera”中提出了ー种利用检测结果置信度和跟踪分类器融合来进行监控场景下对象跟踪的方法。该方法提出了利用对象检测结果提供的可信赖程度，并融合每个对象跟踪器的一个多特征分类器，通过粒子滤波器进行预测，从而找到对象在每ー帧最理想的位置。由于该方法过分依赖于对象检测結果，而针对对象的分类器只采用了一种实时的更新方式，当对象遮挡严重时，会产生跟踪位置漂移以及对象跟踪位置互換等情况，不适于真正密集的监控视频场景。
[0007]本领域中目前尚无能够解决上述各种方法所存在的问题的技术方案，因此如何实现在真实监控视频场景下的对象跟踪并提高检测性能，成为本领域亟需解决的技术问题。
[0008]贝叶斯网络又称信度网络，是不确定知识表达和推理领域最有效的理论模型之一。从1988年由Pearl提出后，已经成为近几年来研究的热点.。一个贝叶斯网络是ー个有向无环图(Directed Acyclic Graph, DAG),由代表变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表了节点间的互相关系(由父节点指向其子节点)，用条件概率进行表达关系強度，没有父节点的用先验概率进行信息表达。节点变量可以是任何问题的抽象，如:测试值，观测现象，意见征询等。适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种控制因素的决策，可以从不完全、不精确或不确定的知识或信息中做出推理。
[0009]动态贝叶斯网络理论是贝叶斯网络理论的延拓，内容涉及推理和学习两大方面，该理论在人工智能、机器学习、自动控制领域得到越来越广泛的应用。
【发明内容】
[0010]本发明的目的在于提供一种基于动态贝叶斯网络的的对象跟踪方法。
[0011]基于本发明，可以很好的将对象检测结果以及对象跟踪器在各种状态下的多个表观特征融合到ー个动态贝叶斯网络中，利用其推理机制，即使在对象重度遮挡的情况下，也能正确跟踪到每个对象的位置，适用于监控场景下的对象跟踪。
[0012]根据本发明的上述发明目的之一，一种基于动态贝叶斯网络的的对象跟踪方法，包括步骤:
[0013]预处理步骤，对输入的图像视频帧进行预处理，包括需要提取各种对象表观特征的预处理以及对视频帧进行对象检测或前景检测；
[0014]初始化步骤，根据当前视频帧的对象检测或前景检测结果，对新的对象跟踪器进行初始化，并加入到对象跟踪器序列中；
[0015]特征提取步骤，对对象跟踪器提取其各种状态的各种表观特征；
[0016]建模步骤，将对象跟踪器序列和对象检测结果关联，根据对象跟踪器序列中每个对象跟踪器的状态及特征以及它的检测关联结果，建立动态贝叶斯网络模型；
[0017]更新步骤，利用动态贝叶斯网络，融合每个对象跟踪器状态和特征，找出对象在当前帧最优的位置信息，并对对象跟踪器序列进行更新。
[0018]根据本发明进ー步的发明目的，其特征在于根据需要提取的对象各种表观特征(顔色、纹理和Haar等)，对图像进行相应的预处理。
[0019]根据本发明进ー步的发明目的，其特征在于对每次输入的图像帧利用对象检测算法进行对象检测或者是前景检测，得到ー组对象检测結果。
[0020]根据本发明进ー步的发明目的，其特征在于利用的对象检测结果，找到对新的需要跟踪的对象，然后根据其所在的位置以及表观特征进行跟踪器初始化，并加入到对象跟踪器序列中。
[0021]根据本发明进ー步的发明目的，其特征在于根据对每个对象的位置、大小及其表观信息，提取多种表观特征(顔色、纹理和Haar等)，并尽可能的保留下每个对象的多个状态信息，包括初始状态，当前状态，跟其他对象特征最大区别状态。
[0022]根据本发明进ー步的发明目的，其特征在于根据对每个对象跟踪器和每个对象检测结果的位置、大小及其表观信息进行相似性关联，得到ー个关联矩阵，然后对这个关联矩阵使用匈牙利算法，找出每个对象跟踪器所关联的对象检测結果，并将这个检测结果作为对象当前帧的帧内信息加入到整体的动态贝叶斯模型中。
[0023]根据本发明进ー步的发明目的，其特征在于利用提取的对象跟踪器的各种状态的表观信息作为对象当前帧的帧间信息加入到整体的动态贝叶斯模型中。
[0024]根据本发明进ー步的发明目的，其特征在于根据所得的动态贝叶斯网络，推导出每个对象跟踪器在动态贝叶斯网中的最优值，即可以找到对象在当前帧的最优位置。然后根据得到的信息更新当前的对象跟踪器序列，删除已经离开场景的对象，并输出，每个对象当前帧的位置信息。
[0025]根据本发明的另ー发明目的，基于动态贝叶斯网络的对象跟踪设备，包括下列装置:
[0026]预处理装置，对输入的图像视频帧进行预处理，包括需要提取各种对象表观特征的预处理以及对视频帧进行对象检测或前景检测；
[0027]初始化装置，根据当前视频帧的对象检测或前景检测结果，对新的对象跟踪器进行初始化，并加入到对象跟踪器序列中；
[0028]特征提取装置，对对象跟踪器提取其各种状态的各种表观特征；
[0029]建模装置，根据对象跟踪器序列中每个对象跟踪器的状态及特征，建立动态贝叶斯网络模型；
[0030]更新装置，利用动态贝叶斯网络，融合每个对象跟踪器状态和特征，找出对象在当前帧最优的位置信息，并对对象跟踪器序列进行更新。
[0031]本发明的方法为对象跟踪器的构建了ー个动态贝叶斯网络，它融合了对象的各种状态下的多种表观特征(顔色、纹理和Haar等)和对象的检测关联結果，并通过分析处理找到对象在当前帧的最优位置，可适用于监控场景下的对象检測。
【专利附图】
【附图说明】
[0032]图1为基于动态贝叶斯网络的对象跟踪方法在处理每ー帧的方法框图；
[0033]图2为图像预处理框架图；
[0034]图3a为用于提取对象多种表观特征中使用多特征分类器训练阶段的示意图；
[0035]图3b、3c、3d为代表对象跟踪器多种状态信息的多种更新方式分类器的三种实施方式示意图；
[0036]图4为关联检测结果不意图；
[0037]图5为动态贝叶斯网络模型图。
【具体实施方式】
[0038]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和【具体实施方式】对本发明作进ー步详细的说明。
[0039]參见图1，图1为基于动态贝叶斯网络的对象跟踪方法在处理每ー帧的方法框图。
[0040]如图1所示，对输入的图像视频帧进行图像预处理，方便以后的多特征提取。
[0041]对经过图像预处理的图像帧进行对象检测或者前景检测，从而得到ー组对象检测結果。根据本发明的一个实施方式，对象检测结果只利用对象检测算法或者背景减除算法或者人工标注的对象在视频帧中的位置。根据本发明的一个实施方式，对象检测结果是对象在视频帧中的位置矩形框。
[0042]根据对象检测结果，进行跟踪序列和对象检测结果的关联，对于没有关联的对象检测结果，就是需要跟踪的新对象。针对需要跟踪的新对象，初始化对象跟踪器，并将需要跟踪的新对象(即不再跟踪列表中的需要建立更新的新的对象检测结果)添加到对象跟踪器序列中。
[0043]根据对象跟踪序列中每个对象的位置提取各个对象在当前帧的各种状态的多种表观特征，表观特征包括但不限于颜色、纹理和Haar (Haar的说明參见
[0044]http: //blog.csdn.net/zouxy09/article/details/7929570这里有基本解释。本发明的重点不在于Haar特征，，不再详细对其进行说明)
[0045]将对象关联的检测结果和各种状态的多种表观特征加入到ー个动态贝叶斯网络中进行分析处理；其中，认为ー个跟踪器状态X，包括其运动趋势特性和其表观特性，用当前帧所进行的对象检测关联的那个结果作为状态X的运动状态各种状态的多种表观特征作为其表观特征，通过线性加权，放到动态贝叶斯网络中预测出下ー帧的状态，隐含状态S代表通过投票选出的之前对跟踪其跟踪有用的所有表观特征。
[0046]最終推理出每个对象在当前帧的最优位置并更新对象跟踪序列。模型更新后的该动态贝叶斯网络的输出就是最后得到跟踪结果序列，并且更新了新ー帧的各种状态。
[0047]图2为本发明提出的图像预处理的系统结构图。首先针对输入的原始图像视频转换成便于提取特征的顔色通道，例如HSV通道。然后依据提取的表观特征，进行相应的预处理。如图2所示，原始的输入图像序列进入图像预处理之后，首先由顔色通道转化模块进行相关颜色通道的转换，将映射转换的结果提取出各种表观特征。根据本发明的实施例，各种表观特征包括但不限于颜色特征、纹理特征。经过映射转换的结果由颜色特征预处理模块进行颜色特征预处理，所述颜色特征预处理包括但不限于如下处理内容:提取全局图像的顔色直方图。
[0048]经过映射转换的结果由纹理特征预处理模块进行纹理特征预处理，所述纹理特征预处理包括但不限于如下处理内容:提取全局图像的纹理特征直方图。
[0049]根据本发明的实施例，以颜色RGB特征和纹理LBP特征预处理为例(LBP的说明可參见如下网址，因为其不是本发明的重点，因此说明书中不再详细描述其定义http://blog.csdn.net/zouxy09/article/details/7929531),而 Haar 特征则不需要预处理。
[0050]根据本发明的实施例，本发明也可以选择其他特征，例如HSV顔色特征等。同吋，如图2所示，根据输入的图像帧，由对象检测/前景检测模块通过利用对象检测算法或前景检测算法得到对象检测序列。根据本发明的一个实施例，使用基于HOG(基于梯度的对象检测方法)的对象检测算法或者基于DPM (基于多部分的对象检测方法)的对象检测算法等。
[0051]图3a为用于提取对象多种表观特征中使用多特征分类器训练阶段的示意图。在分类器训练阶段，将对象区域的特征信息视为分类器的正样本，其周围背景的特征信息视为分类器的负样本。如图3a所示，其中“ + ”标记为正样本，“一”标记为负样本。
[0052]根据本发明的实施例，分类器特征可以使用顔色特征、纹理特征和Haar特征等。分类器的训练方式可以选择AdaBoost或者多实例学习方式。
[0053]图3b、图3c和图3d为分类器多种更新方式的三种具体实例，其中每种更新方式的分类器代表对象跟踪器的一种状态信息。
[0054]图3b代表对象跟踪器的多特征分类器初始化之后，再也不更新分类器直到分类器終止，该种更新方式的分类器可以保留对象初入视频场景中的初始状态信息。[0055]图3c代表跟踪器的多特征分类器初始化之后，每ー帧都会更新分类器，该种更新方式的分类器可以适应对象表观特征在短期内剧烈变化(如发生遮挡)，即保留对象在当前阶段的状态信息。
[0056]图3c代表跟踪器的多特征分类器初始化后，在每ー帧跟其他对象做一次表观特征对比，如果表观特征差异值大，则更新分类器，该种更新方式的分类器保留了每个对象跟其他对象表观特征差距最大状态的信息。
[0057]图4是关联检测结果的示意图。图4中的左侧的“行人跟踪器序列”和上方的“行人检测结果序列”表示在图像中的位置矩形框信息。“关联矩阵”表示什么将两类矩形框中的位置其表观信息进行关联。行人A、B、C以及行人a、b、c分别代表某ー个行人。关联值Aa分别代表跟踪序列的行人A的矩形框和对象检测序列中行人a的矩形框的关联值。
[0058]本发明在处理每ー帧中，都会让对象跟踪器序列和对象检测结果序列做一対一的关联，每个关联值包括对象的大小、位置和表观特征值。然后本发明使用匈牙利算法(匈牙利算法是由匈牙利数学家Edmonds于1965年提出，因而得名。匈牙利算法是基于Hall定理中充分性证明的思想，它是部图匹配最常见的算法，该算法的核心就是寻找增广路径，它是ー种用增广路径求二分图最大匹配的算法。)对每个对象跟踪器找出跟踪器不大于ー个的关联的检测結果，作为该对象跟踪器当前帧的表观信息。如果ー个检测结果连续N帧都没有关联到对象跟踪器的话，为此检测结果建立ー个新的对象跟踪器。如果ー个对象跟踪器连续M帧都没有关联到一个检测結果，则终止该对象跟踪器。根据本发明的一个实施例，N、M是ー个人工设定的值，N和M之间没有相关性。
[0059]图5为动态贝叶斯网络模型图。
[0060]其中代表对象Xf'在第i帧在第t帧的状态(当前帧的运动和表观信息)，St代表
所有对象在第t帧的隐含状态(用于保存在前面所有帧的每个对象中最能表达其对象状态的所有表观特征)，Yt代表对象跟踪器序列在第t帧观测位置，即对象序列的最优位置。
[0061]本发明将之前得到对象跟踪器的检测关联结果作为对象在当前帧的表观信息即帧内信息，将对象跟踪器的使用多种更新方式的多特征分类器作为对对象当前帧的帧间信息放入到整个动态贝叶斯网络中，然后通过分析处理，推理出整个对象跟踪器在当前帧的最优位置。具体的动态贝叶斯网络可以使用粒子滤波器进行模拟，也可以使用滑动窗ロ的方法进行推測。
[0062]本发明并非仅限于在此明确描述的实施例。虽然先前的描述和附图描述了本发明的优选实施例，但是可以理解:在不脱离本发明的精神的情况下，在此可以产生各种附加、修改和替换。本领域普通技术人员很清楚:在不脱离本发明的精神或本质特性的情况下，可以以其他特殊形式、结构、布置、比例、以及利用其他元件、材料和部件来实现本发明。本领域的技术人员将意识到:本发明可以使用发明实际中使用的结构、布置、比例、材料以及部件和其他的许多修改，这些修改在不脱离本发明的原理的情况下而特别适应于特殊环境和操作需求。因此，当前公开的实施例在所有方面应被理解为说明性的而非对其请求保护的范围的限制。
【权利要求】
1.ー种基于动态贝叶斯模型网络的对象跟踪方法，包括步骤: 预处理步骤，对输入的图像视频帧进行预处理，包括需要提取各种对象表观特征的预处理以及对视频帧进行对象检测或前景检测； 初始化步骤，根据当前视频帧的对象检测或前景检测结果，对新的对象跟踪器进行初始化，并加入到对象跟踪器序列中； 特征提取步骤，对对象跟踪器提取其各种状态的各种表观特征； 建模步骤，将对象跟踪器序列和对象检测结果关联，根据对象跟踪器序列中每个对象跟踪器的状态及特征以及它的检测关联结果，建立动态贝叶斯网络模型； 更新步骤，利用动态贝叶斯网络，融合每个对象跟踪器状态和特征，找出对象在当前帧最优的位置信息，并对对象跟踪器序列进行更新。
2.根据权利要求1所述的方法，其特征在于根据需要提取的对象各种表观特征(顔色、纹理和Haar等)，对图像进行相应的预处理。
3.根据权利要求1所述的方法，其特征在于对每次输入的图像帧利用对象检测算法进行对象检测或者是前景检测，得到ー组对象检测結果。
4.根据权利要求1所述的方法，其特征在于利用的对象检测结果，找到对新的需要跟踪的对象，然后根据其所在的位置以及表观特征进行跟踪器初始化，并加入到对象跟踪器序列中。
5.根据权利要求1所述方法，其特征在于根据对每个对象的位置、大小及其表观信息，提取多种表观特征(顔色、纹理和Ha`ar等)，并尽可能的保留下每个对象的多个状态信息，包括初始状态，当前状态，跟其他对象特征最大区别状态。
6.根据权利要求1所述的方法，其特征在于根据对每个对象跟踪器和每个对象检测结果的位置、大小及其表观信息进行相似性关联，得到ー个关联矩阵，然后对这个关联矩阵使用匈牙利算法，找出每个对象跟踪器所关联的对象检测結果，并将这个检测结果作为对象当前帧的帧内信息加入到整体的动态贝叶斯模型中。
7.根据权利要求1所述的方法，其特征在于利用提取的对象跟踪器的各种状态的表观信息作为对象当前帧的帧间信息加入到整体的动态贝叶斯模型中。
8.根据权利要求1所述的方法，其特征在于根据所得的动态贝叶斯网络，推导出每个对象跟踪器在动态贝叶斯网中的最优值，即可以找到对象在当前帧的最优位置。然后根据得到的信息更新当前的对象跟踪器序列，删除已经离开场景的对象，并输出，每个对象当前帧的位置信息。
9.基于动态贝叶斯模型网络的对象跟踪设备，包括下列装置: 预处理装置，对输入的图像视频帧进行预处理，包括需要提取各种对象表观特征的预处理以及对视频帧进行对象检测或前景检测； 初始化装置，根据当前视频帧的对象检测或前景检测结果，对新的对象跟踪器进行初始化，并加入到对象跟踪器序列中； 特征提取装置，对对象跟踪器提取其各种状态的各种表观特征； 建模装置，根据对象跟踪器序列中每个对象跟踪器的状态及特征，建立动态贝叶斯网络模型； 更新装置，利用动态贝叶斯网络，融合每个对象跟踪器状态和特征，找出对象在当前帧最优的位置信息，并对对象跟踪器序列进行更新。
【文档编号】G06T7/20GK103500456SQ201310499912
【公开日】2014年1月8日 申请日期:2013年10月22日 优先权日:2013年10月22日
【发明者】田永鸿, 苏驰, 王耀威, 黄铁军 申请人:北京大学