一种基于深度神经网络的识别辅助的多目标跟踪方法
【专利摘要】本发明公开了一种基于深度神经网络的识别辅助的多目标跟踪方法。多目标跟踪是指在摄像机捕获的画面中对感兴趣的多个目标不断的跟踪。现有的多行人跟踪方法在当目标被完全遮挡或者从视野中消失极易导致跟踪失败。本发明方法将多目标跟踪问题转化为寻找帧间检测到的目标之间对应关系问题，在目标消失再现后，采用基于深度学习网络实现有效的轨迹恢复，改善长距离跟踪效果。本发明具有较好的鲁棒性，非常适合应用在安防监控领域，对协助公共场所的维护治安有非常大的实际价值。
【专利说明】
一种基于深度神经网络的识别辅助的多目标跟踪方法
技术领域
[0001] 本发明属于图像处理和模式识别领域，涉及一种基于深度神经网络的识别辅助的 多目标跟踪方法。
【背景技术】
[0002] 随着机器视觉理论与技术以及计算机硬件的发展，对图像内容进行识别与理解成 为研究的热点，拥有广阔的应用市场。尤其在安防监控、智能交通、自动驾驶等领域，对多目 标跟踪的需求日益增强。同时，多目标跟踪作为众多计算机视觉的底层技术，该技术的发展 也会对计算机视觉的其他分支产生极大的影响和促进。
[0003] 多目标跟踪就是在视频序列中持续不断的自动识别和定位目标，同时记录下目标 的运动轨迹。多目标跟踪相对于单目标跟踪更为复杂，不仅需要处理单目标跟踪中出现的 复杂的背景环境，如遮挡、光照变化、目标姿态变化等因素，还要面对目标数量动态变化以 及多目标之间的相互遮挡等问题。这些难题的存在导致当前主流的多目标跟踪方法并不鲁 棒。
[0004] 随着近年来各个领域对多目标跟踪技术的需求日益增大，出现了很多的研究成 果。自从首次将网络流的方法应用到多目标跟踪，大量的相关方法也随之出现。这类方法的 基本思想是将跟踪目标看成图中的节点，构建网络流图，通过寻找最小代价流来进行跟踪。 目标检测的技术日益完善后，催生了两段式的基于检测的跟踪，跟踪的方法是在检测结果 之间寻找关联关系。考虑到目标运动中需要符合一系列的关联准则以及与其他运动目标的 相互关系，SFM模型（social force model)被提出了，随后该模型被应用到了多目标跟踪领 域。但迄今为止，并没有很好的方法能够将消失重现目标的轨迹重新恢复，而是重新将其当 做新的跟踪对象，这显然不符合实际需要。
[0005] 自从2012年Hinton团队将Deep Learning用于ImageNet数据集并取得了惊人的成 绩后，深度学习重新得到了重视并在各个研究领域得到了广泛的应用，结合深度学习的跟 踪方法也随之出现。自动编码器(Auto Encoder)全卷积网络也被用于目标跟踪，实现了端 到端的目标跟踪。但一个好的CNN网络需要大量的样本学习好的特征描述，而且在现有的硬 件条件下，有监督的CNN庞大的计算代价难以满足跟踪实时性的要求。
【发明内容】
[0006] 本发明提供了一种基于深度神经网络的识别辅助的多目标跟踪方法，以解决多目 标跟踪中的消失目标重现时的轨迹恢复问题，提高跟踪的准确性和鲁棒性。
[0007] 为解决上述问题，本发明提供一种基于深度神经网络的识别辅助的多目标跟踪方 法，包括以下步骤：
[0008] 对于视频中的每一帧，检测所有存在的目标，将检测结果中的若干候选目标用集 合C表示，将已有的若干跟踪目标用集合0s表示，对一个跟踪目标的轨迹记为，下标i是唯 一的跟踪标识；
[0009] 将当前帧检测到的候选目标与已有的跟踪目标进行匹配，当在检测结果中距离最 近且符合距离小于一个阈值时，则认定该候选目标满足强关联条件并将其加入对应跟踪目 标的轨迹当中，所有跟踪目标匹配结束后，将没有匹配到任何跟踪目标的候选目标加入队 列Q中，队列Q表示在匹配阶段不满足强关联条件的候选目标集合；
[0010] 若队列Q为空，该帧跟踪结束，重新读取视频帧进行上述步骤；
[0011] 若队列Q不为空，利用当前所有历史跟踪记录更新辅助跟踪网络，将队列Q中所有 目标输入更新后的辅助跟踪网络中，得到识别结果和相应的置信度，当队列Q中识别结果的 置信度高于阈值的候选目标依据其识别结果进行跟踪。
[0012] 作为一种实施方式，所述将当前帧检测到的候选目标与已有的跟踪目标进行匹配 步骤中，包括以下步骤：
[0013]根据空间局部性原理缩小匹配范围，筛选出符合距离要求的候选目标作为相似目 标。
[0014] 作为一种实施方式，所述根据空间局部性原理缩小匹配范围，具体包括以下步骤：
[0015] 根据如下公式进行筛选：
[0016] Ur={cj lEudideon^of1, c})</)
[0017] 其中Ut表示符合要求的候选目标每的集合，qf表示第t帧中检测到的第j个候选目 标，_^[1，11]，〇广1表示第卜1帧中目标1其中1￡[1， 2]3￡[1，111]。
[0018] 作为一种实施方式，所述将当前帧检测到的候选目标与已有的跟踪目标进行匹 配，具体包括以下步骤：
[0019] 在当前帧检测结果中寻找跟踪目标0丨-1相似度高的候选目标；
[0020] 通过如下公式寻找最相似候选目标；
[0021 ] argmirij dist ^f(o·-1), f(c[)j , c·" E C1
[0022] 其中f (.)表示对目标提取特征，dist(.)表示距离度量函数。
[0023] 作为一种实施方式，若目标提取特征为颜色直方图特征时，具体包括以下步骤： [0024]根据空间局部性原理筛选符合距离要求的候选目标；
[0025]提取目标t-Ι帧中已有跟踪目标和t帧中检测到的候选目标的RGB颜色直方图特 征；
[0026]根据巴氏距离度量函数计算两个直方图分布特征的距离，计算公式如下：
[0027] argmirij DB ^hist(o}_1), hist(u-)j , u- e L^,
[0028] 其中hist(.)表示颜色直方图特征，Db表示目标提取特征为颜色直方图特征时的 巴氏距离度量函数；
[0029]若巴氏距离最近且小于一个阈值，则认定该候选目标为满足强关联条件，为最相 似候选目标。
[0030] 作为一种实施方式，所述利用当前所有历史跟踪记录更新辅助跟踪网络，具体包 括以下步骤：
[0031] 将当前所有跟踪目标的历史跟踪结果作为网络的训练数据，将网络输出的特征和 跟踪标识组成训练样本去训练SVM分类器，完成辅助跟踪网络的更新。
[0032] 作为一种实施方式，所述将队列Q中所有目标输入网络中，得到识别结果和相应的 置信度，具体包括以下步骤：
[0033] 将队列Q中每一个目标输入更新后的辅助跟踪网络中，通过前馈运算结果获得目 标的深度特征，再将深度特征输入线性SVM分类器得到识别标识和相应的置信度。
[0034] 作为一种实施方式，所述深度特征包括网络输出特征，通过前馈运算结果获得目 标的网络输出特征，具体包括以下步骤：
[0035] 将一个样本经过两层卷积，得到若干个特征图；
[0036] 每个样本卷积后加入最大值池化的运算，将特征图变小；
[0037] 当获取所有卷积的特征图，对卷积结果进行二值化操作；
[0038] 以每η个特征图采取加权和的方式合并，在对所有合并后的特征图分块提取直方 图特征，最终得到网络输出特征。
[0039] 作为一种实施方式，还包括将队列Q中识别结果的置信度低于阈值要求的候选目 标当做新出现的目标，将新出现的目标建立跟踪目标并加入到跟踪目标〇s中。
[0040] 作为一种实施方式，将队列Q中所有目标输入更新后的辅助跟踪网络中，所述网络 为深度神经网络结构，包括两个卷积层、两个最大值池化层和二值量化层。两个所述卷积层 包括第一卷积层和第二卷积层，所述第一卷积层滤波器个数为8个，第二卷积层滤波器个数 为64个。
[0041] 本发明提供的技术方案的有益效果是:本发明主要针对当目标存在严重遮挡以及 目标从摄像机视野中短暂消失的情况进行研究，提出了一种基于深度神经网络的识别辅助 的多目标跟踪方法，将多目标的跟踪问题转化为寻找帧间检测到的目标之间寻找对应关系 的过程，采用了基于深度神经网络的目标识别方法来进行辅助跟踪，可以很好地解决目标 消失再现和存在严重遮挡时造成的目标丢失的问题，当目标再次出现时可以通过识别辅助 跟踪的方法恢复消失重现目标的跟踪轨迹。
【附图说明】
[0042] 图1为本发明基于深度神经网络的识别辅助的多目标跟踪方法的流程图；
[0043] 图2为本发明使用的辅助跟踪网络的结构图。
【具体实施方式】
[0044]为了进一步详细描述本发明的过程，结合附图对本发明进行更加具体的阐述。
[0045] 本发明提供一种基于深度神经网络的识别辅助的多目标跟踪方法，主要分为三个 步骤，目标检测、匹配跟踪以及深度学习网络辅助跟踪，其简要步骤如下:第一，首先检测器 对于视频的每一帧进行目标检测，检测结果为之后的跟踪做准备。第二，相邻两帧中的目标 之间通过相似度匹配，得到初步的跟踪结果。第三，结合辅助跟踪网络恢复消失重现目标的 跟踪轨迹，进一步提尚跟踪效果。
[0046] 在本实施例中，将目标以行人进行阐述。如图1所示，本方法开始执行之前，需要首 先初始化检测器，使用的特征为分块的梯度统计直方图，对行人数据库提取梯度统计直方 图特征，将该特征作为SVM分类器的输入，训练分类器以得到一个鲁棒的差分分类器。第一 帧中检测到的目标不做匹配，直接当做新的跟踪目标，加入集合〇s中，程序初始化完成。下 面结合附图对本方法进行详细的描述：
[0047]步骤101:首先采用基于分块梯度直方图特征的检测器对视频图像中每一帧 进行目标检测，并记录所有检测到的目标，ft表示视频帧，t是帧编号，N是视频的总帧数;检 测时采用滑动窗口机制对整个图像遍历，对滑动窗口扫描过的每一个位置用SVM分类器判 断是否为目标。为了能检测到不同尺度的目标，滑动窗口存在尺度变化。检测结束时，检测 结果记为0 =记,44}4表示第七帧中检测到的第」个候选目标，#[1，11]，11为在第七 帧中检测到的目标总数。将所有的跟踪目标用一个集合表示，记为Ο^ΙΟ^Ο^.,.,ΟζΚζ* 跟踪目标的总数，每一个跟踪目标的轨迹记录为〇 :i = {〇丨,丨表示第t帧中目标 土，其中1^[1,2]，1：￡[1，1]1]，下标;[是唯一的跟踪标识。
[0048]基于分块梯度直方图特征的目标检测操作具体为：用行人数据库训练检测器，正 样本为行人图片，负样本为背景图片。抽取训练样本的Hog特征作为分类器的输入特征，然 后将准备好的数据交由SVM学习一个可以将行人和背景有效区分的超平面。
[0049] 步骤102:将当前帧检测到的候选目标与已有的跟踪目标进行匹配。对每一个0^ 寻找最为相似的候选目标时，首先寻找距离最近的目标。根据空间局部性原理，认为其在 第t帧中的目标不会偏离太远，通过1/= & ;g<v}筛选出符合距离要求的 相似目标。然后用hist(.)函数提取颜色直方图特征，再由巴氏距离度量函数(记为Db)计算 两个直方图分布特征的距离。⑴'·.押丨-,uj e Uf，选出匹配程度最 高的候选目标。如果最优目标的距离同时满足距离小于阈值，认为满足强关联条件，将最优 目标加入对应跟踪目标的轨迹中。当完成所有跟踪目标和候选目标之间关联之后，将没有 加入到任何跟踪轨迹的候选目标加入到队列Q中。
[0050] 依据空间局部性原理缩小搜索范围操作具体为：由于空间局部性原理，同一个目 标在相邻帧中距离不会太大。因此，并不需要将所有候选目标与跟踪目标逐一计算距离，只 需要在满足距离小于一定范围的候选目标中寻找匹配对象即可。根据如下公式进行筛选： [0051 ] |fwc//dean(o- JCy)</}
[0052] 其中IJt表示符合要求的Cf的集合，经过筛选，候选目标的范围大大缩小，达到加快 运行速度的要求。
[0053] 基于满足强关联条件的关联操作具体为:对一个目标跟踪的目的是不断的寻找目 标of1在当前帧检测结果中相似度最高的Cf，将其当做目标〇^t帧中的预测结果g。寻找 最相似候选目标的公式如下：
[0054] argminj dist(f(o-_i), f(c|)j ,cf E C1
[0055] 其中f(.)表示目标提取特征，dist(.)表示距离度量函数，当一个候选目标与喊一1 距离最近且距离小于一个阈值时，认为该候选目标为匹配结果。在本实施中，目标提取特征 f(.)为颜色直方图特征hist(.)。
[0056] 步骤103:队列Q如果为空，则跟踪结束。否则使用辅助跟踪网络辅助跟踪。首先将 现有的所有历史跟踪结果更新辅助跟踪网络，如图2所示，为本发明设计的深度神经网络结 构，主要包括两个卷积层、两个最大值池化层和二值量化层，第一个卷积层滤波器个数为8， 第二层滤波器为64个。当一个样本通过两层卷积之后，会生成64个特征图。每个在队列Q中 的候选目标经卷积层之后加入最大值池化的运算，每经历一次池化操作，特征图的大小会 变小。例如，当池化操作的卷积核为2 X 2时，每次池化后特征图的长宽分别会变为原来二分 之一。当获取所有的卷积特征图之后，对卷积结果进行二值化操作。然后每η个特征图采取 加权和的方式合并，在对所有合并后的特征图分块提取直方图特征，最终得到网络输出特 征。对于分类层，采用有监督的学习方法学习分类器。将网络的卷积特征和标签输入到SVM 中，训练得到最终的分类器。当网络更新完成后，再由网络给出Q中每一个候选目标的识别 结果和置信度α。
[0057] 步骤104在步骤103的描述下，将Q中识别结果的置信度α低于阈值要求的候选目标 当做新出现的目标，同时将这些新出现的目标建立跟踪对象并加入到〇s中。
[0058] 步骤105在步骤103的描述下，将Q中识别结果的置信度α高于阈值要求的候选目标 依据其识别结果进行跟踪，当置信度α高于设定的阈值时，则判断该目标之前曾出现过，再 通过识别结果将其与跟踪目标对应起来，从而实现消失在线目标的轨迹恢复。
[0059]综上所述，这样就避免了传统方法在目标短暂消失再次出现时将其误判为新的跟 踪目标或者丢失目标的情况。
[0060]以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的 详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护 范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种基于深度神经网络的识别辅助的多目标跟踪方法，其特征在于，包括W下步骤： 对于视频中的每一帖，检测所有存在的目标，将检测结果中的若干候选目标用集合ct表 示，将已有的若干跟踪目标用集合Os表示，对一个跟踪目标的轨迹记为化，下标i是唯一的 跟踪标识； 将当前帖检测到的候选目标与已有的跟踪目标进行匹配，当在检测结果中距离最近且 符合距离小于一个阔值时，则认定该候选目标满足强关联条件并将其加入对应跟踪目标的 轨迹当中，所有跟踪目标匹配结束后，将没有匹配到任何跟踪目标的候选目标加入队列Q 中，队列Q表示在匹配阶段不满足强关联条件的候选目标集合； 若队列Q为空，该帖跟踪结束，重新读取视频帖进行上述步骤； 若队列Q不为空，利用当前所有历史跟踪记录更新辅助跟踪网络，将队列Q中所有目标 输入更新后的辅助跟踪网络中，得到识别结果和相应的置信度，当队列Q中识别结果的置信 度高于阔值的候选目标依据其识别结果进行跟踪。2. 根据权利要求1所述的基于深度神经网络的识别辅助的多目标跟踪方法，其特征在 于，所述将当前帖检测到的候选目标与已有的跟踪目标进行匹配步骤中，包括W下步骤： 根据空间局部性原理缩小匹配范围，筛选出符合距离要求的候选目标作为相似目标。3. 根据权利要求2所述的基于深度神经网络的识别辅助的多目标跟踪方法，其特征在 于，所述根据空间局部性原理缩小匹配范围，具体包括W下步骤： 根据如下公式进行筛选：其中护表示符合要求的候选目标cf前集合，c|表示第t帖中检测到的第j个候选目标，j e [1 ,η]，〇!; 1 表不第t-1帖中目标i，其中 i e[l,z],te[l,m]。4. 根据权利要求3所述的基于深度神经网络的识别辅助的多目标跟踪方法，其特征在 于，所述将当前帖检测到的候选目标与已有的跟踪目标进行匹配，具体包括W下步骤： 在当前帖检测结果中寻找跟踪目标相似度高的候选目标； 通过如下公式寻找最相似候选目标；其中f (.)表示对目标提取特征，dist(.)表示距离度量函数。5. 根据权利要求4所述的基于深度神经网络的识别辅助的多目标跟踪方法，其特征在 于，若目标提取特征为颜色直方图特征时，具体包括W下步骤： 根据空间局部性原理筛选符合距离要求的候选目标； 提取目标t-1帖中已有跟踪目标和t帖中检测到的候选目标的RGB颜色直方图特征； 根据己氏距离度量函数计算两个直方图分布特征的距离，计算公式如下：其中hist(.)表示颜色直方图特征，Db表示目标提取特征为颜色直方图特征时的己氏距 罔度重函数； 若己氏距离最近且小于一个阔值，则认定该候选目标为满足强关联条件，为最相似候 选目标。6. 根据权利要求1所述的基于深度神经网络的识别辅助的多目标跟踪方法，其特征在 于，所述利用当前所有历史跟踪记录更新辅助跟踪网络，具体包括W下步骤： 将当前所有跟踪目标的历史跟踪结果作为网络的训练数据，将网络输出的特征和跟踪 标识组成训练样本去训练SVM分类器，完成辅助跟踪网络的更新。7. 根据权利要求6所述的基于深度神经网络的识别辅助的多目标跟踪方法，其特征在 于，所述将队列Q中所有目标输入网络中，得到识别结果和相应的置信度，具体包括W下步 骤： 将队列Q中每一个目标输入更新后的辅助跟踪网络中，通过前馈运算结果获得目标的 深度特征，再将深度特征输入线性SVM分类器得到识别标识和相应的置信度。8. 根据权利要求7所述的基于深度神经网络的识别辅助的多目标跟踪方法，其特征在 于，所述深度特征包括网络输出特征，通过前馈运算结果获得目标的网络输出特征，具体包 括W下步骤： 将一个样本经过两层卷积，得到若干个特征图； 每个样本卷积后加入最大值池化的运算，将特征图变小. 当获取所有卷积的特征图，对卷积结果进行二值化操作； W每η个特征图采取加权和的方式合并，在对所有合并后的特征图分块提取直方图特 征，最终得到网络输出特征。9. 根据权利要求1所述的基于深度神经网络的识别辅助的多目标跟踪方法，其特征在 于，还包括将队列Q中识别结果的置信度低于阔值要求的候选目标当做新出现的目标，将新 出现的目标建立跟踪目标并加入到跟踪目标Os中。10. 根据权利要求6所述的基于深度神经网络的识别辅助的多目标跟踪方法，其特征在 于，将队列Q中所有目标输入更新后的辅助跟踪网络中，所述网络为深度神经网络结构，包 括两个卷积层、两个最大值池化层和二值量化层。两个所述卷积层包括第一卷积层和第二 卷积层，所述第一卷积层滤波器个数为8个，第二卷积层滤波器个数为64个。
【文档编号】G06T7/20GK106097391SQ201610420557
【公开日】2016年11月9日
【申请日】2016年6月13日 公开号201610420557.X, CN 106097391 A, CN 106097391A, CN 201610420557, CN-A-106097391, CN106097391 A, CN106097391A, CN201610420557, CN201610420557.X
【发明人】王慧燕, 杨宇涛
【申请人】浙江工商大学