基于滑窗优化的多目标跟踪方法
【专利摘要】本发明提出一种基于滑窗优化的多目标跟踪方法，包括以下步骤：获取目标视频序列，检测目标视频序列，并根据检测结果对各个目标的状态信息进行初始化；计算当前帧中所有目标的状态信息与已存在的目标的状态信息的相似度，并根据相似度判断当前帧中各目标的状态，其中，当前帧中各目标的状态包括明确状态和模糊状态；建立近似?缩减框架将当前帧中的明确状态与已存在的目标的状态进行最优连接，以得到跟踪结果。本发明能够在提高跟踪的准确率的同时，保证跟踪的实时性，从而满足了更多应用的需求。
【专利说明】
基于滑窗优化的多目标跟踪方法
技术领域
[0001] 本发明设及计算机视觉及机器人导航技术领域，特别设及一种基于滑窗优化的多 目柄跟踪方法。
【背景技术】
[0002] 多目标跟踪是计算机视觉领域中的一个重要问题，特别是，由于多目标跟踪本身 的特性，其在视频监控、运动分析、自动驾驶W及机器人导航等视频分析场景有更广泛的应 用，运也就使得对运一问题的研究有了更加实际的意义。下面简述一些多目标跟踪的重要 应用场景：
[0003] (1)视频监控:各种场景内的自动化监测，例如工地，场站等场景需要及时监控并 检测到可疑的行为;各种道路W及路口的交通监视，多目标跟踪可W有效的进行目标的自 动识别W及跟踪，在交通流量控制W及疏导上也有重要的作用。
[0004] (2)自动驾驶：自动驾驶需要车载电脑实时的识别路上各种行人、车辆，并根据运 些目标的运动作出决策。因此多目标跟踪是自动驾驶中获取路面信息的重要环节，对自动 驾驶技术的发展具有重要的意义。
[0005] 多目标跟踪指从视频序列中获取感兴趣的多个目标(一般是某一类)的位置、大小 W及运动轨迹的过程。随着深度学习等更加先进的算法成功的应用到物体检测领域，物体 检测的准确度进一步提高。运也就为基于检测的多目标跟踪算法的产生提供了基础和依 据。基于检测的多目标跟踪简单来说就是将每一帖的检测结果对应连接起来形成每个目标 在视频空间的"轨迹(trajectoriesT。为了确定运个轨迹，就要解决检测之间歧义链接W 及错误检测问题(多检一一假阳，漏检一一假阴）。
[0006] 为了更好的解决上述问题，较为直接的想法是用整体(batch)模式，即在整段视频 序列上进行循环迭代，不断优化求得的轨迹。由于运种方法只能处理已有的整段视频，无法 实时跟踪，也被称为离线(offline)模式。显而易见，整体模式的实用性并不强，无法应用到 实时监控W及自动驾驶等需要实时处理的领域。因此，与之相对的实时(online)模式就成 为了现在研究的主要方向。但由于实时跟踪所用的数据信息少于离线跟踪，运也就造成了 准确率难W达到同等条件下离线模式的程度。如何能将两者的优势相结合是一个至今仍未 解决的问题。
【发明内容】
[0007] 本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
[000引为此，本发明的目的在于提出基于滑窗优化的多目标跟踪方法，该方法能够在提 高跟踪的准确率的同时，保证跟踪的实时性，从而满足了更多应用的需求。
[0009]为了实现上述目的，本发明的实施例提出了一种基于滑窗优化的多目标跟踪方 法，包括W下步骤:Sl:获取目标视频序列，检测所述目标视频序列，并根据检测结果对各个 目标的状态信息进行初始化;S2:计算当前帖中所有目标的状态信息与已存在的目标的状 态信息的相似度，并根据所述相似度判断所述当前帖中各目标的状态，其中，所述当前帖中 各目标的状态包括明确状态和模糊状态；W及S3:建立近似-缩减框架将所述当前帖中的明 确状态与已存在的目标的状态进行最优连接，W得到跟踪结果。
[0010] 根据本发明实施例的基于滑窗优化的多目标跟踪方法，利用离线跟踪数据丰富的 优势，在提高多目标跟踪性能和准确率的同时，保证了足够的跟踪实时性，从而满足更多应 用的需求，增加了应用范围。
[0011] 另外，根据本发明上述实施例的基于滑窗优化的多目标跟踪方法还可W具有如下 附加的技术特征：
[0012] 在一些示例中，在所述S3之后，还包括:根据连接信息更新已存在的目标的状态信 息，并缩减模糊状态进行连接的可行集，同时将当前帖中的模糊状态与下一帖新初始化的 状态进行下一轮迭代，直至当前帖中所有的模糊状态变成明确状态，或者迭代次数达到预 设窗口长度。
[001引在一些示例中，所述根据所述相似度判断所述当前帖中各目标的状态，具体包括： 当所述相似度大于预设阔值时，判定对应的目标处于明确状态；当所述相似度小于预设阔 值时，判定对应的目标处于模糊状态。
[0014] 在一些示例中，所述目标的状态信息包括：目标的位置、大小及图像特征。
[0015] 在一些示例中，通过综合计算所述当前帖中所有目标和所述已存在的目标的位 置、大小及图像特征得到当前帖中所有目标的状态信息与已存在的目标的状态信息的相似 度。
[0016] 在一些示例中，所述建立近似-缩减框架，具体包括:采用公式(I)对多目标跟踪问 题进行建模，所述多目标跟踪问题为求得在已知所有观测的条件下，将概率P(XJ Zb) 最大化的所有目标状态值蠢:,，
[0017]
( I );
[0018] 所述公式(I)为每一帖每一个目标都取得最优状态，可变形为：
[0019]
( Il );
[0020] 对于明确状态群,，由于其与已存在状态的相似程度高，可W推得：
[0021]
且模糊状态骑= Xi:, \端，则所 述公式（n)可变为公式（now及公式(IV)两部分：
[002^ (虹）
[0023] (职)；
[0024] 分别进行所述公式（虹）和公式(IV)的优化，并在完成所述公式(IV)的优化之后， 明确状态已经完成了连接，并变成了对所述公式（虹）进行优化的条件，则所述公式（虹）优 化为：
[0025]
(V);
[0026] 其中，所述公式(V)对模糊状态可能进行连接的可行集进行了缩减，并在迭代的过程 中，不断的从模糊状态中产生新的明确状态瑞'e斟，端' =巧巧义灼,1?，枯.,，X;;)==P(A'ir,,, |Z,,,X;,n。
[0027] 在一些示例中，还包括:根据多目标跟踪过程中状态间连接的互斥性及时序，建立 模糊-明确状态图，W缩减可行集空间所设计的适用于多目标跟踪的数据结构，其中，所述 模糊-明确状态图中的每个节点表示目标在该帖的状态，节点之间的连线表示同一目标在 各帖的状态的连接。
[0028] 在一些示例中，其中，所述模糊状态只能存在预设窗口长度帖，当所述模糊状态经 过所述预设窗口长度帖而无法转变为明确状态时，将所述模糊状态与已存在的明确状态进 行最优连接，W得到跟踪结果。
[0029] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0030] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得 明显和容易理解，其中：
[0031] 图1是根据本发明一个实施例的基于滑窗优化的多目标跟踪方法的流程图；
[0032] 图2是根据本发明一个实施例的基于滑窗优化的多目标跟踪方法的整体流程图；
[0033] 图3是本发明一个具体实施例的模糊-明确状态图在TUD-Stadtmitte数据集中应 用的示意图；
[0034] 图4是本发明一个具体实施例的延迟跟踪方式的示意图；
[0035] 图5是本发明一个具体实施例的模糊窗口的长度对于跟踪准确度的影响示意图； W及
[0036] 图6是本发明一个具体实施例的真实标注结果中有重叠的目标状态统计图。
【具体实施方式】
[0037] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0038] W下结合附图描述根据本发明实施例的基于滑窗优化的多目标跟踪方法。
[0039] 图1是根据本发明一个实施例的基于滑窗优化的多目标跟踪方法的流程图。图2是 根据本发明一个实施例的基于滑窗优化的多目标跟踪方法的整体流程图。如图1所示，并结 合图2,根据本发明一个实施例的基于滑窗优化的多目标跟踪方法，包括W下步骤：
[0040] 步骤Sl:获取目标视频序列，检测目标视频序列，并根据检测结果对各个目标的状 态信息进行初始化。
[0041] 其中，目标的状态信息包括：目标的位置、大小及图像特征。
[0042] 步骤S2:计算当前帖中所有目标的状态信息与已存在的目标的状态信息的相似 度，并根据相似度判断当前帖中各目标的状态，其中，当前帖中各目标的状态包括明确状态 和模糊状态。
[0043] 其中，例如，已存在的目标即为已跟踪到的目标。通过综合计算当前帖中所有目标 和已存在的目标的位置、大小及图像特征得到当前帖中所有目标的状态信息与已存在的目 标的状态信息的相似度。
[0044] 其中，根据相似度判断当前帖中各目标的状态，具体包括：
[0045] 当相似度大于预设阔值时，判定对应的目标处于明确状态；当相似度小于预设阔 值时，判定对应的目标处于模糊状态。预设阔值即明确阔值，例如记作Cthre,所有新产生的 状态W及模糊状态都会计算与已存在的状态的相似度，并与明确阔值Cthre进行比较。
[0046] 步骤S3:建立近似-缩减框架将当前帖中的明确状态与已存在的目标的状态进行 最优连接，W得到跟踪结果。
[0047] 其中，建立近似-缩减框架的具体过程如下：
[0048] 采用公式（I)对多目标跟踪问题进行建模，多目标跟踪问题可W看作为求得在已 知所有观测馬。的条件下，将概率巧X：i J Zb)最大化的所有目标状态值惠,，
[0049]
[0050] 目标都取得最优状态，可变形为：
[0051 ] 〔11.)';
[0052] 似程度高，可W推得：
[005引 且模糊状态骑=马,\瑞，则公 式(n)
[0054] 。肪，
[0化5] (邸）;
[0056] 于对公式（II)优化过程。并在完成公 式(IV) 变成了对公式（m)进行优化的条件， 则公式
[0057] *^V);
[0058] 其中，公式（V)相当于对模糊状态可能进行连接的可行集进行了缩减，所W可称为 缩减步骤。并在迭代的过程中，如图2所示，模糊状态会重新与已存在的状态计算相似值，从而 不断的从模糊状态中产生新的明确状态斯e骑.荀=巧1巧而',,伤,，却忡社)S巧而為,)!。
[0059] 进一步地，在步骤S3之后，例如还包括:根据连接信息更新已存在的目标的状态信 息，并缩减模糊状态进行连接的可行集，同时将当前帖中的模糊状态与下一帖新初始化的 状态进行下一轮迭代，直至当前帖中所有的模糊状态变成明确状态，或者迭代次数（即延迟 的帖数)达到预设窗口长度。
[0060]在一些示例中，为了进一步提高算法效率，该方法例如还包括:根据多目标跟踪过 程中状态间连接的互斥性及时序，建立模糊-明确状态图，W缩减可行集空间所设计的适用 于多目标跟踪的数据结构，其中，模糊-明确状态图中的每个节点表示目标在该帖的状态， 节点之间的连线表示同一目标在各帖的状态的连接。如图3所示，图中实线表示确定连接， 虚线表示可变连接，可变连接即模糊状态与已存在状态之间的可能连接。实线连接的为明 确状态，虚线连接的为模糊状态。因此，可变连接不存在互斥性，模糊状态可能同时拥有多 条可变连接。模糊-明确状态图的另一个重要规则是，明确状态只能与一个已存在的状态相 连，也可称为明确状态只能有一个父状态。但模糊状态则没有运个限制，因此明确状态也可 W拥有多个子状态。
[0061 ]另外，模糊状态只存在于模糊窗口内，即只能存在预设窗口长度帖，当模糊状态经 过预设窗口长度帖而无法转变为明确状态时，将模糊状态与已存在的明确状态一起进行最 优连接，W得到跟踪结果（即连接结果）。具体地说，模糊窗口即模糊-明确状态图中预设长 度的时间窗口，规定只有在模糊窗口内才允许存在模糊状态，即每个模糊状态只能迭代预 设窗口长度次，延迟存在至该状态所在帖之后预设窗口长度帖。如图4所示，相当于每个状 态信息空间变为W该状态为顶点，W窗口长度为高的=角形。延迟跟踪当模糊状态要越过 模糊窗口时仍未转化为明确状态，该模糊状态就会直接进入连接步骤与已存在的状态进行 连接。因此，每一帖所有状态的最后连接结果会在延迟预设窗口长度帖后才最终产生并显 示出来，运种模式可称为介于实时跟踪W及离线跟踪之间的延迟跟踪。或者可W说，实时跟 踪是模糊窗口为0的延迟跟踪，而离线跟踪则是模糊窗口为整个视频序列的延迟跟踪。
[0062] 由于模糊窗口的存在，对于当前帖来说，未来帖的信息也可W用在当前帖的状态 优化中，运可W提供更多的信息W得到更佳的优化结果。同时通过设置合适的窗口长度，也 可W满足实时性应用的需求。图5展示了随着模糊窗口长度的增加，跟踪准确性会提高，但 是提高的幅度逐渐减小并在16帖左右接近顶点。而图6则展示了通过对真实跟踪结果的统 计，存在重叠的状态(状态模糊的原因）重叠时间大部分不超过1秒钟，运也就为相对较短的 窗口长度却能提高较高的跟踪性能提供了依据。因此，本发明可W在提高多目标跟踪性能 W及准确率的同时，保证跟踪的实时性，拥有更加广泛的应用范围。
[0063] 综上，根据本发明实施例的基于滑窗优化的多目标跟踪方法，利用离线跟踪数据 丰富的优势，在提高多目标跟踪性能和准确率的同时，保证了足够的跟踪实时性，从而满足 更多应用的需求，增加了应用范围。
[0064] 在本发明的描述中，需要理解的是，术语"中屯、"、"纵向"、"横向"、"长度"、"宽度"、 "厚度"、"上"、"下"、"前"、"后左"、"右"、"竖直"、"水平"、"顶"、"底""内"、"外"、"顺时 针"、"逆时针"、"轴向"、"径向"、"周向"等指示的方位或位置关系为基于附图所示的方位或 位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必 须具有特定的方位、W特定的方位构造和操作，因此不能理解为对本发明的限制。
[0065] 此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可W明示或者 隐含地包括至少一个该特征。在本发明的描述中，"多个"的含义是至少两个，例如两个，= 个等，除非另有明确具体的限定。
[0066] 在本发明中，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"、"固定"等 术语应做广义理解，例如，可W是固定连接，也可W是可拆卸连接，或成一体;可W是机械连 接，也可W是电连接;可W是直接相连，也可W通过中间媒介间接相连，可W是两个元件内 部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员 而言，可W根据具体情况理解上述术语在本发明中的具体含义。
[0067] 在本发明中，除非另有明确的规定和限定，第一特征在第二特征"上"或"下"可W 是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在 第二特征"之上"、"上方"和"上面"可是第一特征在第二特征正上方或斜上方，或仅仅表示 第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"可W是第 一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0068] 在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可W在任 一个或多个实施例或示例中W合适的方式结合。此外，在不相互矛盾的情况下，本领域的技 术人员可W将本说明书中描述的不同实施例或示例W及不同实施例或示例的特征进行结 合和组合。
[0069] 尽管上面已经示出和描述了本发明的实施例，可W理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可W对上述 实施例进行变化、修改、替换和变型。
【主权项】
1. 一种基于滑窗优化的多目标跟踪方法，其特征在于，包括以下步骤： Sl:获取目标视频序列，检测所述目标视频序列，并根据检测结果对各个目标的状态信 息进行初始化； S2:计算当前帧中所有目标的状态信息与已存在的目标的状态信息的相似度，并根据 所述相似度判断所述当前帧中各目标的状态，其中，所述当前帧中各目标的状态包括明确 状态和模糊状态；以及 S3:建立近似-缩减框架将所述当前帧中的明确状态与已存在的目标的状态进行最优 连接，以得到跟踪结果。2. 根据权利要求1所述的基于滑窗优化的多目标跟踪方法，其特征在于，在所述S3之 后，还包括： 根据连接信息更新已存在的目标的状态信息，并缩减模糊状态进行连接的可行集，同 时将当前帧中的模糊状态与下一帧新初始化的状态进行下一轮迭代，直至当前帧中所有的 模糊状态变成明确状态，或者迭代次数达到预设窗口长度。3. 根据权利要求1所述的基于滑窗优化的多目标跟踪方法，其特征在于，所述根据所述 相似度判断所述当前帧中各目标的状态，具体包括： 当所述相似度大于预设阈值时，判定对应的目标处于明确状态； 当所述相似度小于预设阈值时，判定对应的目标处于模糊状态。4. 根据权利要求1所述的基于滑窗优化的多目标跟踪方法，其特征在于，所述目标的状 态信息包括：目标的位置、大小及图像特征。5. 根据权利要求4所述的基于滑窗优化的多目标跟踪方法，其特征在于，通过综合计算 所述当前帧中所有目标和所述已存在的目标的位置、大小及图像特征得到当前帧中所有目 标的状态信息与已存在的目标的状态信息的相似度。6. 根据权利要求1所述的于滑窗优化的多目标跟踪方法，其特征在于，所述建立近似-缩减框架，具体包括： 采用公式（I)对多目标跟踪问题进行建模，所述多目标跟踪问题为求得在已知所有观 测Zi,的条件下，将概率IZ1:,)最大化的所有目标状态值iu，(I )；： 所述公式(I)为每一帧每一个目标都取得最优状态，可变形为：(π); 对于明确状态由于其与已存在状态的相似程度高，可以推得：%,))且模糊状态则所述公 式（Π )可变为公式(m)以及公式(IV)两部分：Ull),分别进行所述公式απ)和公式αν)的优化，并在完成所述公式αν)的优化之后，明确 状杰R经宗成了连培.#夺成了对所怵公πη讲行优化的条件，则所述公式（m)优化为：(V)5 其中，所述公式(V)对模糊状态可能进行连接的可行集进行了缩减，并在迭代的过程中，不 断的从模糊状态中产生新的明确状s7. 根据权利要求1所述的基于滑窗优化的多目标跟踪方法，其特征在于，还包括:根据 多目标跟踪过程中状态间连接的互斥性及时序，建立模糊-明确状态图，以缩减可行集空间 所设计的适用于多目标跟踪的数据结构，其中，所述模糊-明确状态图中的每个节点表示目 标在该帧的状态，节点之间的连线表示同一目标在各帧的状态的连接。8. 根据权利要求1所述的基于滑窗优化的多目标跟踪方法，其特征在于，其中，所述模 糊状态只能存在预设窗口长度帧，当所述模糊状态经过所述预设窗口长度帧而无法转变为 明确状态时，将所述模糊状态与已存在的明确状态进行最优连接，以得到跟踪结果。
【文档编号】G06K9/00GK106022238SQ201610317575
【公开日】2016年10月12日
【申请日】2016年5月12日
【发明人】季向阳, 但乐, 郭齐, 戴琼海
【申请人】清华大学, 清华大学深圳研究生院