一种多目标跟踪方法、装置及设备的制造方法
【技术领域】
[0001] 本发明涉及信息处理技术领域，尤其是涉及一种多目标跟踪方法、装置及设备。
【背景技术】
[0002] 多目标跟踪（英文：multi-〇bject tracking，缩写：Μ0Τ)是指对视频序列中的多 个感兴趣目标，维持各个目标的身份，并推理各个目标的位置、速度等运动信息。
[0003] 和单目标跟踪相比，多目标跟踪存在更多挑战性的难点。首先，目标的数目未知， 而且随着目标进出场景，目标的数目会发生变化。其次，多目标跟踪过程中，目标经常被前 景物体或其他目标部分遮挡甚至完全遮挡，导致目标跟踪失败或造成目标间的身份交换。 最后，当场景中同时存在相似外观的目标，尤其是该些相似外观的目标之间相互靠近发生 遮挡时，很难区分各个目标。
[0004] 随着目标检测技术的进步，多目标跟踪方法主要运用基于检测的跟踪方法，即应 用一个预先训练好的目标检测器，在视频序列的每幅图像上进行目标检测，该种跟踪算法 主要是对时间序列上的检测响应进行数据连接，将属于同一个目标的检测响应连接成一条 轨迹，从而实现对目标的跟踪。但是目前的多目标跟踪技术，对于跟踪目标的遮挡，新跟踪 目标的随机加入和旧目标的消失都没有较好的解决方法，在多目标检测过程中容易造成目 标误检或漏检，无法准确确定出各个跟踪目标的运动轨迹。
【发明内容】
[0005] 本发明提供了一种多目标跟踪方法、装置及设备，用于解决在多目标检测过程中 容易造成目标误检或漏检，，无法准确确定出各个跟踪目标的运动轨迹的问题。
[0006] 第一方面，提供了一种多目标跟踪方法，包括：获得由视频中第N个视频帧图像的 运动轨迹形成的轨迹集合，其中所述第N个视频帧图像的运动轨迹是所述第N个视频帧图 像中的已跟踪目标在所述视频中形成的轨迹；获取由所述视频中第N+1个视频帧图像中检 测出的待跟踪目标形成的待跟踪集合；生成由可与所述轨迹集合中的的运动轨迹匹配的虚 拟目标形成的虚拟集合，所述轨迹集合中的运动轨迹的数量与所述虚拟集合中的虚拟目标 的数量相等；生成由可与所述待跟踪集合中的待跟踪目标匹配的源目标形成的源集合，所 述待跟踪集合中的待跟踪目标的数量与所述源集合中的源目标的数量相等；将第一集合中 的元素，与第二集合中的元素进行匹配，获取所述第二集合中匹配成功的元素，从而得到所 述第N+1个视频帧图像的运动轨迹，所述第一集合为所述源集合和所述轨迹集合构成的集 合，所述第二集合为所述待跟踪集合和所述虚拟集合构成的集合，所述第N+1个视频帧图 像的运动轨迹包括所述匹配成功的元素对应在所述第一集合中的元素以及所述匹配成功 的元素，所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素一一对应，所述第N+1 个视频帧图像的运动轨迹与所述匹配成功的元素对应在所述第一集合中的元素一一对应。
[0007] 结合第一方面，在第一方面的第一种可能实现方式中，将第一集合中的元素，与第 二集合中的元素进行匹配，包括：将所述轨迹集合中的运动轨迹与所述待跟踪集合中的待 跟踪目标匹配；将未能和所述待跟踪集合中的待跟踪目标匹配的所述轨迹集合中的运动轨 迹，与所述虚拟集合中的虚拟目标匹配；将未能和所述轨迹集合中的运动轨迹匹配的所述 待跟踪集合中的待跟踪目标，与所述源集合中的源目标匹配；将未能和所述待跟踪集合中 的待跟踪目标匹配的所述源集合中的源目标，与未能和所述轨迹集合中的运动轨迹匹配的 所述虚拟集合中的虚拟目标匹配。
[0008] 结合第一方面和第一方面的第一种可能实现方式，在第一方面的第二种可能的实 现方式中，在得到所述第N+1个视频帧图像的运动轨迹之后，还包括：根据所述第N+1个视 频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量，以及所述任一运动轨迹 中的虚拟目标的第二数量，确定所述任一运动轨迹的类型。
[0009] 结合第一方面和第一方面的第二种可能实现方式，在第一方面的第三种可能的实 现方式中，根据所述第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第 一数量，以及所述任一运动轨迹中的虚拟目标的第二数量，确定所述任一运动轨迹的类型， 包括：若所述第一数量小于第一设定阈值，且所述第二数量大于或等于第二设定阈值，则确 定所述任一运动轨迹的类型为处于稳定运动中的运动轨迹；或者，若所述第一数量大于或 等于所述第一设定阈值，且所述第二数量大于或等于所述第二设定阈值，则确定所述任一 运动轨迹的类型为已经结束运动的运动轨迹；或者，若所述第二数量大于或等于所述第一 设定阈值，且所述第二数量小于所述第二设定阈值，则确定所述任一运动轨迹的类型为由 于误判导致的错误的运动轨迹；或者，若所述第一数量为零且所述第二数量为1，或所述第 一数量小于所述第一设定阈值且第二数量小于所述第二设定阈值，则确定所述任一运动轨 迹的类型为新加入的运动轨迹。
[0010] 第二方面，提供了一种多目标跟踪装置，包括：获得模块，用于获得由视频中第N 个视频帧图像的运动轨迹形成的轨迹集合，其中所述第N个视频帧图像的运动轨迹是所述 第N个视频帧图像中的已跟踪目标在所述视频中形成的轨迹；获取模块，用于获取由所述 视频中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合；第一生成模块，用 于生成由可与所述轨迹集合中的的运动轨迹匹配的虚拟目标形成的虚拟集合，所述轨迹集 合中的运动轨迹的数量与所述虚拟集合中的虚拟目标的数量相等；第二生成模块，用于生 成由可与所述待跟踪集合中的待跟踪目标匹配的源目标形成的源集合，所述待跟踪集合中 的待跟踪目标的数量与所述源集合中的源目标的数量相等；匹配模块，用于将第一集合中 的元素，与第二集合中的元素进行匹配，获取所述第二集合中匹配成功的元素，从而得到所 述第N+1个视频帧图像的运动轨迹，所述第一集合为所述源集合和所述轨迹集合构成的集 合，所述第二集合为所述待跟踪集合和所述虚拟集合构成的集合，所述第N+1个视频帧图 像的运动轨迹包括所述匹配成功的元素对应在所述第一集合中的元素以及所述匹配成功 的元素，所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素一一对应，所述第N+1 个视频帧图像的运动轨迹与所述匹配成功的元素对应在所述第一集合中的元素一一对应。 [0011] 结合第二方面，在第二方面的第一种可能实现方式中，所述匹配模块，具体用于将 所述轨迹集合中的运动轨迹与所述待跟踪集合中的待跟踪目标匹配；将未能和所述待跟踪 集合中的待跟踪目标匹配的所述轨迹集合中的运动轨迹，与所述虚拟集合中的虚拟目标匹 配；将未能和所述轨迹集合中的运动轨迹匹配的所述待跟踪集合中的待跟踪目标，与所述 源集合中的源目标匹配；将未能和所述待跟踪集合中的待跟踪目标匹配的所述源集合中的 源目标，与未能和所述轨迹集合中的运动轨迹匹配的所述虚拟集合中的虚拟目标匹配。
[0012] 结合第二方面和第二方面的第一种可能实现方式，在第二方面的第二种可能的实 现方式中，还包括：确定模块，用于根据所述第N+1个视频帧图像的运动轨迹中任一运动轨 迹中的待跟踪目标的第一数量，以及所述任一运动轨迹中的虚拟目标的第二数量，确定所 述任一运动轨迹的类型。
[0013] 结合第二方面和第二方面的第二种可能实现方式，在第二方面的第三种可能的实 现方式中，所述确定模块，具体用于若所述第一数量小于第一设定阈值，且所述第二数量大 于或等于第二设定阈值，则确定所述任一运动轨迹的类型为处于稳定运动中的运动轨迹； 或者，若所述第一数量大于或等于所述第一设定阈值，且所述第二数量大于或等于所述第 二设定阈值，则确定所述任一运动轨迹的类型为已经结束运动的运动轨迹；或者，若所述第 二数量大于或等于所述第一设定阈值，且所述第二数量小于所述第二设定阈值，则确定所 述任一运动轨迹的类型为由于误判导致的错误的运动轨迹；或者，若所述第一数量为零且 所述第二数量为1，或所述第一数量小于所述第一设定阈值且第二数量小于所述第二设定 阈值，则确定所述任一运动轨迹的类型为新加入的运动轨迹。
[0014] 第三方面，提供了一种多目标跟踪设备，包括：存储器，用于存储程序指令；信号 处理器，用于通过接口，获得所述存储其中存储的程序指令，并按照程序指令执行：获得由 视频中第N个视频帧图像的运动轨迹形成的轨迹集合，其中所述第N个视频帧图像的运动 轨迹是所述第N个视频帧图像中的已跟踪目标在所述视频中形成的轨迹；获取由所述视频 中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合；生成由可与所述轨迹集 合中的的运动轨迹匹配的虚拟目标形成的虚拟集合，所述轨迹集合中的运动轨迹的数量与 所述虚拟集合中的虚拟目标的数量相等；生成由可与所述待跟踪集合中的待跟踪目标匹配 的源目标形成的源集合，所述待跟踪集合中的待跟踪目标的数量与所述源集合中的源目标 的数量相等；将第一集合中的元素，与第二集合中的元素进行匹配，获取所述第二集合中匹 配成功的元素，从而得到所述第N+1个视频帧图像的运动轨迹，所述第一集合为所述源集 合和所述轨迹集合构成的集合，所述第二集合为所述待跟踪集合和所述虚拟集合构成的集 合，所述第N+1个视频帧图像的运动轨迹包括所述匹配成功的元素对应在所述第一集合中 的元素以及所述匹配成功的元素，所述第N+1个视频帧图像的运动轨迹与所述匹配成功的 元素一一对应，所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素对应在所述第 一集合中的元素--对应。
[0015] 结合第三方面，在第三方面的第一种可能实现方式中，所述信号处理器，具体用于 将所述轨迹集合中的运动轨迹与所述待跟踪集合中的待跟踪目标匹配；将未能和所述待跟 踪集合中的待跟踪目标匹配的所述轨迹集合中的运动轨迹，与所述虚拟集合中的虚拟目标 匹配；将未能和所述轨迹集合中的运动轨迹匹配的所述待跟踪集合中的待跟踪目标，与所 述源集合中的源目标匹配；将未能和所述待跟踪集合中的待跟踪目标匹配的所述源集合中 的源目标，与未能和所述轨迹集合中的运动轨迹匹配的所述虚拟集合中的虚拟目标匹配。
[0016] 结合第三方面和第三方面的第一种可能实现方式，在第三方面的第二种可能的实 现方式中，所述信号处理器，还用于根据所述第N+1个视频帧图像的运动轨迹中任一运动 轨迹中的待跟踪目标的第一数量，以及所述任一运动轨迹中的虚拟目标的第二数量，确定 所述任一运动轨迹的类型。
[0017] 结合第三方面和第三方面的第二种可能实现方式，在第三方面的第三种可能的实 现方式中，所述信号处理器，具体用于若所述第一数量小于第一