一种多目标跟踪方法、装置及设备的制造方法_5

文档序号:9327394阅读:来源:国知局
] 本发明实施三以一实例来进行详细阐述上述实施例一和实施例二提出的技术方 案:
[0142] 步骤一:通过预先训练的目标检测器,对待进行目标跟踪的视频中的每个视频帧 进行跟踪目标的检测,获得每个视频帧中待跟踪的目标的位置信息。
[0143] 步骤二:确定待进行目标跟踪的视频中的初始视频帧t帧。
[0144] 与初始视频帧t相邻的下一视频帧为t+1帧。
[0145] 步骤三:获取轨迹集合,以及检测目标集合。
[0146] t帧中的目标称之为跟踪目标,跟踪目运动形成轨迹集合,t+Ι帧中的目标称之为 检测目标,对应形成检测目标集合。
[0147] 步骤四:在检测目标集合中,确定与轨迹集合中的轨迹匹配的检测目标子集。
[0148] 首先,在形成的检测目标集合中增加第一数量的虚拟目标和第二数量的源目标。
[0149] 其中,第一数量为轨迹集合中包括的轨迹数量,第二数量为检测目标集合中包括 的检测目标数量。
[0150] 例如根据第t帧的轨迹数量m,增加m个虚拟目标,根据第t+Ι帧的检测目标数量 n,增加η个源目标。如图4所示,t帧中的跟踪目标形成的轨迹有两个,则对应的轨迹集合 中的元素数量为2,相应地,增加2个虚拟目标,t+Ι帧中的检测目标有三个,则对应的检测 目标集合中的元素的数量为3,相应地,增加 3个源目标。
[0151] 其次,在增加了虚拟目标和源目标后的检测目标集合中,确定与轨迹集合中的轨 迹匹配的检测目标。
[0152] 每次对m+n个对象进行匹配。其中匹配算法可以是匈牙利算法、最大网络流算法 中的一种或多种。
[0153] 具体地,通过对m+n个对象进行匹配,使能够连接上检测目标的轨迹形成新的轨 迹。当无法匹配合适检测目标的轨迹和新出现的检测目标,在实际情况中,出现了遮挡问题 和新目标增加问题,通常情况下的匹配算法是无法解决跟踪目标遮挡、跟踪目标增加的问 题。本发明实施例提出的技术方案中,由于增加了虚拟目标和源目标,因此可以进行如下操 作:将无法匹配合适检测目标的轨迹暂时和虚拟目标连接,将新出现的检测目标暂时和源 目标连接。
[0154] A :将轨迹直接与所述检测目标匹配。
[0155] 假设t帧是初始视频帧,则下一视频帧为t+Ι帧,该种情况中,是将t帧中的轨迹 与t+Ι帧中的跟踪目标直接匹配。如图2所示的标号为1的轨迹,即t帧中的轨迹可以直 接在t+Ι帧中找到跟踪目标连接形成新的轨迹。
[0156] B :将未能和检测目标匹配的轨迹与虚拟目标匹配。
[0157] 假设t帧是初始视频帧,则下一视频帧为t+Ι帧,该种情况中,是将t帧中的轨迹 与虚拟目标连接,如图2所示的标号为2的轨迹,即t帧中的轨迹在t+Ι帧中不能找到跟踪 目标形成新的轨迹,因此将t帧中的轨迹与虚拟目标连接。
[0158] C :将源目标与检测目标匹配;
[0159] 假设t帧是初始视频帧,则下一视频帧为t+Ι帧,该种情况中,在t+Ι帧中出现了 新的跟踪目标,如图2所示的标号为3的轨迹,即假设t帧中有3个跟踪目标,则在t+Ι帧 中出现了 4个跟踪目标,则将该新跟踪目标和增加的源目标连接。
[0160] D :将源目标和虚拟目标匹配。
[0161] 假设t帧是初始视频帧,则下一视频帧为t+Ι帧,该种情况中,如图2所示的标号 为4的轨迹,源目标和虚拟目标数值较近,通过算法进行匹配的过程中,会出现将源目标和 虚拟目标匹配,形成一条轨迹。
[0162] 步骤五:将与初始视频帧相邻的下一视频帧t+Ι帧重新作为初始视频帧t帧,返回 执行步骤三,直至全部视频帧均处理完毕。
[0163] 匹配完成后,对第t帧之前的轨迹进行统计并更新,通过第t+Ι帧前的轨迹来代替 第t帧之前所有轨迹进行更新。
[0164] 假设第t帧中第i条轨迹通过参数表示,则按照下述公式通过第t+Ι帧前的轨 迹来代替第t帧之前所有轨迹进行更新:
[0165] (1)若在进行匹配时,轨迹集合中的轨迹和检测目标集合中的检测目标连接,则按 照下述方式进行更新:
[0171] 其中,p表示检测目标的位置中心坐标,q表示检测目标的大小;若检测目标通过 检测框表示,则P表示检测框的位置中心坐标,q表示检测框的大小。
[0172] P用于表示匹配到轨迹中,每个检测目标的位置中心坐标p集合。
[0173] Q用于表示匹配到轨迹If中,每个检测目标的大小q集合。
[0174] t是第t帧,i是第t帧中轨迹序号,j是t+Ι帧中轨迹序号。
[0175] Cri是权重,可以通过颜色直方图和时间因素确定。
[0176] A是时间因素权重。较佳地,本发明实施例一提出的技术方案中,A的取值可以是 0. 5〇
[0177] 是轨迹I?中已经链接上的检测目标数量,若检测目标通过检测框表示,则i || 是轨迹中已经链接上的检测框数量。
[0178] Cf是第t帧中第j条轨迹的颜色直方图的权重。
[0179] :if是轨迹中已经链接上的虚拟目标数量。
[0180] 矽1是轨迹?Γ中已经链接上的虚拟目标数量。
[0181] (2)若在进行匹配时,轨迹集合中的轨迹和虚拟目标连接,该种方式中,轨迹集合 中的轨迹未能和检测目标匹配,则按照下述方式进行更新:
[0187] 其中,p表示检测目标的位置中心坐标,q表示检测目标的大小;若检测目标通过 检测框表示,则P表示检测框的位置中心坐标,q表示检测框的大小。
[0188] P用于表示匹配到轨迹If中,每个检测目标的位置中心坐标p集合。
[0189] Q用于表示匹配到轨迹中,每个检测目标的大小q集合。
[0190] t是第t帧,i是第t帧中轨迹序号,j是t+Ι帧中轨迹序号。
[0191] 從< 是权重,可以通过颜色直方图和时间因素确定。
[0192] A是时间因素权重。较佳地,本发明实施例一提出的技术方案中,A的取值可以是 0. 5〇
[0193] ?是轨迹中已经匹配上的检测目标数量,若检测目标通过检测框表示,则|| 是轨迹中已经链接上的检测框数量。
[0194] Cf是第t帧中第j条轨迹的颜色直方图的权重。
[0195] 1|是轨迹中已经链接上的虚拟目标数量。
[0196] 步骤七:待跟踪视频中的视频帧匹配完成后,对形成的轨迹进行分析,确定跟踪目 标的运动轨迹。
[0197] 其中,按照上述方式对待跟踪的视频帧进行匹配时,针对待检测的视频,可以从任 一视频帧起始,也可以从任一视频帧结束。
[0198] 通常情况下进行目标跟踪时,若场景中出现遮挡,会出现目标减少,或者目标增加 的问题,针对此,本发明实施例提出的技术方案中,通过上述公式中的1|和;if来对Ifj进行 如下处理,其中:
[0199] 运动轨迹类型包括处于稳定运动中的运动轨迹,以7;^表示,跟踪目标已经结束 运动的运动轨迹,以rii表示,由于误判导致的错误的运动轨迹,以表示,新加入的运 动轨迹,以KL vv:表示。
[0200] IJt是确定的当前稳定运动的轨迹,Iia是确定的已经在算法中确定结束的轨 迹,而了*会根据条件继续判断变为
[0201] 具体判断第t帧的第i条轨迹类型的方法是根据最新生成的1| (例如某种场景 设定为阈值为J)和的数量(例如某种场景设定为阈值为K):
[0202] A :若第一数量小于第一设定阈值,且第二数量大于或等于第二设定阈值时,确定 运动轨迹的类型为处于稳定运动中的运动轨迹。该种情况中,如果轨迹中包含较多的真实
检测框(即f 则该条轨迹被归为 O
[0203] B :B:若第一数量大于或等于第一设定阈值,且第二数量大于或等于第二设定阈 值,确定运动轨迹的类型为跟踪目标已经结束运动的运动轨迹。如果轨迹中虚拟目标的数 量@|过多且1|也达到一定数量(即
,那么这条轨迹就归
[0204] C :若第一数量大于或等于第一设定阈值,且第二数量小于第二设定阈值,确定运 动轨迹的类型为由于误判导致的错误的运动轨迹。如果轨迹中前面都有真实检测框,后面
链接的虚拟目标过多时(即 ,那么这条轨迹归为 O
[0205] D:若第一数量为零且所述第二数量为1,或第一数量小于第一设定阈值且第二数 量小于第二设定阈值,确定运动轨迹的类型为新加入的运动轨迹。如果轨迹中第一个是源 目标后面链接上的是真实检测框(即
轨迹 无法准确判断时,那么这条轨迹被归为 G
[0206] 本领域的技术人员应明白,本发明的实施例可提供为方法、装置(设备)、或计算 机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方 面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的 计算机可用存储介质(包括但不限于磁盘存储器、只读光盘、光学存储器等)上实施的计算 机程序产品的形式。
[0207] 本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一 流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算 机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理 器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生 用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能 的装置。
[0208] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。
[0209] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图 一个方框或多个方框中指定的功能的步骤。
[0210] 尽管已描
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1