一种基于全局约束的多目标跟踪方法和系统的制作方法
【专利摘要】本申请公开了一种基于全局约束的多目标跟踪方法和系统，包括，建立前景列表：对前景图像进行形态学处理和连通域分析，获取前景目标，并根据前景目标建立前景列表；建立跟踪列表：通过搜索模型S的极大值，模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表；获取新跟踪目标：将前景列表的目标融合于跟踪列表中，两列表中不重叠的目标作为新跟踪目标，将新跟踪目标加入跟踪列表内；更新多目标跟踪模型：利用正负样本初始化跟踪列表的新跟踪目标的检测模型W和更新已有的跟踪目标的检测模型W，并更新跟踪目标之间几何约束ε；通过几何约束ε和检测模型W相结合的方式跟踪，使得本申请的跟踪方法更加稳定。
【专利说明】一种基于全局约束的多目标跟踪方法和系统
【技术领域】
[0001] 本申请涉及智能视频监控领域，具体涉及一种基于全局约束的多目标跟踪方法和 系统。
【背景技术】
[0002] 基于视频序列完成多目标的检测与正确识别跟踪是机器视觉领域的一个重要研 究课题，它在智能视频安全监控领域、医学智能分析等领域都发挥着举足轻重的作用，目前 对多目标跟踪的研究已成为热点，但现有的多目标跟踪仅仅是多个单目标跟踪的叠加。
【发明内容】
[0003] 本申请提供一种基于全局约束的多目标跟踪方法和系统。
[0004] 根据本申请的第一方面，本申请提供一种基于全局约束的多目标跟踪方法，包 括：
[0005] 建立前景列表：对前景图像进行形态学处理和连通域分析，获取前景目标，并根据 所述前景目标建立前景列表；
[0006] 建立跟踪列表：通过搜索模型S的极大值，模型S包括检测模型W和几何约束ε， 获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表；
[0007] 获取新跟踪目标：将前景列表的目标融合于跟踪列表中，并将前景列表与跟踪列 表不重叠的目标作为新跟踪目标，并将新跟踪目标加入跟踪列表内；
[0008] 更新多目标跟踪模型：利用正负样本初始化所述跟踪列表的新跟踪目标的检测模 型W，更新所述跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束 ε 〇
[0009] 根据本申请的第二方面，本申请提供一种基于全局约束的多目标跟踪系统，包括 前景检测模块、多目标跟踪模块、目标融合模块和在线学习模块；
[0010] 前景检测模块用于对前景图像进行形态学处理和连通域分析，获取前景目标，并 根据前景目标建立前景列表；
[0011] 多目标跟踪模块用于通过搜索模型S的极大值，模型S包括检测模型W和几何约 束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表；
[0012] 目标融合模块用于将前景列表的目标融合于跟踪列表中，并将前景列表与跟踪列 表不重叠的目标作为新跟踪目标，并将新跟踪目标加入跟踪列表内；
[0013] 在线学习模块用于利用正负样本初始化跟踪列表的新跟踪目标的检测模型W，更 新跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε。
[0014] 本申请的有益效果是：本申请提供的基于全局约束的多目标跟踪方法通过检测模 型W和几何约束ε相结合对各个跟踪目标进行快速跟踪，同时，利用目标之间的几何约束 关系对各个目标跟踪的结果进行全局约束，并通过更新检测模型W，从而使得本申请提供的 多目标跟踪方法更加稳定。
【专利附图】
【附图说明】
[0015] 图1为本申请多目标跟踪方法流程图；
[0016] 图2为本申请建立跟踪列表流程图；
[0017] 图3为本申请多目标跟踪过程中微搜索的示意图；
[0018] 图4为本申请多目标跟踪过程的示意图。
【具体实施方式】
[0019] 下面通过【具体实施方式】结合附图对本发明作进一步详细说明。
[0020] 如图1所示，本例提供的基于全局约束的多目标跟踪方法包括如下步骤：
[0021] SlO :建立前景列表D。
[0022] 本步骤具体包括：利用ViBe建立背景模型，获得前景图像；对前景图像进行形态 学处理和连通域分析，获取前景目标，并根据前景目标建立前景列表；该前景目标具体为每 个连通域的位置和大小的信息，并用RT表示该位置和大小信息，如前景列表用D表示，则η 个前景目标放入前景列表D内，表示为：D= {RT1，RT2，"^RTnU
[0023] S20 :建立跟踪列表T。
[0024] 通过搜索模型S的极大值，模型S包括检测模型W和几何约束ε，获 取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表，其中，检测模型W采 用在线SVM，几何约束ε采用目标之间的相对位移，本例的模型S的表达式为：
【权利要求】
1. 一种基于全局约束的多目标跟踪方法，其特征在于，包括： 建立前景列表：对前景图像进行形态学处理和连通域分析，获取前景目标，并根据所述 前景目标建立前景列表； 建立跟踪列表：通过搜索模型S的极大值，所述模型S包括检测模型W和几何约束ε， 获取当前帧跟踪目标，并根据所述当前帧跟踪目标建立跟踪列表； 获取新跟踪目标：将所述前景列表的目标融合于所述跟踪列表中，并将所述前景列表 与所述跟踪列表不重叠的目标作为新跟踪目标，并将所述新跟踪目标加入所述跟踪列表 内； 更新多目标跟踪模型：利用正负样本初始化所述跟踪列表的新跟踪目标的检测模型 W，更新所述跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束 ε 〇
2. 如权利要求1所述的方法，其特征在于，所述建立跟踪列表包括步骤： 根据所述几何约束ε搜索：保持所述几何约束ε不变，搜索模型S的极大值，并得到 当前帧各个跟踪目标的预测位置； 根据所述模型S搜索：根据所述预测位置，利用各个跟踪目标的检测模型W以及几何模 型ε联合搜索，根据所述联合搜索确定模型S的联合搜索极大值Si; 确认模型S是否收敛：根据连续两次所述联合搜索极大值Si和Si-1，计算其残差值 S S，若δ S的值小于设定的阈值S0,则所述模型S收敛，所述预测位置即是当前帧跟踪目标 的精确位置； 建立跟踪列表：将所述当前帧跟踪目标的精确位置放入跟踪列表内。
3. 如权利要求1所述的方法，其特征在于，所述获取新跟踪目标还包括步骤：计算所述 前景列表和跟踪列表内目标之间的重叠率lap，若lap>lapO,所述lapO为预设值，则所述前 景列表内目标与所述跟踪列表内目标重叠，否则，为不重叠目标，并将所述不重叠目标作为 所述新跟踪目标。
4. 如权利要求2所述的方法，其特征在于，所述更新多目标跟踪模型包括步骤： 在距离目标所在区域rO的范围内采集正样本，在距离目标rl到r2的范围内采集负样 本，所述rO、rl和r2为预设值，且r0〈rl〈r2 ; 利用所述正负样本初始化所述跟踪列表内的新跟踪目标的检测模型W，更新所述跟踪 列表内已有的跟踪目标的检测模型W ; 计算当前帧与前一帧的任意两对目标的位移Vi，\的向量差，根据所述向量差估计下 一帧的几何约束ε，并更新所述几何约束ε。
5. 如权利要求2所述的方法，其特征在于，所述检测模型W为在线SVM，所述几何约束 ε为估计位移差向量。
6. -种基于全局约束的多目标跟踪系统，其特征在于，包括前景检测模块、多目标跟踪 模块、目标融合模块和在线学习模块； 所述前景检测模块用于对前景图像进行形态学处理和连通域分析，获取前景目标，并 根据所述前景目标建立前景列表； 所述多目标跟踪模块用于通过搜索模型S的极大值，所述模型S包括检测模型W和几 何约束ε，获取当前帧跟踪目标，并根据所述当前帧跟踪目标建立跟踪列表； 所述目标融合模块用于将所述前景列表的目标融合于所述跟踪列表中，并将所述前景 列表与所述跟踪列表不重叠的目标作为新跟踪目标，并将所述新跟踪目标加入所述跟踪列 表内； 所述在线学习模块用于利用正负样本初始化所述跟踪列表的新跟踪目标的检测模型 W，更新所述跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束 ε 〇
7. 如权利要求6所述的多目标跟踪系统，其特征在于，所述建立跟踪列表包括： 根据所述几何约束ε搜索：保持所述几何约束ε不变，搜索模型S的极大值，并得到 当前帧各个跟踪目标的预测位置； 根据所述模型S搜索：根据所述预测位置，利用各个跟踪目标的检测模型W以及几何模 型ε联合搜索，根据所述联合搜索确定模型S的联合搜索极大值Si; 确认模型S是否收敛：根据连续两次所述联合搜索极大值Si和Si-1，计算其残差值 δ Si，若δ Si小于设定的阈值S0,则收敛，所述预测位置即是当前帧跟踪目标的精确位置； 建立跟踪列表：将所述当前帧跟踪目标的精确位置放入跟踪列表内。
8. 如权利要求6所述的多目标跟踪系统，其特征在于，获取所述新跟踪目标包括：计算 所述前景列表和跟踪列表内目标之间的重叠率lap，若lap>lapO,所述lapO为预设值，则所 述前景列表内目标与所述跟踪列表内目标重叠，否则，为不重叠目标，并将所述不重叠目标 作为所述新跟踪目标。
9. 如权利要求7所述的多目标跟踪系统，其特征在于，更新所述检测模型W和所述几何 约束ε包括： 在距离目标所在区域rO的范围内采集正样本，在距离目标rl到r2的范围内采集负样 本，所述rO、rl和r2为预设值，且r0〈rl〈r2 ; 利用所述正负样本初始化所述跟踪列表内的新跟踪目标的检测模型W，并更新所述跟 踪列表内已有的跟踪目标的检测|旲型W ; 计算当前帧与前一帧的任意两对目标的位移Vi，\向量差，根据所述向量差估计下一 帧的几何约束ε，并更新所述几何约束ε。
【文档编号】G06T7/20GK104240265SQ201410440637
【公开日】2014年12月24日 申请日期:2014年9月1日 优先权日:2014年9月1日
【发明者】廖振生, 樊婵, 靳强 申请人:深圳市华尊科技有限公司