一种目标跟踪的方法及装置制造方法
【专利摘要】本发明适用于图像处理【技术领域】，提供了一种目标跟踪的方法及装置，所述方法包括：当输入第t帧图像时，通过前t-1帧图像学习更新得到的在线模型Ht-1，预计对象所在区域；在预计的对象所在区域进行样本数据采集，并将所述样本数据组成Bag集合，所述Bag集合为无标签数据；通过所述Bag集合以及特定模型对在线模型Ht-1进行半监督学习更新，得到第t帧图像的在线模型Ht；根据第t帧图像的在线模型Ht输出跟踪结果。本发明提出的方法及装置可实现减少样本噪声的引入，获得对遮挡健壮的跟踪效果。
【专利说明】一种目标跟踪的方法及装置
【技术领域】
[0001]本发明属于图像处理【技术领域】，尤其涉及一种目标跟踪的方法及装置。
【背景技术】
[0002]跟踪过程中对象与背景间的关系直接影响着跟踪效果，当对象区域与背景区域反差很大时，简单的跟踪算法也会取得好的效果。因此如何更好的描述对象与背景间差异程度以及如何找到具有区分性的特征，便成了提升跟踪性能的突破点。判别式跟踪为跟踪对象学习一个二值分类器，将对象视为正例，背景区域视为负例，如图1所示之判别式跟踪示意图，跟踪对象为正例，周围区域为负例。如果在跟踪过程中保持固定的外观模型，当周围环境的光照等条件发生变化，或者当对象自身的姿态发生变化时，对象的表观将会发生较大变化。这时，采用固定外观模型的方法通常会无法再有效区分对象与背景区域。为了解决这个问题可以引入自适应机制，分类器逐帧采集正负样本进行更新，实现在线地融合具有区分跟踪对象和背景能力的多个特征，是解决动态复杂背景下运动对象跟踪的一条有效的途径。
[0003]近年来，很多研究机构沿着上述思路作了积极的探索，证明了将跟踪问题视为二值分类问题的优势。但同时也遇到了在线学习的两个障碍:一方面，需要通过对大量正负样本的学习来构造分类器，样本的选择是研究的难点，特别是如何获取正样本集；另一方面，随着对象在场景中运动，遮挡造成的样本标签不明会将噪声引入到分类器的更新过程中，最终导致特征不再描述跟踪对象。
[0004]现有技术只是利用初始帧学习出一个离线的先验模型，在整个跟踪过程中不再更新，因而缺少处理外观变化的灵活性。当跟踪对象外观发生稳定持续的变化时，通过先验模型计算出的标签就会发生错误。这种分类模型可以看作是为跟踪对象建立一个通用模型，用来甄别跟踪的结果是否依然属于该对象。离线学习的特性决定了其无法及时反映对象本身的变化，因而没有包含对象的特定信息。
【发明内容】
[0005]本发明实施例的目的在于提供一种目标跟踪的方法及装置，旨在解决现有的多实例学习的多特征跟踪方法容易引入样本噪声影响跟踪效果的问题。
[0006]本发明实施例是这样实现的，一种目标跟踪的方法，所述方法包括:
[0007]当输入第t帧图像时，通过前t-Ι帧图像学习更新得到的在线模型Ht_1;预计对象所在区域；
[0008]在预计的对象所在区域进行样本数据采集，并将所述样本数据组成Bag集合，所述Bag集合为无标签数据；
[0009]通过所述Bag集合以及特定模型对在线模型Hw进行半监督学习更新，得到第t帧图像的在线模型Ht ；
[0010]根据第t帧图像的在线模型Ht输出跟踪结果。[0011]进一步地，在执行所述通过前t-ι帧图像学习更新得到的在线模型Ht_i，预计对象所在区域之后，还包括:
[0012]将所述预计的对象所在区域输入预设的通用模型Htjff，判断所述预计的对象所在区域是否可信；
[0013]若所述预计的对象所在区域可信则执行所述在预计的对象所在区域进行样本数据采集，否则丢弃所述预计的对象所在区域。
[0014]进一步地，所述通过所述Bag集合以及特定模型对在线模型Hw进行半监督学习更新，得到第t帧图像的在线模型Ht包括: [0015]将所述Bag集合输入预设的特定模型Hm,确定所述Bag集合的标签；
[0016]根据所述已确定标签的Bag集合以及MILBoost框架更新在线模型Ht+得到第t帧图像的在线模型Ht。
[0017]进一步地,所述将所述Bag集合输入预设的特定模型Hm,确定所述Bag集合的标签包括:
[0018]通过如下公式确定所述Bag集合中每个样本的权重和软标签:
[0019]Wi； j = (l-λ )p(y |xi；J) + A Pp(y |xi；J) logP(y |xi；J)；
[0020]yi；J = sgn((1-λ )p (y I xi；j) + λ Pp(y | xi；^ 1gP(y | xi；j))；
[0021]通过如下公式确定所述Bag集合的标签:
[0022]?:
[0023]所述Xiij为样本数据，所述yi，j为对应的标签，所述Yi为第i个Bag对应的标签。
[0024]进一步地，在执行所述通过前t-Ι帧图像学习更新得到的在线模型Ht_1;预计对象所在区域之前，还包括:
[0025]通过第一帧图像构造所述在线模型Htl、通用模型Htjff和特定模型Hm。
[0026]本发明还提出一种目标跟踪的装置，所述装置包括:
[0027]预计模块，用于当输入第t帧图像时，通过前T-1帧图像学习更新得到的在线模型Hw，预计对象所在区域；
[0028]样本采集模块，用于在预计的对象所在区域进行样本数据采集，并将所述样本数据组成Bag集合，所述Bag集合为无标签数据；
[0029]监督模块，用于通过所述Bag集合以及特定模型对在线模型Hw进行半监督学习更新，得到第t帧图像的在线模型Ht ；
[0030]输出模块，用于根据第t帧图像的在线模型Ht输出跟踪结果。
[0031]进一步地，所述装置还包括:
[0032]判断模块，用于将所述预计的对象所在区域输入预设的通用模型Htjff,判断所述预计的对象所在区域是否可信；以及若所述预计的对象所在区域可信则执行所述在预计的对象所在区域进行样本数据采集，否则丢弃所述预计的对象所在区域。
[0033]进一步地，所述监督模块包括:
[0034]确定单元,用于将所述Bag集合输入预设的特定模型Hm,确定所述Bag集合的标签；[0035]更新单元，用于根据所述已确定标签的Bag集合以及MILBoost框架更新在线模型Ht_1;得到第t帧图像的在线模型Ht。
[0036]进一步地,所述确定单元通过如下公式确定所述Bag集合的标签:
[0037]Wij j = (l-λ )p(y |xi；J) + A pp(y |xi；J) logP(y |xi；J)；
[0038]yi；J = sgn ((1-λ ) p (y I xi； j) + λ Pp (y | xi； ^ 1gP (y | xi； j))；
[0039]? =)；
[0040]所述xi;j为样本数据,所述yi;j为xi;j对应的标签,所述Yi为第i个Bag对应的标签。
[0041]进一步地，所述装置还包括:
[0042]构造模块，用于通过第一帧图像构造所述在线模型Htl、通用模型Htjff和特定模型H0Ilo
[0043]本发明实施例提供跟踪过程中先验模型的类型及其对跟踪的影响。为跟踪对象学习一个特定模型和在线模型。特定模型将对象外观的变化过程引入到先验知识中，综合地反映对象的特定信息；而在线学习模型则依照在线学习的过程，实时地体现对象当前状态，用于预测跟踪结果。跟踪器将采集的正负样本传递给特定模型进行监督式学习，以及时得把对象外观变化信息引入到先验知识中；每次跟踪完之后，在线模型都会在特定模型的监督下，进行半监督式更新。针对现在造成的样本噪声，多实例学习和半监督学习的结合具有很好的鲁棒性。在线多实例学习的过程将正负例打成Bag进行更新，允许正样本的Bag中包含负样本的实例。多实例学习的过程降低了分类器对正负标注的严格要求，从而引入更多的正样本信息用于更新。半监督学习方法通过初始帧建立基于先验知识的分类器，将更新的样本视为未标注数据，同样可以减少样本噪声的引入，以获得对遮挡健壮的跟踪效果。进一步地，本发明实施例还引用通用模型，通用模型包含了对象的初始类别信息，用于提供一种宽泛的判别跟踪区域是否属于该对象，跟踪器每次预测到新的位置时可将跟踪结果先传递给通用模型，该模型会从粗的粒度判断对象是否被遮挡等；若跟踪结果无问题且判断无遮挡时，通用模型再将采集的正负样本传递给特定模型进行监督式学习，因此通用模型可起到预先过滤的作用，提高效率。本发明实施例将两种学习方法融合在一起，建立通用模型和特定模型，并通过数据流动过程对先验知识进行更新，能准确地实现对象跟踪。
【专利附图】
【附图说明】
[0044]图1是现有技术中判别式跟踪示意图；
图2是本发明实施例一提供的目标跟踪的方法的流程图；
[0045]图3是本发明实施例一提供的目标跟踪的方法的另一流程图；
[0046]图4是本发明实施例二提供的目标跟踪的装置的结构图；
[0047]图5是本发明实施例二提供的目标跟踪的装置中监督模块的结构图。
【具体实施方式】
[0048]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0049]实施例一
[0050]本发明实施例一提出一种目标跟踪的方法。如图2所示，本发明实施例一的方法包括如下步骤:
[0051]S1、当输入第t帧图像时，通过前t-Ι帧图像学习更新得到的在线模型Hw，预计对象所在区域；
[0052]S2、在预计的对象所在区域进行样本数据采集，并将所述样本数据组成Bag集合，所述Bag集合为无标签数据；
[0053]S3、通过所述Bag集合以及特定模型对在线模型Ht_i进行半监督学习更新，得到第t帧图像的在线模型Ht ；
[0054]S4、根据第t帧图像的在线模型Ht输出跟踪结果。
[0055]如图3所示，在执行步骤SI之前，还可包括步骤:
[0056]S5、通过第一帧图像构造所述在线模型Htl、通用模型Htjff和特定模型Hm。
[0057]在执行步骤SI之后，还可包括步骤:
[0058]S6、将所述预计的对象所在区域输入预设的通用模型Htjff，判断所述预计的对象所在区域是否可信；若所述预计的对象所在区域可信则执行所述在预计的对象所在区域进行样本数据采集，否则丢弃所述预计的对象所在区域。
[0059]在步骤S5中，通过第一帧图像信息为跟踪对象分别学习一个通用模型Htjff、特定模型Hm和在线模型Η”通用模型Htjff包含了对象的初始类别信息，用于提供一种宽泛的判别跟踪区域是否属于该对象；特定模型Hm则将对象外观的变化过程引入到先验知识中，综合地反映对象的特定信息；而在线模型Htl则依照在线学习的过程，实时地体现对象当前状态，用于预测跟踪结果。本发明实施例一中，每次预测到新的位置区域时会将跟踪结果传递给通用模型Htjff，该模型会从粗的粒度判断对象是否被遮挡等；若跟踪结果无问题且判断无遮挡时，通用模型Htjff会将采集的样本数据传递给特定模型Hm进行监督式学习，以及时得把对象外观变化信息引入到先验知识中；每次跟踪完之后，在线模型Htl都会在特定模型的监督下，进行半监督式更新。
[0060]步骤SI中，输入第t帧视频图像It，利用Hw在It寻找分类器响应值最大的区域postiton = arg max (H^1)。
[0061]步骤S6中，利用通用模型Htjff中存储的目标初始特征判断步骤SI得到的目标是否可信，如果可信则进入步骤S2，否则直接舍弃。
[0062]步骤S2中，在预计的对象所在区域中心采集样本集ILv =其
中Bagt;1= {(xt；i), (xt；J),...}为无标签数据，每个Bagt,i包含了 IBagt,」个样本数据，而yt;i e {0,1}为Bag标签。遵循多实例学习的定义，可得
【权利要求】
1.一种目标跟踪的方法，其特征在于，所述方法包括: 当输入第t帧图像时，通过前t-ι帧图像学习更新得到的在线模型Ht_i，预计对象所在区域； 在预计的对象所在区域进行样本数据采集，并将所述样本数据组成Bag集合，所述Bag集合为无标签数据； 通过所述Bag集合以及特定模型对在线模型Hw进行半监督学习更新，得到第t帧图像的在线模型Ht ； 根据第t帧图像的在线模型Ht输出跟踪结果。
2.如权利要求1所述的方法，其特征在于，在执行所述通过前t-Ι帧图像学习更新得到的在线模型Hw，预计对象所在区域之后，还包括: 将所述预计的对象所在区域输入预设的通用模型Htjff，判断所述预计的对象所在区域是否可/[目; 若所述预计的对象所在区域可信则执行所述在预计的对象所在区域进行样本数据采集，否则丢弃所述预计的对象所在区域。
3.如权利要求1或2所述的方法，其特征在于，所述通过所述Bag集合以及特定模型对在线模型Hw进行半监督学习更新，得到第t帧图像的在线模型Ht包括: 将所述Bag集合输入预设的特定模型Hm,确定所述Bag集合的标签； 根据所述已确定标签的Bag集合以及MILBoost框架更新在线模型Hw，得到第t帧图像的在线模型Ht。
4.如权利要求3所述的方法，其特征在于，所述将所述Bag集合输入预设的特定模型Hon,确定所述Bag集合的标签包括: 通过如下公式确定所述Bag集合中每个样本的权重和软标签:
Wijj = (l-λ )p(y |xi；J) + A pp(y |xi；J) logP(y |xi；J)；
Yijj = sgn((l-A )p(y |xi；J) + A Pp(y |xi；J) 1gP (y |xi；J)); 通过如下公式确定所述Bag集合的标签: ))=max(yu); 所述&为样本数据，所述yu为&对应的标签，所述yi为第i个Bag对应的标签。
5.如权利要求1或2所述的方法，其特征在于，在执行所述通过前t-Ι帧图像学习更新得到的在线模型Hw，预计对象所在区域之前，还包括: 通过第一帧图像构造所述在线模型Htl、通用模型Htjff和特定模型Hm。
6.一种目标跟踪的装置，其特征在于，所述装置包括: 预计模块，用于当输入第t帧图像时，通过前t-Ι帧图像学习更新得到的在线模型Ht_1;预计对象所在区域； 样本采集模块，用于在预计的对象所在区域进行样本数据采集，并将所述样本数据组成Bag集合,所述Bag集合为无标签数据； 监督模块，用于通过所述Bag集合以及特定模型对在线模型Hw进行半监督学习更新，得到第t帧图像的在线模型Ht ； 输出模块，用于根据第t帧图像的在线模型Ht输出跟踪结果。
7.如权利要求6所述的装置，其特征在于，所述装置还包括: 判断模块，用于将所述预计的对象所在区域输入预设的通用模型Htjff，判断所述预计的对象所在区域是否可信；以及若所述预计的对象所在区域可信则执行所述在预计的对象所在区域进行样本数据采集，否则丢弃所述预计的对象所在区域。
8.如权利要求6或7所述的装置，其特征在于，所述监督模块包括: 确定单元，用于将所述Bag集合输入预设的特定模型Hm，确定所述Bag集合的标签；更新单元，用于根据所述已确定标签的Bag集合以及MILBoost框架更新在线模型Ht_1;得到第t帧图像的在线模型Ht。
9.如权利要求8所述的装置，其特征在于，所述确定单元通过如下公式确定所述Bag集合的标签:
10.如权利要求6或7所述的装置，其特征在于，所述装置还包括: 构造模块，用于通过第一帧图像构造所述在线模型Htl、通用模型Htjff和特定模型Hm。
【文档编号】G06T7/20GK103778642SQ201310677149
【公开日】2014年5月7日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】田永鸿, 苏驰, 王耀威, 黄铁军 申请人:中安消技术有限公司, 北京大学