专利名称：基于半监督学习和随机蕨类分类器的目标跟踪方法
技术领域：
本发明涉及一种目标跟踪方法，具体涉及一种基于半监督学习和随机蕨类分类器的目标跟踪方法。
背景技术：
目标跟踪在视觉导航、行为识别、智能交通、环境监测、战场侦察、军事打击等众多领域有非常广泛的研究和应用。目前，经典的相关跟踪方法对于目标的缩放、旋转、遮挡等适应性不佳；研究比较热门的以SIFT为代表的不变性特征，SIFT算法通过计算多个尺度下不同窗口的高斯滤波处理图像来实现对目标的多尺度缩放、旋转、模糊等的鲁棒性，但其计算量大、复杂度高，难以满足实时处理需求；而均值漂移理论采用直方图作为特征并用核概率密度估计的方法实现目标跟踪，其虽然对目标的遮挡、旋转有一定鲁棒性，但对于大角度的旋转以及超平面旋转则效果不佳；以粒子滤波、卡尔曼滤波为代表的基于滤波理论的目标跟踪方法以滤波预测为核心思想，对目标的部分和全部遮挡有很好的鲁棒性，但是目标跟踪尚有很多问题，如目标的大尺度缩放、旋转、超平面旋转、光照变化、部分遮挡、模糊、目标在视场中消失后的重新捕获等；没有很好的完整的解决方案，随着对统计学习理论的研究和半监督学习理论在图像领域的应用，为本发明提供了灵感和技术支持，本发明所提出的方法从目标的建模、跟踪、检测，到联合、学习更新是一个完整的实现长期、稳定目标跟踪的构架，可以很好解决以上所有问题。发明内容
本发明为解决现有目标跟踪方法的计算量大、复杂度高，难以满足实时处理需求， 对于大角度的旋转以及超平面旋转效果差，并且在目标的大尺度缩放、旋转、超平面旋转、 超平面旋转、噪声、遮挡、粘连、摄像机抖动、模糊以及目标在视场中消失后的重新捕获等难题，提供一种基于半监督学习和随机蕨类分类器的目标跟踪方法。
基于半监督学习和随机蕨类分类器的目标跟踪方法，该方法由以下步骤实现
步骤一、在线模型初始化，对输入图像进行不同尺寸的S形窗口扫描，获得窗口图像的尺寸及位置，将得到的窗口图像尺寸大于阈值的保留，并计算保留的各个窗口图像与初始点选的目标的重叠率，取重叠率最大的窗口图像作为正实例，在重叠率小于阈值且方差大于阈值的窗口图像中随机取出多个窗口图像作为负实例，将得到的正实例和负实例进行图像规范化后加入在线模型；
步骤二、检测器初始化，生成多棵随机蕨类的相对位置，并对各棵蕨类的各特征值是正实例的数量、负实例的数量以及是正实例的后验概率初始化为O ;
步骤三、训练检测器，计算步骤一所述的不同尺寸的S形窗口扫描后保留的各个窗口图像与初始点选的目标的重叠率，取重叠率最大的多个窗口图像作为正实例，并计算所述正实例的窗口图像的随机蕨类的特征值；再对获得的正实例的窗口图像进行随机角度、随机位移、随机尺度的仿射变换并加入白噪声后计算各个窗口图像随机蕨类的特征值，取重叠率小于一定阈值并且方差大于正实例方差的窗口图像作为负实例，并计算所述负实例的随机蕨类特征值，将获得的正实例的随机蕨类特征值和负实例的随机蕨类特征值更新步骤二所述的各棵蕨类的各特征值是正实例的数量、是负实例的数量以及是正实例的后验概率；判断是否有新一帧图像，如果是，执行步骤四，如果否，执行步骤九；
步骤四、短期目标跟踪，首先对上一帧窗口图像在上一帧的目标位置进行横竖各十次采样，选出一百个点作为特征点，对本帧窗口图像采用基于Lucas-Kanade算法进行特征点匹配，找到上一帧窗口图像与本帧窗口图像匹配的特征点集，并计算匹配点间的归一化互相关系数以及所述归一化互相关系数的中值，取归一化互相关系数中大于中值的对应匹配点确定当前帧的窗口图像的目标位置和尺寸；
步骤五、跟踪有效性评估，对步骤四所述的短期目标跟踪获得的当前帧的窗口图像的目标位置对应的窗口图像进行规范化，并计算规范化后的窗口图像与在线模型的距离，计算当前帧的窗口图像的目标位置的置信度，如果置信度大于阈值则当前帧的窗口图像的目标位置有效，否则，该目标位置无效；
步骤六、检测器检测，计算步骤一获得的各个窗口图像的位置对应当前帧的窗口图像的随机蕨类特征值，并采用步骤三获得的随机蕨类特征值是正实例的后验概率进行加权计算，取计算结果大于阈值的窗口图像作为正实例，将所述正实例的窗口图像进行规范化后采用最近邻原则计算正实例的窗口图像的置信度，取置信度大于阈值的窗口图像作为检测结果；
步骤七、检测器检测结果与短期目标跟踪结果的联合，分四种情况进行处理
第一种情况、短期目标跟踪结果和检测器检测的结果均有输出，则对短期目标跟踪的结果和检测器检测的结果进行聚类，判断聚类结果是否为一个类，如果是，并且该类与短期目标跟踪结果的重叠率小于阈值，阈值为O. 5，并且聚类结果的置信度大于短期跟踪结果的置信度，则返回步骤二，并将跟踪系统的有效性置O ;如果否，采用检测器检测结果中与短期目标跟踪结果重叠率大于阈值的窗口图像与短期目标跟踪结果进行加权平均，获得当前帧的窗口图像的目标位置；
第二种情况、短期目标跟踪有结果输出，检测器无结果输出，将短期目标跟踪的结果和有效性分别作为跟踪系统获得的当前帧的窗口图像的目标位置及有效性；
第三种情况、短期目标跟踪无结果输出，检测器有结果输出，对检测器的检测结果进行聚类，如果结果为一类，采用检测器检测的结果对跟踪系统重新初始化；
第四种情况、短期目标跟踪和检测器均无结果输出，不进行任何处理；
步骤八、学习并更新训练集，当跟踪系统的有效性为I时，计算步骤七获得的短期目标跟踪结果的置信度和对应窗口图像位置的方差，并进行行为约束，若满足方差大于正实例窗口图像的方差、置信度大于阈值的学习更新条件，所述阈值为O. 5，则进行学习更新;
步骤九、窗口图像的输出显不，判断是否是最后一巾贞，如果是，结束；如果否，返回执行步骤四。
本发明的有益效果本发明所述的基于半监督学习和随机蕨类分类器的目标跟踪方法，是一个完整的目标跟踪解决方案，在实际的视频监控、行为分析、智能交通、电子警察、精确制导等领域有广阔的应用；使用本跟踪方法，用户可以很好的解决当前跟踪算法中的经典难题，实现对复杂背景下长期、稳定、精确的目标跟踪，比如场景中目标大尺度缩放、 旋转、超平面旋转、光照变化、遮挡、粘连、模糊等问题；并具有在全视场实时搜索能力，特别对于目标忽然变轨或全部阻塞造成在视场中消失后又重新出现有快速捕获的能力，同时由于是基于稳定特征点的像素级跟踪，目标的尺寸、速度、方向都可以准确计算，形成稳定的目标轨迹及目标的全视角在线模型。
图I为本发明所述的基于半监督学习和随机蕨类分类器的目标跟踪方法的流程图。
具体实施方式
具体实施方式
一、结合图I说明本实施方式，基于半监督学习和随机蕨类分类器的目标跟踪方法，本方法通过建立目标的全视角在线模型，通过跟踪、检测及其联合得到目标的位置，并进行学习后对检测器及在线模型更新，该方法由以下步骤实现
一、在线模型初始化，对输入图像进行不同尺度的S形窗口扫描，将得到的尺寸大于阈值(thw=24)的窗口保留，并计算保留的各窗口图像与初始点选的目标的重叠率，取重叠率最大的窗口图像作为正实例，在重叠率小于一定阈值(overlap〈0. 2)且窗口图像的方差大于一定阈值(overlap〈0. 2)的所有窗口图像中随机取出若干个窗口图像(n=100)作为负实例，将得到的正、负实例进行图像规范化后加入在线模型；
二、检测器初始化，生成随机蕨类的相对位置，并对各棵蕨类的各特征值是正实例的数量、是负实例的数量以及是正实例的后验概率均初始化为O ;
三、训练检测器，计算不同尺度S形窗口扫描后保留的各窗口图像与初始点选的目标的重叠率，取重叠率最大的若干个窗口图像作为正实例计算其随机蕨类的特征值，将这些正实例窗口图像进行随机角度、随机位移、随机尺度的仿射变换并加入白噪声后计算其随机蕨类的特征值，并取重叠率小于一定(oVerlap〈0. 2)并且方差大于正实例窗口图像的方差的窗口图像作为负实例计算其随机蕨类特征值，用此处得到的随机蕨类特征值来更新各棵蕨类的各特征值是正实例的数量、是负实例的数量以及是正实例的后验概率；
四、短期目标跟踪，首先在上一帧图像对上一帧的目标位置处进行横竖各10次采样，选出一百个点作为特征点，对本帧图像采用基于Lucas-Kanade的特征点匹配，找到匹配的特征点集，并计算匹配点间的归一化互相关系数并计算其中值，取所有归一化互相关系数中大于中值的对应匹配点确定当前帧目标位置和尺度。
五、跟踪有效性评估，对“短期”目标跟踪得到的跟踪结果对应的窗口图像进行规范化，并计算其与在线模型的距离，以及其置信度，若置信度大于一定阈值(thc=0.65)则认为该跟踪结果有效，否则认为无效；
六、检测器检测，计算初始化时得到的各窗口位置对应在当前帧的窗口图像的随机蕨类特征值，并用之前得到的随机蕨类各特征值是正实例的后验概率进行加权投票，取投票结果大于阈值(thd=0.5)的窗口图像作为正实例，将这些窗口图像进行规范化，而后用最近邻原则计算其置信度，取置信度大于阈值(thdc=0.65)的作为检测结果；
七、检测与跟踪的联合，将分四种情况进行处理第一种情况“短期”目标跟踪和检测器检测均有输出，则对检测到的结果进行聚类，若聚类结果为一个类，并且这个类与 “短期”目标跟踪结果的重叠率小于阈值(thdo=0. 5)，并且其置信度大于“短期”跟踪的置信度，那么跟踪系统将被重新初始化，并将跟踪系统的有效性置O ;若聚类结果不是一个类， 那么利用检测结果中与“短期”跟踪结果重叠度大于一定阈值(thtdo=0.7)的块与“短期” 跟踪结果进行加权平均，得到当前帧的目标位置。
第二种情况跟踪模块有结果，而检测模块无输出结果，此时，将跟踪器的结果和有效性分别作为跟踪系统得到的当前帧目标位置及有效性。
第三种情况跟踪模块无结果，检测器有结果，那么也是对检测结果进行聚类，若结果为一类，那么利用此结果对跟踪系统重新初始化。
第四种情况跟踪模块和检测模块均无输出结果，此模块不进行任何处理。
八、学习并更新训练集，当跟踪系统的有效性为I时，则计算联合得到的目标跟踪结果的置信度、对应位置的方差，并进行行为约束，若这些均满足学习更新条件则进行学习更新。
本实施方式所述的将窗口图像进行规范化指的是将图像的灰度取值拉伸至 0 255。
通过本实施方式的检测与跟踪的联合得到的结果就是目标在当前帧的位置，从而可以计算出目标的尺寸、速度、方向，在线模型中正实例即目标的全视角模型，每帧随着目标在线模型不断更新。
本发明所述的实施方法，并不仅限于本实施例，凡采用同等替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。
权利要求
1.基于半监督学习和随机蕨类分类器的目标跟踪方法，其特征是，该方法由以下步骤实现 步骤一、在线模型初始化，对输入图像进行不同尺寸的S形窗口扫描，获得窗口图像的尺寸及位置，将得到的窗口图像尺寸大于阈值的保留，并计算保留的各个窗口图像与初始点选的目标的重叠率，取重叠率最大的窗口图像作为正实例，在重叠率小于阈值且方差大于阈值的窗口图像中随机取出多个窗口图像作为负实例，将得到的正实例和负实例进行图像规范化后加入在线模型； 步骤二、检测器初始化，生成多棵随机蕨类的相对位置，并对各棵蕨类的各特征值是正实例的数量、负实例的数量以及是正实例的后验概率初始化为O ; 步骤三、训练检测器，计算步骤一所述的不同尺寸的S形窗口扫描后保留的各个窗口图像与初始点选的目标的重叠率，取重叠率最大的多个窗口图像作为正实例，并计算所述正实例的窗口图像的随机蕨类的特征值；再对获得的正实例的窗口图像进行随机角度、随机位移、随机尺度的仿射变换并加入白噪声后计算各个窗口图像随机蕨类的特征值，取重叠率小于一定阈值并且方差大于正实例方差的窗口图像作为负实例，并计算所述负实例的随机蕨类特征值，将获得的正实例的随机蕨类特征值和负实例的随机蕨类特征值更新步骤二所述的各棵蕨类的各特征值是正实例的数量、是负实例的数量以及是正实例的后验概率；判断是否有新一帧图像，如果是，执行步骤四，如果否，执行步骤九； 步骤四、短期目标跟踪，首先对上一帧窗口图像在上一帧的目标位置进行横竖各十次采样，选出一百个点作为特征点，对本帧窗口图像采用基于Lucas-Kanade算法进行特征点匹配，找到上一帧窗口图像与本帧窗口图像匹配的特征点集，并计算匹配点间的归一化互相关系数以及所述归一化互相关系数的中值，取归一化互相关系数中大于中值的对应匹配点确定当前帧的窗口图像的目标位置和尺寸； 步骤五、跟踪有效性评估，对步骤四所述的短期目标跟踪获得的当前帧的窗口图像的目标位置对应的窗口图像进行规范化，并计算规范化后的窗口图像与在线模型的距离，计算当前帧的窗口图像的目标位置的置信度，如果置信度大于阈值则当前帧的窗口图像的目标位置有效，否则，该目标位置无效； 步骤六、检测器检测，计算步骤一获得的各个窗口图像的位置对应当前帧的窗口图像的随机蕨类特征值，并采用步骤三获得的随机蕨类特征值是正实例的后验概率进行加权计算，取计算结果大于阈值的窗口图像作为正实例，将所述正实例的窗口图像进行规范化后采用最近邻原则计算正实例的窗口图像的置信度，取置信度大于阈值的窗口图像作为检测结果; 步骤七、检测器检测结果与短期目标跟踪结果的联合，分四种情况进行处理 第一种情况、短期目标跟踪结果和检测器检测的结果均有输出，则对短期目标跟踪的结果和检测器检测的结果进行聚类，判断聚类结果是否为一个类，如果是，并且该类与短期目标跟踪结果的重叠率小于阈值，阈值为0. 5，并且聚类结果的置信度大于短期跟踪结果的置信度，则返回步骤二，并将跟踪系统的有效性置0;如果否，采用检测器检测结果中与短期目标跟踪结果重叠率大于阈值的窗口图像与短期目标跟踪结果进行加权平均，获得当前帧的窗口图像的目标位置； 第二种情况、短期目标跟踪有结果输出，检测器无结果输出，将短期目标跟踪的结果和有效性分别作为跟踪系统获得的当前帧的窗ロ图像的目标位置及有效性； 第三种情况、短期目标跟踪无结果输出，检测器有结果输出，对检测器的检测结果进行聚类，如果结果为ー类，采用检测器检测的结果对跟踪系统重新初始化； 第四种情况、短期目标跟踪和检测器均无结果输出，不进行任何处理； 步骤八、学习并更新训练集，当跟踪系统的有效性为I吋，计算步骤七获得的短期目标跟踪结果的置信度和对应窗ロ图像位置的方差，并进行行为约束，若满足方差大于正实例窗ロ图像的方差、置信度大于阈值的学习更新条件，所述阈值为O. 5，则进行学习更新； 步骤九、窗ロ图像的输出显示，判断是否是最后ー帧，如果是，结束；如果否，返回执行步骤四。
2.根据权利要求I所述的基于半监瞀学习和随机蕨类分类器的目标跟踪方法，其特征在于，步骤一所述的在重叠率小于阈值且方差大于阈值的窗ロ图像中随机取出多个窗ロ图像作为负实例，所述阈值〈O. 2。
3.根据权利要求I所述的基于半监瞀学习和随机蕨类分类器的目标跟踪方法，其特征在于，步骤五所述的如果置信度大于阈值则当前帧的窗ロ图像的目标位置有效，所述阈值为 O. 65。
4.根据权利要求I所述的基于半监瞀学习和随机蕨类分类器的目标跟踪方法，其特征在于，步骤六所述的取结果大于阈值的窗ロ图像作为正实例中的阈值为0.5。
5.根据权利要求I所述的基于半监瞀学习和随机蕨类分类器的目标跟踪方法，其特征在于，步骤七所述的采用检测器检测结果中与短期目标跟踪结果重叠率大于阈值的窗ロ图像与短期目标跟踪结果进行加权平均，获得当前帧的窗ロ图像的目标位置中的阈值为O. 7。
全文摘要
基于半监督学习和随机蕨类分类器的目标跟踪方法，涉及一种目标跟踪方法，解决现有目标跟踪方法的计算量大、复杂度高，难以满足实时处理需求，对于大角度的旋转以及超平面旋转效果差等难题，本发明方法可以处理场景中目标尺度变化、旋转、超平面旋转、噪声、遮挡、粘连、摄像机抖动、模糊等难题，形成稳定的目标轨迹及目标的全视角在线模型。该跟踪方法包括在线模型初始化，生成正、实例，并对其进行规范化；检测器初始化，；训练检测器；“短期”跟踪器跟踪；跟踪有效性评估；检测器检测；检测与跟踪的联合；学习并更新训练集。该方法是完整的目标跟踪解决方案，在实际的视频监控、行为分析、智能交通、电子警察、精确制导等领域有广阔的应用。
文档编号G06K9/62GK102982340SQ201210428369
公开日2013年3月20日 申请日期2012年10月31日 优先权日2012年10月31日
发明者高文, 郝志成, 鲁健峰, 朱明 申请人:中国科学院长春光学精密机械与物理研究所