无监督多目标检测跟踪方法及其存储装置与摄像装置与流程

本发明涉及目标跟踪领域，尤其涉及基于颜色的目标跟踪方法方面，更具体地说，涉及一种无监督多目标检测跟踪方法及其存储装置与摄像装置。

背景技术：

视频目标检测跟踪是计算机视觉等领域的研究热点，在视频监控、虚拟现实、人机交互、自主导航等应用中具有重要的理论研究意义和实际价值。目前，大部分视频目标检测跟踪系统包括了目标定位、目标数据关联跟踪及轨迹生成三个模块。其中数据关联跟踪算法已随着基于检测的跟踪方法的深入研究取得了巨大的突破。但是，目标定位模块仍大量采用离线学习算法训练分类器实现。当面对不同的监控场景时，由于成像条件、光照、目标形变均不同，需重新采集样本训练不同场景的目标检测器,耗费大量人力、物力。

近年来,在线学习算法已被广泛用于提高检测模型的自适应能力。但是，基于以下两个问题，这种在线学习算法很难用于多场景多成像条件下的视频目标检测跟踪系统:

(1)需人工采集、标注部分训练样本在线学习目标检测系统的初始目标模型需要通过人工采集、标注的少量样本训练(人工标注样本数通常为200-400个)，再通过在线学习逐渐提高该模型的检测精度。相对于离线训练模型,降低了人工标注样本个数。但是，当监控场景众多时，人工标注每个场景的初始训练样本仍需耗费大量人力物力。近年来，半监督学习，迁移学习以及弱监督学习已被用于降低人工标注工作量。但如何实现无需人工标注的自主学习模型,仍然是当前的研究热点。

(2)在线学习样本的自主获取、标注方法基于在线学习的目标检测系统通常要求自主获取在线学习的新样本，并对其类别进行自动标注，否则无法实现检测系统的智能化。但是如何对获得的新样本进行自动的、正确的标注仍然没有很好的解决办法，而训练样本标注的正确与否决定了整个训练过程的有效性，这是在线学习的难点。

目前，样本自动获取、标注方法分为以下几种：(1)基于协同训练的方法；(2)基于背景建模的方法；(3)基于产生式模型的方法；(4)基于跟踪的方法。在协同训练的方法中,同时初始化两个分类器，共同训练，互相为对方标注训练样本；基于背景建模的方法通过背景模型标注在线学习样本；基于产生式模型的方法通过重构误差验证检测结果，从而实现在线学习样本的获取和标注；基于跟踪的方法通过获取目标移动轨迹识别漏检及虚警；并分别作为在线学习的正负样本训练目标检测模型。但是，以上方法对分类面附近的样本(即困难样本)标注错误率较高，其分类正确率难以和手工标注的离线学习分类器比较。

技术实现要素：

本发明要解决的技术问题在于，针对上述的现有的基于协同训练的方法、基于背景建模的方法、基于产生式模型的方法及基于跟踪的方法对分类面附近的样本(即困难样本)标注错误率较高，其分类正确率难以和手工标注的离线学习分类器比较的技术缺陷，提供了一种无监督多目标检测跟踪方法及其存储装置与摄像装置。

根据本发明的其中一方面，本发明为解决其技术问题，提供了一种无监督多目标跟踪检测方法，包括以下步骤：

s1、对获取的图像数据的每一帧分别进行仿射变换以构建训练样本集，仿射变换是根据人为选定的第一帧的框选目标进行的，框选目标同时包括人为选定的待跟踪目标形成的正样本和人为选定的非待跟踪目标形成的负样本；

s2、根据预设的置信度阈值β和自适应阈值θ，采用osf分类器对第一帧之后的图像数据进行分类，分类出每一帧的osf正样本、osf负样本以及osf困难样本，其中分类时，样本标签的分布概率大于(β+θ)时形成所述osf正样本，小于(β-θ)时形成所述osf负样本，否则形成所述osf困难样本；

s3、通过isvm分类器对osf困难样本进行分类；

s4、以isvm分类器分类后形成的新的θ更新步骤s2中自适应阈值θ，反复进行步骤s2、s3直至达到自适应阈值θ收敛到预设程度，所述新的θ定义为：θ＝1–ξλk，ξ为敏感系数，λk衡量随机蕨分类器性能，mtol表示需要标注的所有困难样本个数,mr为随机蕨和svm将困难样本分为同一类的个数；

s5、利用步骤s4训练完成之后的osf分类器和isvm分类器，对获取的视频目标中的目标进行跟踪检测。

根据本发明的另一方面，本发明为解决其技术问题，还提供了一种存储装置，存储有上述任一项所述的无监督多目标跟踪检测方法。

根据本发明的再一方面，本发明为解决其技术问题，还提供了一种摄像装置，该摄像装置采用上述的任一项的无监督多目标跟踪检测方法进行无监督多目标跟踪检测。

实施本发明的无监督多目标检测跟踪方法及其存储装置，在完全不需要人为干预的情况下，本方法能自主训练分类器用于目标检测跟踪，只需在视频的第一帧中，用人为框选需要检测跟踪的目标和非待跟踪目标，本方法便能不断自主学习，逐步提高分类器性能，最终实现多目标检测与跟踪；检测过程中，绝大部分滑动窗由速度较快的osf分类器进行分类，能在保持较高的检测精度情况下进行实时视频目标检测。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的无监督多目标检测跟踪方法的流程图；

图2是本发明的osf分类器结构形成示意图；

图3是本发明的无监督多目标检测跟踪算法流程图；

图4是本发明的无监督多目标检测跟踪方法一实施例的流程图；

图5是本发明的检测结果图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图1所示，其为本发明的无监督多目标检测跟踪方法的流程图。在本实施例的一种无监督多目标跟踪检测方法，包括以下步骤：

s1、对获取的图像数据的每一帧分别进行仿射变换以构建训练样本集，仿射变换是根据人为选定的第一帧的框选目标进行的，框选目标同时包括人为选定的待跟踪目标形成的正样本和人为选定的非待跟踪目标形成的负样本；

s2、根据预设的置信度阈值β和自适应阈值θ，采用osf分类器对第一帧之后的图像数据进行分类，分类出每一帧的osf正样本、osf负样本以及osf困难样本，其中分类时，样本标签的分布概率大于(β+θ)时形成所述osf正样本，小于(β-θ)时形成所述osf负样本，否则形成所述osf困难样本；

s3、通过isvm分类器对osf困难样本进行分类；

s4、以isvm分类器分类后形成的新的θ更新步骤s2中自适应阈值θ；

上述新的θ定义为：θ＝1–ξλk，ξ为敏感系数，λk衡量随机蕨分类器性能，mtol表示需要标注的所有困难样本个数,mr为随机蕨和svm将困难样本分为同一类的个数；

s5、判断自适应阈值θ收敛到预设程度，若是则进行步骤s6，否则跳转至步骤s2；

s6、利用步骤s4训练完成之后的osf分类器和isvm分类器，对获取的视频目标中的目标进行跟踪检测。本步骤具体为：利用步骤s5训练完成之后的osf分类器和isvm分类器，采用滑动窗搜索的方式对图像数据进行处理，利用osf分类器进行目标检测，将检测结果分为正样本、负样本及困难样本，运用isvm分类器对困难样本进一步分类，并对正确的检测结果进行跟踪，由跟踪进一步收集正负样本作为待处理的图像数据，进一步利用步骤s1-s5进行分类器的更新。对目标进行跟踪检测时采用基于颜色特征的目标跟踪算法cn进行跟踪。

osf分类器：

参考图2，osf分类器由j个随机蕨组成，每个随机蕨fj由n个随机的二值特征组成fj＝(fj1，fj2，...，fjn)，对于任意的n∈[1，n]，且n为整数，每个二值特征fjn取决于图像帧x中随机选取的djn,1与djn,2两点像素强度大小：

图像帧x在fj上的输出为fj(x)＝z，其中x的二值特征z＝(fj1，fj2，...，fjn)2+1,z∈{1,2,...,2ⁿ}，随机蕨分类器对x分类置信度为:

conf(x)＝p(y＝+1|fj1，fj2，...，fjn)

式中，y为osf分类器中x的分类标签，取值范围为{+1,-1}，

osf分类器的形成步骤包含：

(1)通过多个带有分类标签的图像帧进行训练，进行最大似然估计得出概率分布:

式中，表示在第j个随机蕨中输出为z的正样本个数，表示在第j个随机蕨中输出为z的负样本个数；

(2)初始化m组随机蕨，选取每组随机蕨中概率分布的统计直方图间的巴氏距离最小的随机蕨组和，形成osf分类器：

式中，表示从第m组随机蕨中选取出的第k个随机蕨，每个随机蕨上正负样本对应的统计直方图间的巴氏距离为：

步骤s2中的所述分布概率为所述m组随机蕨的p(y＝+1|fj(x)＝z)的平均概率。

isvm分类器：

svm分类器是一种常见的有监督分类器,但是为了实现全自主学习的目标检测跟踪系统,本发明采用一种无监督迭代svm分类器以构建出isvm分类器，具体步骤如下:

(1)根据仿射变换产生的训练样本集,提取hog特征初始化svm分类器

(2)对osf分类器产生的困难样本集u＝{xn+1,xn+2,...，xn+r}分类得到样本标签及其分布概率

(3)选取与的样本更新svm分类器，其中tp与tn分别为自定义正、负阈值；

(4)用步骤(3)中更新后的svm分类器再次对u分类，得到新的样本标签l¹与分数

(5)选取与的样本更新svm分类器；

(6)用步骤(5)中更新后的svm分类器再次对u分类，得到新的样本标签l²与分数

……

当相邻两次的样本标签一致,则停止迭代，得到困难样本集的最终的分类器作为isvm分类器，k的含义为直至经过k次迭代后样本标签不再发生变化。实验中，迭代25次均可收敛。

图3是本发明的无监督多目标检测跟踪算法流程图，针对上述步骤s2-s5中osf分类器和isvm分类器进行的交替更新，采用无监督学习方式进行处理。其中osf分类器速度较快，用于整帧进行搜索，根据osf分类器计算的分布概率，将检测跟踪结果xi标注为正样本spos、负样本sneg和困难样本shard，再由isvm分类器对困难样本进行学习。

在osf分类器分类进行分类时，可采用下述公式进行分类，其中β、θ均具有预设值，hfern为分布概率。

osf分类器的θ后续采用isvm分类器中的θ进行更新，在isvm分类器中θ定义为:

θ＝1–ξλk(9)

ξ为敏感系数，λk衡量随机蕨分类器性能，通过

计算得到。mtol表示需要标注的所有困难样本个数，mr为随机蕨和svm将困难样本分为同一类的个数。

式中xi∈shard。

在步骤s6中采用cn(colorname)跟踪算法，cn跟踪器主要包括分类器训练模型更新和自适应颜色选取两部分。训练模型由学习目标表观模型和分类器参数a^p两部分组成,设x为m×n的包含目标区域，通过循环采样得稠密样本xm，n，m∈{0,1,…,m-1}，n∈{0,1,…,n-1}，将样本用高斯函数标记得到带标签的样本(xm，n,ym，n)训练分类器。训练过程中,通过不断调整ω使代价函数最小:

其中,p为当前帧索引,βj为第j帧图像所占权重,φ()是通过内积核<φ(f),φ(g)>＝k(f,g)定义的映射到hilbert空间的函数,常数λ为正则化参数,y为以目标中心点为中心的二维高斯函数。

当a^p满足

时,代价函数最小。其中，y＝fourier(y),a＝fourier(a).

的训练模型更新方式如下:

式中,γ为学习速率.

cn跟踪器将rgb投影到黑、蓝、棕、灰、绿、橙、粉、紫、红、白、黄11维特征空间得到颜色特征。为了提高算法运算速度，利用pca主成分分析思想进行降维处理。降维后样本可表示为用重构最小代价函数作为决策函数,得到降维映射矩阵bp：

其中，bj为投影矩阵bp的列向量。通过更新训练模型计算响应分数

其中，uz＝fourier(uz)，响应分数最大的位置即为新目标的中心位置。

参考图4，本发明的无监督多目标检测跟踪方法一实施例的流程图，其中跟踪队列表示要跟踪的目标形成的队列，等待队列表示要等待跟踪的目标形成的队列。

具体的检测结果可参见图5。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。