一种实时的视频多类多目标跟踪方法与流程

技术特征：

1.一种实时的视频多类多目标跟踪方法，其特征在于，包括如下步骤：

s1、视频帧的预处理，比如超像素分割；

s2、基于超像素块设计目标检测器并进行线下训练，充分利用运动特征从而检测到视频中所有运动的目标；

s3、利用训练好的检测器对给定的视频进行目标检测；

s4、设计目标跟踪模型，并对视频中的目标进行跟踪；

s5、轨迹的可视化。

2.根据权利要求1所述的一种实时的视频多类多目标跟踪方法，其特征在于，所述步骤s1中，采用基于k-means聚类方法的SLIC超像素分割方法对视频帧进行预处理，进一步包括：

s11、初始化聚类中心，确定生成超像素的个数，假设图像内有N个像素点，则超像素的大小为N/K，聚类中心之间的距离为

s12、迭代聚类，每一次迭代中，在包含聚类中心的2S*2S大小区域内搜素，使所有像素都和一个最邻近的聚类中心联系在一起，当所有像素都和最近的聚类中心建立了联系，接下来更新聚类中心，新的聚类中心为当前所有属于这一聚类中心的像素的特征向量的均值，记当前聚类中心和之前聚类中心之间的残留偏差为E，重复迭代至偏差小于规定的阈值；

s13、后续处理，通过把不连续的孤立点和最邻近的超像素联系起来，保证连通性。

3.根据权利要求1所述的一种实时的视频多类多目标跟踪方法，其特征在于，所述s2步骤中，检测出视频中所有运动的目标，进一步包括：

s21、背景建模，在场景中存在运动目标的情况下获得背景图像；

s22、特征提取，分别提取背景和前景超像素块的颜色直方图特征和光流运动特征，并将两种特征进行加权处理；

s23、线下训练，利用s22步中提取的特征进行前景和背景分类器的训练，得到一个联级的boosted分类器，训练的负样本是背景，正样本是前景，所有的样本首先被归一化为同样的大小；

s24、噪声分类器，s23步训练完成后，可以区分背景和前景，此时的前景就是视频中所有运动的区域，但这时可能会有噪声，比如阴影等。训练一个噪声二分类分类器，负样本是噪声，正样本是目标，从而能够区分出前景中的目标和噪声。

4.根据权利要求1所述的一种实时的视频多类多目标跟踪方法，其特征在于，所述步骤s3中，利用s2训练好的分类器，对给定的视频序列进行目标检测，记下检测区域的位置、大小等信息。

5.根据权利要求4所述的一种实时的视频多类多目标跟踪方法，其特征在于，所述步骤s4进一步包括：

s41、轨迹初始化，利用前5帧的目标检测结果(detection)初始化轨迹，具体操作是，计算前5帧中相邻帧之间所有detection的特征相似度，主要包括颜色、速度和尺寸特征。利用匈牙利算法，根据计算出来的相似度进行detection的匹配，从而形成初始轨迹；

s42、位置预测，在处理当前帧时，先利用空间上下文信息，使用贝叶斯模型进行目标的位置预测，确定目标可能出现的位置范围，从而减小匹配范围，降低算法复杂度；

s43、区域分块，根据s42的预测结果，如果两个目标的预测位置的重叠率超过了70％，则将这两个目标划所对应的tracklets(detection不断关联形成轨迹，中间产生的结果称为tracklet)分到同一个区域块中，最终将视频帧划分成多个不同的区域块，以备后续关联；

s44、局部关联，该步是分别处理s43产生的不同区域块里面包含的tracklets，在该区域块范围内，计算所有tracklets和detections的相似度，利用匈牙利算法进行最优关联。依次对视频帧中所有的区域块进行如上处理；

s45、全局关联，该步处理s44中没有关联成功的tracklets，此时不再局限于各个区域块内，而是将整个帧中剩余的tracklets放在一起处理。计算s44没有关联成功的tracklets和detections的相似度，然后利用匈牙利算法进行最优匹配；

s46、遮挡处理，如果目标被严重遮挡，此时目标会被丢失，轨迹被中断。我们s42中利用贝叶斯进行了位置预测，也就是说目标就算被严重遮挡，也会有一个大体的预测位置，该位置可以依次预测下去，但是预测帧数太多就会发生漂移，所以我们在此设定一个阈值，超过一定帧数，目标还没有出现而只有预测值，此时不再记录该目标对应的tracklet，终止该tracklet成为一条完整的轨迹。如果该目标在规定帧数内又出现了，则继续对该目标进行跟踪。

6.根据权利要求1所述的一种实时的视频多类多目标跟踪方法，其特征在于，所述步骤s5中，对目标的位置和轨迹进行绘制，框出目标的位置，画出他们的轨迹和标号。