一种基于监控视频的车型识别与跟踪方法及系统的制作方法
【专利摘要】本发明提出了一种基于监控视频的车型识别与跟踪方法及系统，所述方法包括：A、背景建模和前景检测：将视频序列中相对静止不动的部分作为背景与包含运动物体的前景分离开；B、车辆图像特征提取：提取图像中的局部特征描述符，采用SIFT特征描述符，因为该算法能较好的表达图像的内容及特点，对图像噪声和仿射变化有一定的稳定性；C、车辆图像特征编码：将图像上得到的数量不等的局部特征描述符编码为定长向量，以适合于分类器的输入；D、车辆图像识别：选择和设计合适的分类器对图像的特征向量进行分类，最后达到识别的目的；E、车辆图像跟踪：对识别为某一车型识别图像区域进行跟踪，避免重复的前景检测和识别，提高车型识别系统的运行速度。
【专利说明】
一种基于监控视频的车型识别与跟踪方法及系统
技术领域
[0001] 本发明属于图像识别领域，尤其涉及一种基于监控视频的车型识别与跟踪方法及 系统，所述方法及系统使用局部特征描述符作为最原始输入。
【背景技术】
[0002] 智能交通系统（Intelligent Transportation System，ITS)是综合运用信息技 术、通讯技术以及计算机技术等对交通运输进行全方位、高效、实时、准确的监控。于上世纪 80年代被提出，最初用于车辆导流系统。随着社会经济和城镇化的快速发展，人们生活收入 水平得到明显提高，私家车逐渐成为出行的必备工具。这对交通运输管理带来了压力，追 尾、超车、闯红灯等交通事故越来越多，汽车排放的大量尾气对城市空气造成了严重影响， 因此对ITS的研发具有越来越重要的实用价值。世界主要发达国家陆续开始对ITS的研发， 协助城市管理者进行车流疏导，以改善城市交通拥挤的现状。目前，随着其他一些国家和地 区的加入，智能交通系统作为交通运输学科的前沿领域正逐步发展为一个新的ITS产业。新 世纪以来，国民经济得到飞速发展的情况下，我国人均车辆拥有量得到稳步提高。机动车的 大量增加，也带来了很多交通问题，如:超载、汽车超速、闯红灯甚至出现一些车毁人亡的悲 剧，给国家和人民带来了重大的生命和财产损失。于是，国家开始逐步重视ITS的研发与应 用，随着国家经济的发展，政府的大力投入，同时社会城市化发展，我国智能交通技术的应 用前景广阔潜力巨大。
[0003] 车型识别作为ITS的关键组成部分，有着非常广泛的应用，如：自动收费系统，在公 路和停车场收费领域，车型识别与车牌识别相结合，不仅可以提高识别的准确率，而且还可 以防止"倒卡，换卡"等逃避收费的行为。在公安刑事监控和侦查中，可以结合车型识别来快 速点位嫌疑车辆的位置和行踪，帮助追捕嫌犯。车型与车牌识别相结合将有助于建立更加 高效车辆管理系统。车型识别也可以应用于车辆的防盗管理系统，防止不法分子盗取车辆。 使用车型识别对公路交通流量的统计与分析，做到对道路状况的实时监控和调度，防止交 通堵塞、交通事故的出现。自动停车系统也可以利用车型识别，对停车位作更好地规划与运 用等。同时也可以用于自动或辅助安全驾驶领域。车型识别技术和车牌识别一样图像识别 领域的学术问题，但它也是一个具有很强实用价值的课题，在公共安全和城市交通管理等 方面有很广阔的应用潜力。
[0004] 由于基于监控视频的车型识别问题，很大程度上受到监控环境的影响。当监控环 境恶劣时，视频图像的质量就会降低，这可能使前景物体检测和识别出现错误。另一图像处 理算法方面存在的缺陷，也是基于监控视频车型识别的发展的重要瓶颈。但是随着近年来 新的背景建模和图像识别算法的提出，以及计算机性能和速度的提升，使得基于监控视频 的车型识别系统推广于工业应用的可能性有了很大提高。所以基于监控视频的检测和识别 技术必将在ITS领域得到广泛应用。基于新的背景建模和识别算法的视频车型检测与识别 算法已引起国内外学者的广泛关注，也形成了很多研究热点。
【发明内容】
[0005] 本发明的目的在于提供一种基于监控视频的车型识别与跟踪方法及系统，旨在解 决现有技术中存在的问题。
[0006] 本发明通过以下技术方案实现:一种基于监控视频的车型识别与跟踪方法，所述 方法包括以下步骤：
[0007] A、背景建模和前景检测：将视频序列中相对静止不动的部分作为背景，将所述背 景与包含运动物体的前景分离开；
[0008] B、车辆图像特征提取:提取图像中的局部特征描述符，所述方法采用SIFT特征描 述符，因为该算法能较好的表达图像的内容及特点，对图像噪声和仿射变化有一定的稳定 性；
[0009] C、车辆图像特征编码:将图像上得到的数量不等的局部特征描述符编码为定长向 量，以适合于分类器的输入；
[0010] D、车辆图像识别：选择和设计合适的分类器对图像的特征向量进行分类，最后达 到识别的目的；
[0011] E、车辆图像跟踪:对识别为某一车型识别图像区域进行跟踪，避免重复的前景检 测和识别，提高车型识别与跟踪系统的运行速度。
[0012] 作为本发明的进一步改进，所述背景建模与前景检测步骤包括以下步骤：
[0013] A1、背景模型的初始化:根据第一帧图像选取像素点周围的像素作为该点的初始 背景样本集；
[0014] A2、前景检测:将新的像素值与该点的背景样本集比较，若像素值的空间邻域和颜 色值邻域，在背景样本集中的点超过第一阈值，则判断其为背景，否则为前景；
[0015] A3、背景模型更新：当一个像素值被判定为背景时，它有一定的概率替换该像素点 及其邻域的像素点的背景样本集，对于一个一直判定为前景的像素点，当计数大于第二阈 值就将其强制设定为背景，同时该像素值也有机会去更新其背景和邻域像素的背景样本 集。
[0016] 作为本发明的进一步改进，所述车辆图像特征提取与编码步骤包括以下步骤：
[0017] B1、连通分量分析:对图像中前景物体不是一个连通区域的情形，使用多项式拟合 或者凸包拟合的方法，得到一个包含前景物体的联通区域；
[0018] B2、提取图像的局部特征描述符，所述方法采用SIFT特征描述符，即首先进行特征 点检测，然后对得到的特征点计算梯度向量，作为该区域的描述；
[0019] B3、对提取到的128维SIFT特征向量降维至80维；
[0020] B4、利用混合高斯模型拟合训练集上所有的SIFT特征描述符的分布;具体求解算 法使用最大化期望算法；
[0021] B5、求得的混合高斯模型关于模型参数权重、均值和方差的梯度向量；
[0022] B6、对得到的梯度向量进行归一化处理，并保存混合高斯模型的相关参数，确保对 新来的测试集采用同样的编码方式。
[0023]作为本发明的进一步改进，所述车辆图像识别与跟踪步骤包括以下步骤：
[0024] C1、利用线性核的支持向量机，学习训练集上编码后的特征向量模型；
[0025] C2、保存学习到的模型，对于新来的图像，加载训练时期保存的混合高斯模型参 数，并将新测试图像提取SIFT局部特征描述符编码为定长向量；
[0026] C3、加载支持向量机模型，对新测试图像的特征向量进行分类识别；
[0027] C4、将识别为某车型的新的前景区域作为跟踪器的初始区域；
[0028] C5、计算得到一个目标的置信图；
[0029] C6、对于新的视频帧，利用前一帧的上下文信息，卷积图像得到一个目标的置信 图，值最大的位置就是我们的目标所在地。
[0030] 作为本发明的进一步改进，所述方法采用的局部特征描述符，对角度很好的稳定 性。
[0031] 本发明的另一目的在于提供一种基于监控视频的车型识别与跟踪系统，所述车型 识别与跟踪系统包括：
[0032] 背景建模和前景检测模块，用于将视频序列中相对静止不动的部分作为背景，将 所述背景与包含运动物体的前景分离开；
[0033] 车辆图像特征提取模块，用于提取图像中的局部特征描述符，所述装置法采用 SIFT特征描述符；
[0034] 车辆图像特征编码模块，用于将图像上得到的数量不等的局部特征描述符编码为 定长向量，以适合于分类器的输入；
[0035] 车辆图像识别模块，用于选择和设计合适的分类器对图像的特征向量进行分类， 最后达到识别的目的；
[0036] 车辆图像跟踪模块，用于对识别为某一车型识别图像区域进行跟踪，避免重复的 前景检测和识别，提高车型识别与跟踪系统的运行速度。
[0037] 作为本发明的进一步改进，所述背景建模和前景检测模块包括：
[0038] 背景模型初始子模块，用于对像素点空间邻域的像素值随机采样，来生成该像素 点的初始背景样本集；
[0039]前景检测子模块，用于将新的像素值与该点的背景样本集比较，若像素值的空间 邻域和颜色值邻域，在背景样本集中的点超过第一阈值，则判断其为背景，否则为前景；
[0040] 背景模型更新子模块，用于当一个像素值被判定为背景时，它有一定的概率替换 该像素点及其邻域的像素点的背景样本集，对于一个一直判定为前景的像素点，当计数大 于第二阈值就将其强制设定为背景，同时该像素值也有机会去更新其背景和邻域像素的背 景样本集。
[0041] 作为本发明的进一步改进，所述车辆图像特征提取与编码模块包括：
[0042] 连通分量分析子模块，用于采用凸包或者多项式拟合的方式，对非连通的前景区 域进行分块；
[0043] 车辆图像局部描述符提取子模块，用于进行图像尺度空间极值检测，筛选极值点， 计算特征点主方向，最后根据这个主方向进行特点描述，得到SIFT特性描述符；
[0044] 车辆图像特征编码子模块，用于利用混合高斯模型拟合训练集上所有SIFT特征描 述符分布，求得到的模型关于模型参数权值、均值和协方差的梯度向量，将其作为图像的特 征向量。
[0045] 作为本发明的进一步改进，所述车辆图像识别与跟踪模块包括：
[0046] 支持向量机(SVM)的训练与保存子模块，用于选择线性核的SVM，并设置合适的SVM 参数进行交叉训练得到最好的模型，将训练好的SVM模型保存到指定文件；
[0047] 新前景区域的识别子模块，用于将进行特征提取和编码，输入到SVM中进行识别； [0048]车辆图像跟踪子模块，用于对识别为某一车型的图像持续跟踪，并更新其在新一 帧中的位置，直至车辆离开监控视频区域。
[0049] 作为本发明的进一步改进，所述系统采用前景检测与跟踪同时决定车辆在新一帧 中的位置。
[0050] 本发明的有益效果是:本发明提供的车型识别与跟踪系统，同时考虑到了背景模 型更新和系统实时性的要求。对于给定监控视频，该系统能够自动检测并识别出现在视频 中运动的物体是否为车辆图像，且具体为哪种车型。对于判定为车辆的运动物体会不断的 跟踪，直至其离开监控区域。在跟踪过程中，可能会更改所跟踪物体的车型类别。对于视频 背景建模，本发明设计了一种改进的背景更新方法。该方法增加了背景模型的鲁棒性，能够 有效的去除前景检测中存在的噪声，且对于缓慢移动的物体有较好的稳定性。对于运动物 体识别部分，选择使用图像局部特征描述符，并用Fisher向量和具有局部性约束的编码算 法编码为定长向量，最后使用线性核的支持向量机分类器进行分类。
【附图说明】
[0051 ]图1是本发明的基于监控视频的车型识别与跟踪方法的流程图；
[0052]图2是本发明的基于监控视频的车型识别与跟踪系统的结构图。
【具体实施方式】
[0053]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不 用于限定本发明。
[0054]本发明的基于监控视频的车型识别与跟踪方法及系统。本发明的主要创新的工作 为以下两个部分：1)监控视频背景建模;2)车辆图像编码与识别。第一部分使得前景检测有 了较好结果，为后续的车辆图像识别与跟踪，提供很好的原始输入。第二部分车辆图像编码 与识别，融合了两种典型的编码算法使得识别效果有所提升，一定程度上提高了系统的识 别精度。
[0055] 图1示出了本发明提供的基于监控视频的车型识别与跟踪方法的流程图，其详述 如下：
[0056] 步骤S1，背景建模与前景检测:将背景分割当做一个分类问题，为每个背景像素保 存一个样本集，所述样本集保存了像素点邻域和其过去出现过的颜色值，将像素点的当前 颜色值与样本集中距离最近的样本进行比较，来判断是否背景。具体步骤如下：
[0057] (S11)定义v(x)为点X的的颜色值，Vl为背景样本集中第i个样本值，则点X处的背 景模型样本集表示为:M(X) = {vi，V2, . . .，vn}，样本集的大小为N，根据M(x)将v(x)进行分 类，假设Sr(v(x))是像素点X的像素值邻近半径为R的圆内的像素值集合。通过计算S R(v(x)) 与M(x)中共同样本值的个数，同时考虑当前帧空间邻域半径R2圆内的像素值集合 在背景样本集中的个数。并与给定的阈值#min比较，如果大于则判定为背景，否则为前景。 形式定义如下：
[0059] (S12)模型初始化，对某个像素点周围像素点的颜色值进行随机采样，来生成该像 素点的初始背景样本集。假定t = 0时刻位于点X的像素空间邻域为Nc(x)，则有：
[0060] Μ°(χ) = {ν°(γ|γ￡Νο(χ))}
[0061] 其中坐标y是随机选择的。
[0062] (S13)模型的更新策略，对于一个判定为背景的样本值有一定的概率替换背景样 本集中的某个值，同时为了保证像素值具有空间传播的特性，新判定为背景的点也有一定 的概率替换其邻域空间中的某些像素的背景样本集，对于一个一直判定为前景的像素点， 当计数大于某个阈值就将其强制设定为背景，同时该像素值也有机会去更新其背景和邻域 像素的背景样本集。当一个像素点被用来替换其邻域像素点背景样本集时，考虑像素点空 间距离和背景样本集分布的差异性。具体替换规则如下所示：
[0067]其中，p(y|x)表示像素点X替换像素点y中背景样本集中像素值的概率，d(y，x)表 示像素点X与像素点y的距离，λ是调节因子。dist(y，x)表示两点之间的欧式距离，σ是用于 调节局部性约束的权重。KL(y| |χ)表示像素点X与像素点y的样本集中样本值分布的差异， px(i)表示像素点px(i)i出现的频率，拉普拉斯平滑因子μ是一个小常数，避免分子分母为零 的情况。
[0068] 步骤S2,车辆图像特征提取与编码，对于一幅给定的图像通常需要提取一些低层 的图像局部描述特征，然后不同图像得到的数量不等的局部描述特征统一编码为能够表达 图像整体信息的定长特征向量。同时要确保在编码过程中尽量保留图像局部特征中蕴含的 信息，使用尽量简单的分类器实现图像的分类与识别。具体的车辆图像特征提取与编码步 骤如下：
[0069] (S21)对于图像特征提取使用SIFT特征描述符，即通过尺度空间极值检测，筛选稳 定的极值点，计算每个极值点主方向和梯度，最后对计算每个极值点邻域16个子区域的梯 度直方图，得到一个128维的特征向量。对得到的SIFT特征进行PCA降维，通常可以为60或80 维。
[0070] (S22)生成视觉词典，对于给定的图像数据集中的每张图片都应用步骤S21，提取 若干个SIFT描述符，在整个数据集上所有局部描述符进行K均值聚类，每个聚类中心可以认 为是类似于文档词典中的关键字，组合所有聚类中心就形成一个词典。
[0071] (S23)特征编码，将每个SIFT特征描述符投影到距离该描述符比较接近的关键字 上，具体是解如下的最优化问题：
[0073]其中，di · Ci表示按向量的逐个元素相差，& '就是引入的局部性约束子，对于 给定的描述符Xl，根据其距离的远近，给不同的基向量以不同的自由度，土的显示定义如下：
[0075] 其中，dist(xi，B) = [dist(xi，bi)，· · ·，dist(xi，bM)]T，dist(Xi，bi)表示局部描述 符^和基向量^的距离，〇用于调节局部性约束子的权重。通常用ma X(dist(Xl，B))除以cU， 将其归一化为(〇，1]，限制条件lTCl = l能保证编码的平移不变性。该最优化问题存在解析 解，训练速度很快。
[0076] (S24)另外对于一幅图像，假设有T个特征描述符（如尺度不变特征变换SIFT， Scale-invariant feature transform)，表不为X= {xt，t = l ·· ·Τ}。假设这些特征描述符 是独立同分布的，并用Κ个混合高斯分布去逼近它。于是有
[0078]其中，混合高斯模型参数λ={ cok，yk，Xk，k=l，· · .，k}，uk为第k个高斯成分
假设协方差矩阵是一个 对角阵，通过EM算法得到模型参数，则最终归一化后的导数为：
[0082] (S25)训练分类器并对新样本进行分类，组合步骤S23和步骤S24中得到的向量作 为图像最终的特征向量，并将其作为输入向量输入到如SVM分类器中进行训练，得到分类车 辆图像的模型。对于新来的图像使用同样的编码算法对其进行编码，然后使用训练好的SVM 模型进行分类预测。
[0083]步骤S3,车辆图像跟踪，当某个前景物体被判定为车辆时，就需要新建一个跟踪其 对其进行跟踪，以免后续帧的重复识别。主要思想是通过贝叶斯框架对要跟踪的目标和它 的局部上下文区域的时空关系进行建模，得到目标和其周围区域低级特征的统计相关性。 然后综合这一时空关系评估新的一帧中目标出现位置的置信图，置信最大的位置就是新的 一帧的目标位置。另外，时空模型的学习和目标的检测都是通过FFT(傅里叶变换)来实现。 具体车辆跟踪步骤如下：
[0084] (S31)t帧:在该帧目标(第一帧由人工指定）已经知道的情况下，计算得到一个目 标的置信图（Confidence Map，也就是目标的似然）。通过生物视觉系统上的视觉焦点特性 可以得到另一张概率图（先验概率）。通过对这两个概率图的傅里叶变换做除再反傅里叶变 换，就可以得到建模目标和周围背景的空间相关性的空间上下文模型(条件概率）。然后用 这个模型去更新跟踪下一帧需要的时空上下文模型。
[0085] (S32)t+1帧:利用t帧的上下文信息（时空上下文模型），卷积图像得到一个目标的 置信图，值最大的位置就是我们的目标所在地。或者理解为图像各个地方对该上下文信息 的响应，响应最大的地方自然就是满足这个上下文的地方，也就是目标了。
[0086] 图2示出了一种基于监控视频的车型识别与跟踪系统，所述车型识别系统包括：
[0087] 背景建模和前景检测模块，用于将视频序列中相对静止不动的部分作为背景，将 所述背景与包含运动物体的前景分离开；
[0088] 车辆图像特征提取模块，用于提取图像中的局部特征描述符，所述装置法采用 SIFT特征描述符；
[0089] 车辆图像特征编码模块，用于将图像上得到的数量不等的局部特征描述符编码为 定长向量，以适合于分类器的输入；
[0090] 车辆图像识别模块，用于选择和设计合适的分类器对图像的特征向量进行分类， 最后达到识别的目的；
[0091] 车辆图像跟踪模块，用于对识别为某一车型识别图像区域进行跟踪，避免重复的 前景检测和识别，提高车型识别与跟踪系统的运行速度。
[0092] 所述背景建模和前景检测模块包括：
[0093] 背景模型初始子模块，用于对像素点空间邻域的像素值随机采样，来生成该像素 点的初始背景样本集；
[0094]前景检测子模块，用于将新的像素值与该点的背景样本集比较，若像素值的空间 邻域和颜色值邻域，在背景样本集中的点超过第一阈值，则判断其为背景，否则为前景；
[0095] 背景模型更新子模块，用于当一个像素值被判定为背景时，它有一定的概率替换 该像素点及其邻域的像素点的背景样本集，对于一个一直判定为前景的像素点，当计数大 于第二阈值就将其强制设定为背景，同时该像素值也有机会去更新其背景和邻域像素的背 景样本集。
[0096] 所述车辆图像特征提取与编码模块包括：
[0097] 连通分量分析子模块，用于采用凸包或者多项式拟合的方式，对非连通的前景区 域进行分块；
[0098] 车辆图像局部描述符提取子模块，用于进行图像尺度空间极值检测，筛选极值点， 计算特征点主方向，最后根据这个主方向进行特点描述，得到SIFT特性描述符；
[0099]车辆图像特征编码子模块，用于利用混合高斯模型拟合训练集上所有SIFT特征描 述符分布，求得到的模型关于模型参数权值、均值和协方差的梯度向量，将其作为图像的特 征向量。
[0100] 所述车辆图像识别与跟踪模块包括：
[0101] 支持向量机(SVM)的训练与保存子模块，用于选择线性核的SVM，并设置合适的SVM 参数进行交叉训练得到最好的模型，将训练好的SVM模型保存到指定文件；
[0102] 新前景区域的识别子模块，用于将进行特征提取和编码，输入到SVM中进行识别；
[0103] 车辆图像跟踪子模块，用于对识别为某一车型的图像持续跟踪，并更新其在新一 帧中的位置，直至车辆离开监控视频区域。
[0104] 本发明的主要贡献有以下三点:首先，对于背景建模部分，本系统使用了改进的背 景建模与更新算法。使得背景模型算法不仅具有占用内存少，速度快等优点，且对于噪声和 缓慢运动的物体有更好的鲁棒性。二，对于车辆图像编码与识别部分，为了提高算法的识别 精度，且使系统对于监控角度和条件的要求尽量小。本发明选择使用局部特征描述符，使其 对复杂的形变和光照变化具有较强的适应性，对监控图像的投射、扭曲和噪声具有很好的 鲁棒性，对视角变化也保持一定程度的稳定性。同时计算速度比较快、定位精度比较高。同 时使用Fisher向量和具有局部性约束的线性编码算法，对提取到的图像局部特征描述符进 行编码。同时使用线性核的支持向量即进行分类，大大减少了分类器训练和测试所需时间。 三、对于判断车型在新一帧视频图像中的位置，本发明结合前景检测和跟踪器综合判断，其 最可能出现的位置，即首先将新的视频图像灰度化，输入到背景建模与前景检测模块，得到 一些可能的车辆前景区域。同时将图像输入到跟踪器模块中，根据STC跟踪器的计算，同时 也得到一个新图像车辆最可能出现区域。对两个模块得到的区域进行组合合并，得到最优 的图像跟踪区域。试验表明该方法有效提高了算法的跟踪效果。当一种方法效果较差时，另 一种方法可以作为其补充，修正一些明显的偏差。
[0105] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种基于监控视频的车型识别与跟踪方法，其特征在于:所述方法包括以下步骤： A、 背景建模和前景检测：将视频序列中相对静止不动的部分作为背景，将所述背景与 包含运动物体的前景分离开； B、 车辆图像特征提取:提取图像中的局部特征描述符，所述方法采用SIFT特征描述符； C、 车辆图像特征编码:将图像上得到的数量不等的局部特征描述符编码为定长向量， 以适合于分类器的输入； D、 车辆图像识别：选择和设计合适的分类器对图像的特征向量进行分类，最后达到识 别的目的； E、 车辆图像跟踪:对识别为某一车型识别图像区域进行跟踪，避免重复的前景检测和 识别，提高车型识别与跟踪系统的运行速度。2. 根据权利要求1所述的车型识别与跟踪方法，其特征在于:所述步骤A包括以下步骤： A1、背景模型的初始化:根据第一帧图像选取像素点周围的像素作为该点的初始背景 样本集； A2、前景检测:将新的像素值与该点的背景样本集比较，若像素值的空间邻域和颜色值 邻域，在背景样本集中的点超过第一阈值，则判断其为背景，否则为前景； A3、背景模型更新：当一个像素值被判定为背景时，它有一定的概率替换该像素点及其 邻域的像素点的背景样本集，对于一个一直判定为前景的像素点，当计数大于第二阈值就 将其强制设定为背景，同时该像素值也有机会去更新其背景和邻域像素的背景样本集。3. 根据权利要求1所述的车型识别与跟踪方法，其特征在于:所述步骤B包括以下步骤： B1、连通分量分析:对图像中前景物体不是一个连通区域的情形，使用多项式拟合或者 凸包拟合的方法，得到一个包含前景物体的联通区域； B2、提取图像的局部特征描述符，所述方法采用SIFT特征描述符，即首先进行特征点检 测，然后对得到的特征点计算梯度向量，作为该区域的描述； B3、对提取到的128维SIFT特征向量降维至80维。4. 根据权利要求1所述的车型识别与跟踪方法，其特征在于，所述步骤C包括以下步骤： C1、利用混合高斯模型拟合训练集上所有的SIFT特征描述符的分布;具体求解算法使 用最大化期望算法； C2、求得的混合高斯模型关于模型参数权重、均值和方差的梯度向量； C3、对得到的梯度向量进行归一化处理，并保存混合高斯模型的相关参数，确保对新来 的测试集采用同样的编码方式。5. 根据权利要求1所述的车型识别与跟踪方法，其特征在于，所述步骤D包括以下步骤： D1、利用线性核的支持向量机，学习训练集上编码后的特征向量模型； D2、保存学习到的模型，对于新来的图像，加载训练时期保存的混合高斯模型参数，并 将新测试图像提取SIFT局部特征描述符编码为定长向量； D3、加载支持向量机模型，对新测试图像的特征向量进行分类识别。6. 根据权利要求1所述的车型识别与跟踪方法，其特征在于，所述步骤E包括以下步骤： E1、将识别为某车型的新的前景区域作为跟踪器的初始区域； E2、计算得到一个目标的置信图； E3、对于新的视频帧，利用前一帧的上下文信息，卷积图像得到一个目标的置信图，值 最大的位置就是我们的目标所在地。7. -种基于监控视频的车型识别与跟踪系统，其特征在于，所述车型识别与跟踪系统 包括： 背景建模和前景检测模块，用于将视频序列中相对静止不动的部分作为背景，将所述 背景与包含运动物体的前景分离开； 车辆图像特征提取模块，用于提取图像中的局部特征描述符，所述装置法采用SIFT特 征描述符； 车辆图像特征编码模块，用于将图像上得到的数量不等的局部特征描述符编码为定长 向量，以适合于分类器的输入； 车辆图像识别模块，用于选择和设计合适的分类器对图像的特征向量进行分类，最后 达到识别的目的； 车辆图像跟踪模块，用于对识别为某一车型识别图像区域进行跟踪，避免重复的前景 检测和识别，提高车型识别与跟踪系统的运行速度。8. 根据权利要求7所述的车型识别与跟踪系统，其特征在于:所述背景建模和前景检测 丰吴块包括： 背景模型初始子模块，用于对像素点空间邻域的像素值随机采样，来生成该像素点的 初始背景样本集； 前景检测子模块，用于将新的像素值与该点的背景样本集比较，若像素值的空间邻域 和颜色值邻域，在背景样本集中的点超过第一阈值，则判断其为背景，否则为前景； 背景模型更新子模块，用于当一个像素值被判定为背景时，它有一定的概率替换该像 素点及其邻域的像素点的背景样本集，对于一个一直判定为前景的像素点，当计数大于第 二阈值就将其强制设定为背景，同时该像素值也有机会去更新其背景和邻域像素的背景样 本集。9. 根据权利要求7所述的车型识别与跟踪系统，其特征在于:所述车辆图像特征提取与 编码模块包括： 连通分量分析子模块，用于采用凸包或者多项式拟合的方式，对非连通的前景区域进 行分块； 车辆图像局部描述符提取子模块，用于进行图像尺度空间极值检测，筛选极值点，计算 特征点主方向，最后根据这个主方向进行特点描述，得到SIFT特性描述符； 车辆图像特征编码子模块，用于利用混合高斯模型拟合训练集上所有SIFT特征描述符 分布，求得到的模型关于模型参数权值、均值和协方差的梯度向量，将其作为图像的特征向 量。10. 根据权利要求7-9任一项所述的车型识别与跟踪系统，其特征在于:所述车型识别 与跟踪系统中采用前景检测与跟踪同时决定车辆在新一帧中的位置。
【文档编号】G06K9/00GK105868700SQ201610178264
【公开日】2016年8月17日
【申请日】2016年3月25日
【发明人】张海军, 李正琪
【申请人】哈尔滨工业大学深圳研究生院