基于在线面积估计和多特征决策融合的车辆检测方法
【专利摘要】本发明公开了基于在线面积估计和多特征决策融合的车辆检测方法。该方法包括步骤：图像的预处理、车辆感兴趣区域（ROI）的提取、分类判别模型的建立、车辆的检测判别。对摄像机采集的道路交通视频图像序列进行预处理，再将图像前背景分离，提取到初步的运动前景团块，接着在提取的前景团块中进行前景团块筛选，得到最终的前景ROI，再基于多特征决策融合的车辆检测方法得到最终检测结果。本发明能够有效的滤除环境及光线噪声的影响，提高在复杂背景环境下车辆提取ROI的鲁棒性，并且在保证实时性的要求下能够很好的提高车辆检测的准确率。
【专利说明】基于在线面积估计和多特征决策融合的车辆检测方法
【技术领域】
[0001]本发明涉及智能交通系统中的车辆识别检测技术，具体涉及基于在线面积估计和多特征决策融合的车辆检测方法。
【背景技术】
[0002]随着社会经济的不断发展以及全球范围内的城市化进程不断地向前推进，近年来参与道路交通的汽车数量急速增长，汽车也已经成为人们生活中不可缺少的交通工具。据统计，中国已经成为了全球少数几个汽车数量超过千万级别的国家之一。但是，与此同时，无论是欧美等发达国家还是中国等发展中国家，伴随着汽车数量的不断攀升，都将会面临随之而来的道路交通拥堵、道路交通环境恶化以及道路交通事故频发等日趋严重的社会问题。道路交通拥堵问题不仅给人们的出行造成了极大的时间上的浪费，造成了大量能源的浪费，同时也更加加剧了堆环境的污染和破坏。现在我国许多城市，如北京、上海、广州等交通拥堵问题已经引起了社会的广泛关注，为社会造成了巨大的经济损失。同时汽车的行驶速度缓慢以及大量尾气的排放，也进一步加剧了城市空气质量的进一步恶化。同时道路交通安全问题也日趋凸显出来，根据世界卫生组织在道路交通事故的统计报告中指出:全球平均每年死于道路交通事故的的人数高达120万，因交通事故而受伤的人数高达5000万，造成的直接经济损失约125亿美元。近几年来，中国每年也有超过10万人数死于道路交通事故。毫无疑问，汽车数量剧增带来的道路交通拥堵、道路交通环境恶化以及道路交通安全等问题已经成为了阻碍我国社会和谐稳定发展的核心问题之一。
[0003]由于有限的土地资源、可用能源以及资金与日益增多的出行车辆之间的矛盾，使得道路交通问题已经不能够完全靠新建更多的基础交通设施等传统手段来解决了。因此，智能交通系统(Intelligent Transportation System,简称ITS)这个运用多科技手段来实现对现有道路交通进行统筹管理以提高道路交通的利用率和通信能力的方法开始成为了世界上各个国家在交通领域开发和研究的热点。而车辆检测系统是智能交通系统的基础核心系统之一，它能够为智能交通系统提供实时道路交通信息等基础数据支持，也是世界各国研究人员开发和研究的重点领域。传统的车辆检测技术包括环形磁感线圈、红外线检测、超声波检测、光电式检测、微波雷达检测、气动导管检测等。但是，它们也都普遍的存在着系统的安装、调试、维护以及升级困难，同时较好的传感器价格昂贵，且可监控范围小以及功能单一等缺陷，无法满足在智能交通系统中的应用。
[0004]在交通智能化的大背景下，基于视频感知的车辆检测技术逐渐成为了该领域的研究重点。它是通过道路交通中固定的摄像机采集道路交通视频并通过计算机应用、图像处理技术以及模式分类技术模拟人眼的功能实现对视频场景中车辆的检测。与传统的车辆检测技术相对比，基于视频感知的车辆检测技术具有下面几点明显的优势:首先，设备易于安装、调试及维护，并且费用较低，同时支持在线软件更新，具有良好的可拓展性；其次，基于视频感知方法的监控范围广，可实现长距离、多车道监控；最后，能够获取到更加全面和准确的道路交通信息。由于视频车辆检测技术的先进性，该技术日益成为了智能交通系统领域中最具潜力和优势的检测方法，具有广阔的应用前景，同时，目前存在的视频车辆检测系统存在着许多的不足，无法得到更加广泛的应用，因此，对基于视频感知的车辆检测系统的研究具有极其重要的意义和价值。
【发明内容】
[0005]本发明的目的是克服现有方法存在的上述的缺陷，提供基于视频感知的车辆检测方法，可实现有效的滤除环境及光线噪声的影响，提高在复杂背景环境下车辆提取ROI的鲁棒性，提高车辆检测的准确率并满足实时性的要求。本发明通过如下技术方案实现。
[0006]基于在线面积估计和多特征决策融合的车辆检测方法，包括以下步骤:(I)道路交通图像采集；(2)对采集到的图像进行预处理；其特征在于还包括如下步骤:(3)车辆感兴趣区域(ROI)的提取:对采集到的道路交通图像序列，首先采用基于尺度映射的混合高斯背景模型法进行前景和背景分离，得到二值化前景图像，然后在得到的二值化前景图像中提取前景团块，获取相应的前景团块属性信息，包括前景团块质心纵坐标、前景团块面积、前景团块的外接矩形的左顶点坐标和长宽，定义本文算法开始运行之后的一段时间Tinit为训练期，并将在该训练期内所提取到的前景团块属性信息将输入在线面积估计模型的训练模块，通过训练得到合适在线面积估计模型，然后利用该模型对训练期后提取到的前景团块进行筛选，最后将筛选通过的前景团块逆映射回原图像，便可得到车辆ROI ; (4)基于多特征决策融合的车辆检测:构建多个车辆特征分类器，利用这多个车辆特征分类器对步骤(3)中得到的车辆ROI分别进行车辆检测，然后将各个车辆特征分类器的检测结果进行决策融合，从而得到最终的检测结果。
[0007]所述的基于在线面积估计和多特征决策融合的车辆检测方法中的基于尺度映射的混合高斯背景模型法包括:首先对采集到的道路交通图像序列中每一帧图像进行一次下采样得到一个较低分辨率的图像序列，将得到的较低分辨率的图像序列进行混合高斯背景模型建模，并进行前景和背景分离，得到二值化前景图像，并进行前景团块提取，然后再经过后续的在线面积估计模型进行前景团块的筛选之后，再对筛选得到的前景团块进行尺度逆映射以得到最终的车辆ROI。
[0008]所述的基于在线面积估计和多特征决策融合的车辆检测方法中的在线面积估计模型的训练模块包括:首先将训练期内获取到的前景团块属性信息中的前景团块质心纵坐标以及前景团块面积这两个属性信息以键值对的形式进行组织，前景团块质心纵坐标为键，前景团块面积为值，且允许一个键同时对应多个值，从而得到一个初步的训练样本集合，再利用均值-方差法对该初步的训练样本集合进行在线样本自动筛选，从而得到最终的训练样本集合，然后利用最小二乘法进行在线面积估计模型训练，从而得到在线面积估计模型。
[0009]所述的基于在线面积估计和多特征决策融合的车辆检测方法中的在线面积估计模型对前景团块进行筛选包括:首先获取前景团块属性信息中的前景团块质心纵坐标y和前景团块面积SMal，然后利用在线面积估计模型计算得到在前景团块质心纵坐标为y的情况下的前景团块面积的估计值Sest，然后利用公式|SMal - Sest < 301\进行筛选，其中3DTt为阈值，其中DTt为上述经过自动筛选之后剩下的前景团块中前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标对应的前景团块面积的方差，满足该公式的前景团块通过筛选。
[0010]所述的在线面积估计模型的训练模块中的均值-方差法进行初步训练样本在线自动筛选包括以下步骤:(1)分别统计训练样本集合中每一个前景团块质心纵坐标所对应的所有前景团块面积的均值和E (Slyi)方差D (Slyi),其中s表示前景团块面积，Yi表示所有前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标；(2)根据公式UMyi)=E(Sjyi) + D(Sjyi)和LbCy1) = E(s|yi)-D(s|yt)分别确定出每一个前景团块质心纵坐标所对应的前景团块面积的上限值L-b(yO和下限值LKFd ; (3)对训练样本集合的每一个前景团块纵坐标所对应的所有前景团块面积进行自动滤除，即所有前景团块面积不在区域[Lb(B)5 Ub(Y1)]中的值则认为不具有较强代表性，将其从样本集合中剔除，从而得到了一个新的训练样本集合。针对得到的新的训练样本集合，循环执行步骤(1)至步骤(3)，直至满足公式DTi < DTH或者满足公式Times > MaxTimes二者之一，其中DTH表示方差阈值，Times表示循环的次数，MaxTimes表示最大的循环次数。
[0011]所述的基于在线面积估计和多特征决策融合的车辆检测方法中的基于多特征决策融合的车辆检测包括:首先利用Adaboost分类算法分别建立基于HOG特征、LBP特征以及Haar特征的车辆特征分类器，然后利用三个车辆特征分类器分别对最终的车辆ROI进行检测判别，得到三个检测结果，然后采用改进的多数投票法将这三个检测结果联合起来，进行决策融合，从而得到最终的车辆检测结果。
[0012]所述的基于多特征决策融合的车辆检测方法中的改进多数投票法包括:根据三个车辆特征分类器对于车辆样本和非车辆样本的检测率，为它们分配不同的权重，包括Ahtjgc^和Atog 分别为基于HOG特征车辆分类器对车辆和非车辆样本检测判别所对应的权值；Albp car和Albp mc^分别为基于LBP特征车辆分类器对车辆和非车辆样本检测判别所对应的权值；Ah.—和Ah.—分别基于Haar特征车辆分类器对车辆和非车辆样本检测判别的对应的权值，然后利用下面的公式Pcot = PU X Ahog car + P21 X Albp car + P31 x Aham c^和公式 Pn。.= P12 X Ahog nocar + P22 X Albp npcar + P32 x Ahaar n。分别计算输入的 ROI 图像中存在车辆的概率Pcot和不存在车辆的概率Pn。.，最后根据Pcot和Pn。.的大小进行判决，若Pcar > Ρη?，则存在车辆，否则，不存在车辆。
与现有技术相比，本发明具有如下优点和效果:本发明是一种快速、准确的实现车辆检测判别的方法。能够有效的滤除环境及光线噪声的影响，提高在复杂背景环境下车辆提取ROI的鲁棒性，提高车辆检测的准确率并满足实时性的要求，能够获取到更加全面和准确的道路交通信息；本发明在车辆ROI的提取方法有了很大的改进，解决了传统的基于视频感知的车辆检测技术中，由于产生环境噪声的原因的复杂性和高质量背景模型建立需要的大量计算导致的实时性下降的问题；本发明在车辆检测判别的方法上有了较大的改进，综合三种不同车辆特征的优点，较好的提高了车辆检测的准确率；本发明同时兼顾准确率与速率，在保证检测准确性的前提下还满足了实时性的要求。
【专利附图】
【附图说明】
[0013]图1是本发明主要算法流程图。
[0014]图2是本发明实施方式中的车辆ROI提取方法流程图。[0015]图3是本发明【具体实施方式】中在线车辆面积估计模型算法流程图。
[0016]图4是本发明实施方式中基于在线面积估计和多特征决策融合的车辆检测方法流程图。
【具体实施方式】[0017]下面结合附图对本发明的【具体实施方式】做进一步说明。
[0018]基于在线面积估计和多特征决策融合的车辆检测方法包括车辆ROI的提取和车辆检测判别两部分，如图1所示。ROI区域提取，在实际应用系统中，尤其是在车辆检测系统中，周围环境光线变化复杂，目标物体阴影问题影响同时伴可能伴随着背景区域的微运动(如风吹树叶动)，导致ROI区域的提取的准确性大大的降低。而不准确的ROI区域将为后续的车辆检测的准确性引入不必要的误差，同时还可能会影响到整个系统检测的实时性。本发明使用基于在线面积估计模型的方法，保证了 ROI提取的实时性和在复杂环境下的鲁棒性。车辆分类判别模型基于多特征决策融合的车辆检测方法。分别对HAAR特征、HOG特征以及LBP特征进行提取，选择了基于Adaboost算法的分类器分别建立最优模型，之后利用自动权值统计方法，建立基于多特征决策融合的车辆分类判别模型，提高车辆检测的准确性。
[0019]如图2所示，是本发明【具体实施方式】中的车辆ROI提取方法流程图。首先，对输入的视频图像序列中的每一帧图像I (x，y’)(尺寸大小为X*Y)进行一次下采样，得到一个长宽均为原图像Ι/k倍大小的映射图像:
D(x, y) = I(kx，ky，)
其中，Dfcy)为下采样之后得到的图像，且上式满足X e (0,x7k), y e (0，y’/k)，
k e (I, oo )。
[0020]接着利用映射得到的图像EKx:y)序列，进行混合高斯背景模型进行前景与背景分离，然后提取该前景二值化图像中的所有前景团块，获取所有团块的相关信息(如前景团块面积，前景团块质心纵坐标以及前景团块外接矩形的左顶点坐标以及长宽)。
[0021]定义本文算法开始运行之后的一段时间Tinit为训练期，并将在该训练期内所提取到的前景团块属性信息将输入在线面积估计模型的训练模块，通过训练得到合适在线面积估计模型，接着利用在线面积估计模型进行前景团块的筛选，最终能够得到一个称为“可能存在车辆的区域”的列表(SI，S2,..Si,…)，该列表为前景团块的外接矩形信息列表作为在线面积估计模型的初步训练样本，该列表的元素为Si [x，y，w，h]，其中(x，y)为矩形左上角顶点坐标，w和h分别为矩形的宽和高。
[0022]最后利用下面的逆映射公式组将该列表的矩形信息逆映射回到源图像中，便可得到更为准确的车辆ROI的矩形信息列表(Dl，D2，..Di，…)，该列表的元素为Di[x’，y’，w’，h’ ],其中(x:y)为矩形左上角顶点坐标，w’和h分别为矩形的宽和高。
[0023]
——gw) k*i% — sw) >β
~ ?Ok*i%~ 謙)< 0
【权利要求】
1.基于在线面积估计和多特征决策融合的车辆检测方法，包括以下步骤:(1)道路交通图像采集；(2)对采集到的图像进行预处理；其特征在于还包括如下步骤: (3)车辆感兴趣区域(ROI)的提取:对采集到的道路交通图像序列，首先采用基于尺度映射的混合高斯背景模型法进行前景和背景分离，得到二值化前景图像，然后在得到的二值化前景图像中提取前景团块，获取相应的前景团块属性信息，包括前景团块质心纵坐标、前景团块面积、前景团块的外接矩形的左顶点坐标和长宽，定义检测方法开始运行之后的设定时间Tinit为训练期，并将在该训练期内所提取到的前景团块属性信息输入在线面积估计模型的训练模块，通过训练得到合适在线面积估计模型，然后利用该模型对训练期后提取到的前景团块进行筛选，最后将筛选通过的前景团块逆映射回原图像，便可得到车辆ROI ； (4)基于多特征决策融合的车辆检测:构建多个车辆特征分类器，利用这多个车辆特征分类器对步骤(3)中得到的车辆ROI分别进行车辆检测，然后将各个车辆特征分类器的检测结果进行决策融合，从而得到最终的检测结果。
2.根据权利要求1所述的基于在线面积估计和多特征决策融合的车辆检测方法，其特征在于步骤(3)中基于尺度映射的混合高斯背景模型法包括:首先对采集到的道路交通图像序列中每一帧图像进行一次下采样得到一个较低分辨率的图像序列，将得到的较低分辨率的图像序列进行混合高斯背景模型建模，并进行前景和背景分离，得到二值化前景图像，并进行前景团块提取，然后再经过后续的在线面积估计模型进行前景团块的筛选之后，再对筛选得到的前景团块进行尺度逆映射以得到最终的车辆R0I。
3.根据权利要求1所述的基于在线面积估计和多特征决策融合的车辆检测方法，其特征在于步骤(3)中所述在线面积估计模型的训练模块用于:首先将训练期内获取到的前景团块属性信息中的前景团块质心纵坐标以及前景团块面积这两个属性信息以键值对的形式进行组织，前景团块质心纵坐`标为键，前景团块面积为值，且允许一个键同时对应多个值，从而得到一个初步的训练样本集合，再利用均值-方差法对该初步的训练样本集合进行在线样本自动筛选，从而得到最终的训练样本集合，然后利用最小二乘法进行在线面积估计模型训练，从而得到在线面积估计模型。
4.根据权利要求1中所述的基于在线面积估计和多特征决策融合的车辆检测方法，其特征在于步骤(3)中在线面积估计模型对前景团块进行筛选包括:首先获取前景团块属性信息中的前景团块质心纵坐标I和前景团块面积Sreal，然后利用在线面积估计模型计算得到在前景团块质心纵坐标为I的情况下的前景团块面积的估计值Sest，然后利用公式|S_1-Sest < 301\进行筛选，其中3OTi为阈值，其中DTi为上述经过自动筛选之后剩下的前景团块中前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标对应的前景团块面积的方差，满足该公式的前景团块通过筛选。
5.根据权利要求3中所述的基于在线面积估计和多特征决策融合的车辆检测方法，其特征在于所述的均值-方差法进行初步训练样本在线自动筛选包括以下步骤: (I)分别统计训练样本集合中每一个前景团块质心纵坐标所对应的所有前景团块面积的均值和E (s I Yi)方差D (s I yi)，其中s表示前景团块面积，yi表示所有前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标；(2)根据公式
6.根据权利要求1所述的基于在线面积估计和多特征决策融合的车辆检测方法，其特征在于所述步骤(4)中基于多特征决策融合的车辆检测包括:首先利用Adaboost分类算法分别建立基于HOG特征、LBP特征以及Haar特征的车辆特征分类器，然后利用三个车辆特征分类器分别对最终的车辆ROI进行检测判别，得到三个检测结果，然后采用改进的多数投票法将这三个检测结果联合起来，进行决策融合，从而得到最终的车辆检测结果。
7.根据权利要求6所述的基于多特征决策融合的车辆检测方法，其特征在于所述的改进多数投票法包括:根据三个车辆特征分类器对于车辆样本和非车辆样本的检测率，为它们分配不同的权重，包括Atog _和Atog 分别为基于HOG特征车辆分类器对车辆和非车辆样本检测判别所对应的权值;Albp和Albp 分别为基于LBP特征车辆分类器对车辆和非车辆样本检测判别所对应的权值;Ah.—_和Ah.—分别基于Haar特征车辆分类器对车辆和非车辆样本检测判别的对应的权值，然后利用下面的公式
【文档编号】G06K9/66GK103679214SQ201310712226
【公开日】2014年3月26日 申请日期:2013年12月20日 优先权日:2013年12月20日
【发明者】秦华标, 黄兆楠, 管伟祥 申请人:华南理工大学