专利名称：一种自适应学习的视频车辆检测方法
技术领域：
本发明属于视频监控技术和智能交通技术领域，具体为一种自适应学习的视频车辆检测方法。
背景技术：
随着视频监控技术的发展，视频摄像机已经被广泛应用于对各种环境、区域和场所的监控。随着视频摄像机数量的急剧增加，传统的人工监控方式已经远不能满足大范围监控的需要。因此，实现可以代替人眼工作的智能监控方式成为视频监控领域的研究重点。目前，在智能监控的研究中，对车辆目标进行自动检测和跟踪所用的特征主要包括车辆的纹理特征、轮廓特征、边缘特征等。这些特征都属于视频中单帧图像的特征，仅利用这些特征建立目标的外观模型来检测车辆，还无法达到较高的准确性。因此，利用视频图像的帧间信息来提取目标的运动特征，成为解决视频目标检测问题的一条新的途径。在车辆的运动特征中，车辆与场景背景存在差异是一个重要信息。然而，由于交通场景的多样性以及场景光照、天气等的复杂多变性，如何提取有区分力的图像特征，用来衡量车辆和背景的差异，实现车辆目标的准确检测及计数，成为视频监控实践中亟待解决的问题。目前的交通视频检测存在两种研究思路，分别基于车辆跟踪法和基于虚拟线圈法。对于第一种研究思路，通过车辆跟踪，连续计算车辆的位置和速度，获取车辆的运动轨迹，进而获取交通信息；另一种思路是在图像的局部区域设置虚拟线圈，统计虚拟线圈被车辆占有的情况，从宏观上估计交通信息。对于车辆跟踪的研究思路，美国明尼苏达大学的Papanikolopoulos教授及其学生做 了大量研究，2002 年在《IEEE Transactions on Intelligent TransportationSystems))发表论文“Detection and classification of vehicles” 和 2005 年在同一期干丨J 发表论文“A vision-based approach to collisionprediction at trafficintersections”,研究表明在特定实验场景下能够较准确地检测和跟踪车辆。虽然近些年研究人员一直在对车辆跟踪算法进行改进，但是这种研究思路的根本问题在于当交通密度较大时，难以分割单个车辆，也难以获得车辆轨迹；因此这种思路通常只适用于监控车流量稀少的道路(例如高速公路)，算法的鲁棒性在城市交通监控条件下难以保证。与车辆跟踪法相比，采用虚拟线圈的方法在图像的局部区域设置虚拟线圈，类似于在道路上埋设地感线圈。该方法继承了地感线圈的一些特点，不能充分利用空间域信息，获得的交通数据有限，但是几乎不受交通状况的限制，适用性较好。2009年Cho等在《Expert Systems with Applications》发表论文“HebbR2-Traffic:a novel applicationof neuro-fuzzy network for visual based traffic monitoring system，，,将机器学习思想引入到虚拟线圈方法中，作者把前景区域和车头灯区域的统计特征作为输入，离线监督训练两个模糊神经网络，分别用于白天和夜间时段的车辆检测。然而，该方法在实际运行时，对白天和夜间检测模式的切换不够灵活；另外，准确分割前景和车头灯区域是非常困难的，无法满足模式分类器对样本输入特征的要求。
虽然市场上已经存在Autoscope、Iteris、Traficon等基于虚拟线圈方法的视频检测产品，但是评估研究显示，这些商业产品只在特定环境条件下性能良好，对于运动阴影、雨雪雾恶劣天气以及夜间光照等不利情况，其检测算法的精度和鲁棒性还有待进一步提高。面向实际应用，本发明提供一种自适应学习的视频车辆检测方法，以提高算法在复杂交通场景中的检测效果。
发明内容
本发明的目的是克服现有视频检测技术的不足，从模式分类和机器学习的角度提供一种自适应学习的视频车辆检测方法。本发明利用模式分类和机器学习理论，首先从监控视频中提取与背景图像和虚拟线圈有关的若干种图像特征，然后利用半监督学习思想训练模式分类器，在线优化模式分类器的结构和参数，适应交通场景中光照、天气条件等因素的复杂变化，使车辆检测和计数具有理想的精度和鲁棒性。该方法能够在视频监控实践中常见的运动阴影、恶劣天气、夜间光照等不利条件下，准确地检测车辆。本发明的技术思想是:将视频车辆检测问题视为模式分类问题；首先从监控视频中提取若干种有区分力的图像特征，这些特征既能够区分车辆和背景，又包含与光照和天气条件相关的环境信息；然后利用监督学习方法离线训练模式分类器，并在系统运行过程中在线优化模式分类器，自动调整各个分量分类器的结构和参数，使分类器具有自适应学习能力，在复杂交通场景中取得更好的分类效果；最后对分类结果序列做后处理，进一步提高车辆检测和计数的精度。为了达到预期的发明目的，实现上述技术思想，本发明提供一种自适应学习的视频车辆检测方法，该方法包括以下步骤:一种自适应学习的视频车辆检测方法，其特征在于，该方法包括以下步骤:步骤1，从监控视频的每一帧视频图像中提取出若干种有区分力的图像特征；步骤2，从具有代表性的多个视频片段中采集图像特征及其标记生成训练样本集，基于所述步骤I得到的图像特征，利用监督学习方法训练得到模式分类器；步骤3，根据监控视频的变化对所述模式分类器进行优化，使所述模式分类器具有自适应学习能力，适应交通场景的复杂变化；步骤4，利用优化后的模式分类器对所述监控视频进行车辆检测，并利用检测结果的时域相关性信息对车辆检测结果序列进行后处理，其中，所述步骤2进一步包括以下步骤:步骤21，获取在不同地点、不同时段和不同天气条件下拍摄的多个监控视频片段；步骤22，从多个监控视频片段中，在视频图像中配置四边形虚拟线圈，计算每一训练样本的图像特征，采集所述图像特征及其标记生成训练样本集；步骤23，从所述监控视频片段中人工采集得到大致相等数量的正负样本，组成大小为η的原始训练样本集D ;步骤24，从所述原始训练样本集D中随机抽取三次，每次抽取η’个训练样本用来训练分类器，剩余的(η-η’ )个训练样本作为分类器的验证集，从而训练得到三个相应的分量分类器，组合成模式分类器。
本发明的有益效果是:本发明提出的一种自适应学习的视频车辆检测方法，通过提取有区分力的多种图像特征，并利用半监督学习的思想在线优化模式分类器，使得视频车辆检测方法对交通环境的复杂变化具有较强的自适应能力；所述方法具有较高的精度和鲁棒性，能够胜任在不同地点、不同时段(黎明、白天、黄昏、夜间等)和不同天气(晴天、多云、雨、雪、雾等)条件下的视频车辆检测任务。本发明增强了现有的虚拟线圈车辆检测方法，具有显著的工程应用价值，能够促进视频监控领域和智能交通领域的发展。
图1是本发明车辆检测方法的流程图。图2是根据本发明一实施例的在图像上配置虚拟线圈的示意图。图3是根据本发明一实施例的虚拟线圈内四条特征线的示意图。图4是根据本发明一实施例的虚拟线圈内纹理变化特征的计算流程图。图5是在不同地点、时段和天气条件下拍摄的部分视频片段。图6是根据本发明一实施例的模糊神经网络分类器的结构图。图7是根据本发明一实施例的组合分类器的结构图。图8是根据本发明一实施例的车辆检测和计数的后处理示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。图1是本发明车辆检测方法的流程图，如图1所示，本发明提出的一种自适应学习的视频车辆检测方法将视频车辆检测问题视为模式分类问题，该方法包括以下几个步骤:步骤1，从监控视频的每一帧视频图像中提取出若干种有区分力的图像特征；所述监控视频利用安装在道路上方或路侧的静态摄像机产生(本发明要求所述监控视频的帧率不低于25帧/秒)。所述步骤I进一步包括以下步骤:步骤11，在视频图像上配置四边形虚拟线圈作为车辆检测区域，视频图像中每条车道上至少配置一个虚拟线圈，所述虚拟线圈的宽度略小于车道宽度，长度大约为4.5米，如图2所示。步骤12，基于所述监控视频，通过现有技术中常用的背景建模方法自动生成一背景图像(所述背景图像中不包含任何前景目标)，并随着所述视频图像的变化对所述背景图像进行自动更新，以反映交通场景的背景信息，同时获得虚拟线圈内的前景像素；步骤13，基于所述虚拟线圈及其前景像素，在每一时刻为每个虚拟线圈提取其图像特征；所述有区分力的图像特征需要既能够区分车辆(前景)和背景，又包含与光照和天气条件相关的环境信息，在本发明一实施例中，所述图像特征包括虚拟线圈内的前景比例、虚拟线圈内的纹理变化、背景图像的亮度和背景图像的对比度四种。在提取所述图像特征时，首先在每个虚拟线圈内部生成四条特征线％、a2、Id1和b2，如图3所示，其中两条特征线和a2大致沿车道方向，另两条特征线Id1和b2大致垂直于车道方向，且特征线的端点将虚拟线圈的四条边等分为三段。上述四种图像特征的含义描述如下:I)虚拟线圈内的前景比例，定义为虚拟线圈内前景像素数占总像素数的百分比，其反映了前景和背景的差异；所述虚拟线圈内的前景比例包括虚拟线圈内部和四条特征线上的前景比例这5维特征，依次记为特征f\、f2、f3、f4、f5 ；2)虚拟线圈内的纹理变化，定义为虚拟线圈内的输入图像经过中值滤波后的图像与背景图像的差分值的形态学边缘强度的标准差(具体的计算流程如图4所示)，其反映了车辆和背景干扰(比如运动阴影、车头灯反光、摄像机自动增益等)的外观差异，在计算所述虚拟线圈内的纹理变化时，只对所述输入图像的前景像素进行计算，而不对所述输入图像的背景像素进行计算；所述虚拟线圈内的纹理变化包括虚拟线圈内部和四条特征线上的纹理变化这5维特征,依次记为特征f6、f7、f8、f9、f10 ;3)背景图像的亮度，定义为所述背景图像的像素亮度值的平均值，其反映了场景的光照条件(例如白天的图像亮度比夜间的高)；所述背景图像的亮度包括整幅图像和虚拟线圈局部的背景图像亮度这2维特征，依次记为特征fn、f12 ；4)背景图像的对比度，定义为所述背景图像的形态学边缘强度的标准差，其反映了天气条件(例如晴天的图像对比度比雾天的高)；所述背景图像的对比度包括整幅图像和虚拟线圈局部的背景图像对比度这2维特征，依次记为特征f13、f14。所述图像特征可以表示为一个14维的特征向量，也就是说，在每一时刻，对于每个虚拟线圈都能够得到一个14维的特征向量。步骤2，从具有代表性的多个视频片段中采集图像特征及其标记生成训练样本集，基于所述步骤I得到的图像特征，利用监督学习方法训练得到模式分类器；所述步骤2进一步包括以下步骤:步骤21，从各种渠道获取在不同地点、不同时段(黎明、白天、黄昏、夜间等)和不同天气(晴天、多云、雨、雪、雾等)条件下拍摄的多个监控视频片段，尽量使视频片段具有多样性，如图5所示；步骤22，从多个监控视频片段中，在视频图像上配置四边形虚拟线圈，计算每一训练样本的图像特征，采集所述图像特征及其标记生成训练样本集；步骤23，从所述监控视频片段中人工采集得到大致相等数量的正负样本，组成大小为η的原始训练样本集D ;采集正负样本的步骤具体为:通过人眼观察所述虚拟线圈的中央区域(即图3中四条特征线包围的中央区域)是否被车辆占有，即判断所述中央区域有车还是无车，若有车，则认为该训练样本为正样本，将其输出值标记为1，若无车，则认为该训练样本为负样本，将其输出值标记为O。另外，为了保证分类效果，所述原始训练样本集D中的训练样本数不能少于1000 ；虽然增加训练样本数有利于减少分类误差，但是考虑到节省人工标记成本，所述训练样本数也不宜多于10000。步骤24，从所述原始训练样本集D中，随机抽取三次，每次抽取η’个训练样本用来训练分类器，剩余的(η-η’ )个训练样本作为分类器的验证集，从而训练得到三个相应的分量分类器，组合成模式分类器。
所述三个分量分类器均为模糊神经网络，根据训练样本的输入特征值和输出标记值，以监督学习的方式可训练得到每个模糊神经网络的结构和参数，所述模糊神经网络的结构如图6所示，它集成了模糊逻辑的推理能力和神经网络的学习能力，能够发掘数据中蕴含的知识，并且这种知识具有较好的可解释性。很明显，所述模式分类器为一组合分类器，其分类结果，即有车或者无车，由三个分量分类器投票表决确定，所述组合分类器的结构如图7所示。利用模糊神经网络建立组合分类器，一方面能够提高分类精度，另一方面有利于在线优化分类器。由于交通场景中的光照、天气条件以及视频成像过程的复杂性，用监督学习方法离线训练得到的模式分类器只是一个通用型的弱分类器，它学习了交通场景的“所有”情况，但不一定完全适合于当前具体的视频车辆检测任务。因此本发明接下来还将对所述模式分类器作在线优化，即在模式分类器运行过程中，根据监控视频的变化，自动调整模糊神经网络的结构和参数，使最终组合得到的模式分类器具有自适应学习能力，使其分类性能越来越好。步骤3，根据监控视频的变化对所述模式分类器进行优化，即自动调整所述模式分类器中各个分量分类器的结构和参数，使所述模式分类器具有自适应学习能力，适应交通场景的复杂变化(例如运动阴影、恶劣天气、夜间光照等不利条件)；所述对模式分类器进行在线优化的步骤进一步包括以下步骤:步骤31，当所述模式分类器在线运行时，自动从所述监控视频中提取图像特征，作为测试样本的输入特征值I ;步骤32，对于该输入特征值I，三个分量分类器分别输出一个预测值PiQ = 1,2,3)；步骤33，通过投票表决来确定该测试样本的输出标记值L ；由于车辆检测是一个两类问题，即有车或无车，因此三个分量分类器的预测值组合只可能出现两种情况:1)三个分量分类器的预测值相同；2)两个分量分类器的预测值相同而另一个分量分类器的预测值不同，这样就可通过投票表决来唯一确定该测试样本的输出标记值L。步骤34，如果所述预测值组合符合第一种情况，则将当前测试样本的输入特征值和输出标记值对(I，L)作为这三个分量分类器的新增训练样本；如果所述预测值组合符合第二种情况，则将当前测试样本的输入特征值和输出标记值对(I，L)作为与其他两个分量分类器的预测值不同的那个分量分类器的新增训练样本。通过上述方式，三个分量分类器都能够在线不断获得新的训练样本，以优化分类器。考虑到模糊神经网络的特点，可以采用随机学习(每增加I个训练样本，就学习I次)或批量学习(累计增加了 N个训练样本，才学习I次)的方式，自动调整模糊神经网络的结构和参数，使分类器不断适应监控视频中交通场景的复杂变化。另外，在线优化分类器时，可以丢掉已经用过的训练样本，以降低对存储资源的需求。步骤4，利用优化后的模式分类器对所述监控视频进行车辆检测，并利用检测结果的时域相关性信息对车辆检测结果序列进行后处理，以进一步提高车辆检测和车辆计数的精度。
所述步骤4进一步包括以下步骤:步骤41，当所述优化后的模式分类器运行时，自动从所述监控视频中提取出图像特征，作为测试样本的输入特征值，对于该输入特征值，所述模式分类器包含的三个分量分类器分别输出相应的预测值，然后通过投票表决的方式确定该测试样本的输出标记值L(L=I或O)，作为相应虚拟线圈的初始输出标记，即检测结果；步骤42，利用所述检测结果的时域相关性，对所述虚拟线圈的初始输出标记进行后处理，以进一步提高车辆检测和计数的精度。所述后处理具体为:对于每个虚拟线圈，取多个，比如五个相邻时刻的初始输出标记Lt_2、Lt_1、Lt、Lt+1、Lt+2，做中值滤波处理，得到时刻t该虚拟线圈的最终输出标记FLtA中，FLt = I表示时刻t所述虚拟线圈内有车，FLt = O表示时刻t所述虚拟线圈内无车。另外，在时间域上，若一段时间内FLt连续为1，则表示在这段时间内一辆车驶过了一虚拟线圈，基于此，可实现对于车辆的计数。车辆的检测和计数后处理过程如图8所示。本发明所述方法的运行平台无特别限制，可以是工控机、服务器、嵌入式系统等运行平台，还可以一体化集成到智能摄像机的内部。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种自适应学习的视频车辆检测方法，其特征在于，该方法包括以下步骤: 步骤1，从监控视频的每一帧视频图像中提取出若干种有区分力的图像特征； 步骤2，从具有代表性的多个视频片段中采集图像特征及其标记生成训练样本集，基于所述步骤I得到的图像特征，利用监督学习方法训练得到模式分类器； 步骤3，根据监控视频的变化对所述模式分类器进行优化，使所述模式分类器具有自适应学习能力，适应交通场景的复杂变化； 步骤4，利用优化后的模式分类器对所述监控视频进行车辆检测，并利用检测结果的时域相关性信息对车辆检测结果序列进行后处理，其中， 所述步骤2进一步包括以下步骤: 步骤21，获取在不同地点、不同时段和不同天气条件下拍摄的多个监控视频片段； 步骤22，从多个监控视频片段中，在视频图像中配置四边形虚拟线圈，计算每一训练样本的图像特征，采集所述图像特征及其标记生成训练样本集； 步骤23，从所述监控视频片段中人工采集得到大致相等数量的正负样本，组成大小为η的原始训练样本集D ; 步骤24，从所述原始训练样本集D中随机抽取三次，每次抽取η’个训练样本用来训练分类器，剩余的(η-η’ )个训练样本作为分类器的验证集，从而训练得到三个相应的分量分类器，组合成模式分类器。
2.根据权利要求1所述的方法，其特征在于，所述步骤I进一步包括以下步骤: 步骤11，在视频图像上配置四边形虚拟线圈作为车辆检测区域，其中，每一帧视频图像中每条车道上至少配置一个虚拟线圈，所述虚拟线圈的宽度略小于车道宽度，长度大约为4.5 米； 步骤12，基于所述监控视频自动生成一背景图像，并随着所述视频图像的变化对所述背景图像进行自动更新，同时获得虚拟线圈内的前景像素； 步骤13，基于所述虚拟线圈及其前景像素，在每一时刻为每个虚拟线圈提取其图像特征。
3.根据权利要求2所述的方法，其特征在于，在提取所述图像特征时，首先在每个虚拟线圈内部生成四条特征线，其中两条特征线大致沿车道方向，另两条特征线大致垂直于车道方向，且特征线的端点将虚拟线圈的四条边等分为三段。
4.根据权利要求3所述的方法，其特征在于，所述图像特征包括虚拟线圈内的前景比例、虚拟线圈内的纹理变化、背景图像的亮度和背景图像的对比度，且为一 14维的特征向量，其中: 所述虚拟线圈内的前景比例为虚拟线圈内前景像素数占总像素数的百分比，其包括虚拟线圈内部和四条特征线上的前景比例这5维特征； 所述虚拟线圈内的纹理变化为虚拟线圈内的输入图像经过中值滤波后的图像与背景图像的差分值的形态学边缘强度的标准差，其包括虚拟线圈内部和四条特征线上的纹理变化这5维特征； 所述背景图像的亮度为所述背景图像的像素亮度值的平均值，其包括整幅图像和虚拟线圈局部的背景图像亮度这2维特征； 所述背景图像的对比度为所述背景图像的形态学边缘强度的标准差，其包括整幅图像和虚拟线圈局部的背景图像对比度这2维特征。
5.根据权利要求1所述的方法，其特征在于，采集正负样本的步骤具体为:通过人眼观察所述虚拟线圈的中央区域是否被车辆占有，若是，则认为该训练样本为正样本，将其输出值标记为1，若否，则认为该训练样本为负样本，将其输出值标记为O。
6.根据权利要求1所述的方法，其特征在于，所述三个分量分类器均为模糊神经网络，且根据训练样本的输入特征值和输出标记值，以监督学习的方式可训练得到每个模糊神经网络的结构和参数；所述模式分类器的分类结果由其包括的三个分量分类器投票表决确定。
7.根据权利要求1所述的方法，其特征在于，所述对模式分类器进行优化的步骤进一步包括以下步骤: 步骤31，当所述模式分类器在线运行时，自动从所述监控视频中提取图像特征，作为测试样本的输入特征值I ; 步骤32，对于该输入特征值I，三个分量分类器分别输出一个预测值PiQ = 1,2,3)； 步骤33，通过投票表决来确定该测试样本的输出标记值L ； 步骤34，如果三个分量分类器的预测值相同，则将当前测试样本的输入特征值和输出标记值对(i，L)作为这三个分量分类器的新增训练样本；如果两个分量分类器的预测值相同而另一个分量分类器的预测值不同，则将当前测试样本的输入特征值和输出标记值对(I，L)作为与其他两个分量分类器的预测值不同的那个分量分类器的新增训练样本。
8.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤: 步骤41，当所述优化后的模式分类器运行时，自动从所述监控视频中提取出图像特征，作为测试样本的输入特征值，对于该输入特征值，所述模式分类器包含的三个分量分类器分别输出相应的预测值，然后通过投票表决的方式确定该测试样本的输出标记值L，作为相应虚拟线圈的初始输出标记，即检测结果； 步骤42，利用所述检测结果的时域相关性，对所述虚拟线圈的初始输出标记进行后处理，以进一步提高车辆检测和计数的精度。
9.根据权利要 求8所述的方法，其特征在于，所述后处理具体为:对于每个虚拟线圈，取多个相邻时刻的初始输出标记做中值滤波处理，得到多个相邻时刻的中间时刻上该虚拟线圈的最终输出标记。
10.根据权利要求1所述的方法，其特征在于，若一段时间内一虚拟线圈的最终输出标记连续为1，则表示这段时间内一辆车驶过了该虚拟线圈，从而对于车辆进行计数。
全文摘要
本发明公开了一种自适应学习的视频车辆检测方法，该方法将视频车辆检测问题视为模式分类问题，主要由图像特征提取、分类器离线训练、分类器在线优化、车辆计数步骤组成首先从监控视频中提取若干种有区分力的图像特征，这些特征既能够区分车辆和背景，又包含与光照和天气条件相关的环境信息；然后利用监督学习方法离线训练模式分类器，并在线优化模式分类器，自动调整各个分量分类器的结构和参数，使分类器具有自适应学习能力，在复杂交通场景中取得更好的分类效果；最后对分类结果序列做后处理，进一步提高车辆检测和计数的精度。本发明增强了现有的虚拟线圈车辆检测方法，具有显著的工程应用价值，能够促进视频监控领域和智能交通领域的发展。
文档编号G06K9/62GK103150903SQ20131004972
公开日2013年6月12日 申请日期2013年2月7日 优先权日2013年2月7日
发明者王坤峰, 姚彦洁, 王飞跃, 俞忠东, 熊刚, 朱凤华 申请人:中国科学院自动化研究所, 东莞中国科学院云计算产业技术创新与育成中心