专利名称：基于背景与帧间差分算法的车流及其运动状态检测方法
技术领域：
本发明涉及道路交通领域，尤其涉及一种基于背景与帧间差分算法的车流及其运动状态检测方法。
背景技术：
随着人类社会的发展，道路交通的压カ日益増大，交通堵塞问题成了各大城市最突出的问题之一。目前，交通红绿灯的时间都是固定不变的，不能实时地根据车流量变换时间配置。现有的检测车流的有地磁感线检测，但建设时需要挖开路面，十分不便；还有激光、超声波检测等，但功能十分局限，难以推广。现在主要道路上的十字路ロ基本都装有高清的监控摄、像机，同时，经过多年的发展，机器视觉技术已经成熟，机器视觉又具有很多便利非接触测量，对于观测者与被观测者都不会产生任何损伤，具有较宽的光谱响应范围，能够长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉则可以长时间地作測量、分析和识别任务，因此可以用于道路车流的检测。目前也有用机器视觉检测道路车流的研究，吴凌霄、林晨、许福海、赵小军等人在《自动化技术与应用》2011，30(10) :72-75上发表了基于背景差分的车辆计数方法的研究一文，但是该方法仅着重于单个目标的跟踪，而没有对道路整体的情况进行检测与分析，制约了机器视觉在道路车流检测方面的应用。为克服上述车流检测方法存在的不足，本发明提出了一种基于背景与帧间差分算法的车流及其运动状态检测方法，该方法将基于背景和帧间差分方法结合起来，对道路上车流的整体情况进行检测，能够实现准确高效地检测出道路上的车流量及其运动状态。并且，不拘泥于单体目标，而是对于道路整体的进行检测，可以为智能交通灯提供数据支持，为智能交通的发展奠定了基础。
发明内容
为克服现有技术的缺陷，本发明的目的在于提高一种基于背景与帧间差分算法的车流及其运动状态检测方法。为达到上述目的，本发明提供一种基于背景与帧间差分算法的车流及其运动状态检测方法，包括以下步骤(I)对通过高清监控摄像头拍摄的路面实时图像进行灰度化处理；(2)对ー组包括多帧灰度化处理后的图像进行背景差分运算得到差分图像提取车辆特征区域，并对差分图像进行处理，计算车流面积及车流面积占道路面积百分比，得到车流量信息，划分车流拥挤程度；(3)选取K与K+1时刻经步骤(I)、步骤(2)过处理的差分图像，进行帧间差分运算，得到车流面积变化量，并计算车流面积变化量占道路面积百分比，得到车流运动状态信息，并划分车流运动状态等级；
(4)对步骤(2)与步骤(3)得到的车流量和车流状态进行综合分析，综合车流拥挤程度与车流运动状态等级对不同道路车流情况进行编码，并预测道路车流状况，若预测到会有堵车发生，发出预警信息，提示疏散车流。依照本发明较佳实施例所述的基于背景与帧间差分算法的车流及其运动状态检测方法，步骤(2)具体包括(21)采用均值法将视频图像中所有的帧相加然后求平均获取背景；(22)采用背景差分算法得到去背景的差分图像，提取车流面积；
(23)对差分图像进行灰度调整、ニ值化、图像分割、闭运算、区域内部填充及去除噪声等图像处理操作，设置车流面积区域内像素点为白点；(24)利用regionprops函数得出白点的像素点总数,计算车流面积及车流面积占道路面积的百分比，具体为s=regionprops (bwl, ’ Area，);area=size (s. Area);d=area/zongshu其中，d为车流面积占道路面积的百分比；bwl为获取面积的图像；’ Area’表示面积參数；area为车流面积；zongshu为道路面积；(25)根据步骤(24)得到的车流面积占道路面积百分比d划分车流拥挤程度d=0%,拥挤程度I，无车；0%〈d ^ 30%,拥挤程度2，有少量车；30%〈d彡70%,拥挤程度3，有中量车，70%〈d彡100%,拥挤程度4，有大量车。依照本发明较佳实施例所述的基于背景与帧间差分算法的车流及其运动状态检测方法，步骤(23)与步骤(24)之间还包括对差分图像进行视觉角度误差校正，消除由于摄像机拍摄视角对车流面积计算造成的影响。依照本发明较佳实施例所述的基于背景与帧间差分算法的车流及其运动状态检测方法，步骤(22)采用下式进行背景差分Ik(i, j) = b' k(i, j)+mk(i, j)+nk(i, j)dk(i, j) = Ik (i, j)_bk(i, j)其中Ik(i，j)是当前巾贞图像，h' k(i, j)表示当前巾贞的背景，mk(i, j)表示运动部分(包括真正的运动、遮挡和显露)，nk(i，j)是各种如系统和传感器固有噪声、目标周围背景引起的干扰噪声，dk(i，j)表示差分图像；根据上式将背景图像的像素值与当前图像的像素值相减即得到差分图像，用代码表示如下d=abs (tuxiang-bei jing);其中，tuxiang 指当前图像，bei jing 指背景图像，d 指
差分图像。依照本发明较佳实施例所述的基于背景与帧间差分算法的车流及其运动状态检测方法，步骤(23)中采用实时阈值进行ニ值化处理。依照本发明较佳实施例所述的基于背景与帧间差分算法的车流及其运动状态检测方法，步骤(23)中边缘检测采用roberts算子。依照本发明较佳实施例所述的基于背景与帧间差分算法的车流及其运动状态检测方法，步骤(3)中帧间差分运算采用下式计算
Δ Γ (i, j) = |Γ k(i，j)_r H(^j)I其中，Γ k(i，j)是k时刻的一帧处理完的图像，其中仅包含有车辆特征区域，为黑白ニ值化图；Γ k+1(i，j)为k+1时刻的一帧处理完的图像，属性与I' k(i，j)相同；ΔΓ (i，j)为两者差分所得的ニ值化图。依照本发明较佳实施例所述的基于背景与帧间差分算法的车流及其运动状态检测方法，步骤(4)中采用BP神经网络进行道路车流预測。本发明的基于背景与帧间差分算法的车流及其运动状态检测方法首先利用背景差分，得到车辆特征区域总面积，计算出车流面积占道路面积的百分比，并对车流量进行等级划分无车，有少量车，有中等车，有大量车；再采用帧间差分算法对不同时刻的图像再次差分，计算车流面积变化量，得到道路上的车流状态流畅通行，轻微堵塞，中度堵塞，严重堵塞；最后，综合车流量和车流状态进行全面分析道路车流情況，并对道路车流状况作出短时预測。与现有技术相比，本发明实现了准确高效地检测出道路上的车流量及其运动状态，并且不拘泥于单体目标，而是对于道路整体的进行检测，可以为交通信号灯的自动配时提供数据基础。因此，本发明能够为智能交通灯提供数据支持，为智能交通的发展奠定了基础，应用前景广阔。
图I为本发明基于背景与帧间差分算法的车流及其运动状态检测方法的流程图；图2为本发明实施例对提取背景后的背景图；图3为本发明实施例的差分图像示意图；图4为本发明实施例差分图像各处理过程的示意图；图5为本发明实施例ニ值化实时阈值获取示意图；图6为本发明实施例视觉误差校正图；图7为本发明实施例帧间差分原理示意图；图8为本发明实施例帧间差分图像处理示意图；图9为本发明实施例的帧间相加图像处理示意图。
具体实施例方式以下结合附图，具体说明本发明。请參阅图I至图8，一种基于背景与帧间差分算法的车流及其运动状态检测方法，包括以下步骤Sll :对通过高清监控摄像头拍摄的路面实时图像进行灰度化处理。具体采用如下公式灰度化后的像素=(该像素的R值+G值+B值)/3。S12:对ー组包括多帧灰度化处理后的图像进行背景差分运算得到差分图像提取车辆特征区域，计算车流面积及车流面积占道路面积百分比，并对差分图像进行处理，得到车流量信息，划分车流拥挤程度。具体包括以下步骤S121 :采用均值法将视频图像中所有的帧相加然后求平均获取背景。图像中亮度的变化是运动目标检测的基础。一般情况下，前景的运动目标的灰度值与背景的灰度值之间有很大的差异，而运动物体本身的灰度值一般不会有很大差异，因此通过图像差分就能很好地反映出两帧图像之间的变化。如能检测出这种变化，就可以将运动目标提取出来并分析其运动特征。本发明采用均值法获取背景，将视频图像中所有的帧相加然后求平均，均值去背景后的背景图如图2所示。具体的均值法获取背景的过程为将预处理的图像导入ー个三维数组中，若数组中第一维度数据大于200(即已存入200张图像)，则对该数组中第二、三维度的数据进行相加取其平均值，得到平均的背景。S122 :采用背景差分算法得到去背景的差分图像，提取车流面积。如图3所示，其为本发明实施例的差分图像示意图。本发明采用下式进行背景差分Ik(i, j) = b' k(i, j)+mk(i, j)+nk(i, j)dk(i, j) = Ik (i, j)_bk(i, j) 其中Ik(i，j)是当前巾贞图像，h' k(i, j)表示当前巾贞的背景，mk(i, j)表示运动部分(包括真正的运动、遮挡和显露)，nk(i，j)是各种如系统和传感器固有噪声、目标周围背景引起的干扰噪声，dk(i，j)表示差分图像；根据上式将背景图像的像素值与当前图像的像素值相减即得到差分图像，用代码表示如下d=abs (tuxiang-bei jing);其中，tuxiang 指当前图像，bei jing 指背景图像，d 指差分图像。S123 :对差分图像进行灰度调整、ニ值化、图像分割、闭运算、区域内部填充及去除噪声等图像处理操作，设置车流面积区域内像素点为白点。各步骤处理后得到的图像如图4所示。灰度调整鉴于光线的原因，差分图像中存在噪声且亮度不均，将其灰度进行一定的调整使图像在ニ值化处理中更精确。选取一定的灰度值范围，在该范围中的灰度值更亮，而不在该范围中的灰度值更暗。ニ值化所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为I表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。但有时所取的灰度值也会根据实际情况的不同而进行取反，即所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为O表示，否则这些像素点被排除在物体区域以外，灰度值为I。本发明通过对不同阈值的选取，得出实时阈值为最佳阈值。图5所示，为本发明ニ值化实施阈值获取示意图。图像分割在实际生活中，为了防止在后续的边缘检测中对图像的处理形成干扰和加快运算速度，而且每条道路上需要过十字路ロ的方向仅有ー个，而另ー个方向是不需要进行检测的，因此对图像进行这ー个方向上的分割，先利用roipoly函数建立一个新的图像，选中的需要分割的区域内部为1，外部为O (ニ值化图)，将要处理的图与建立的新图相加，找到新图中值为I的点，井置O。边缘检测通过检测每个像素和其邻域的状态来确定该像元是否位于ー个物体的边界上。假如某一个像元位于ー个物体的边界上，那么其邻域像元灰度值的变化就会相对比较大。本发明采用了适用于道路情况的roberts算子。闭运算边缘检测后的图像中的区域边缘并不一定是连续的，同时也会有许多干扰噪声在其中，因此对图像进行闭运算，其主要步骤即对图像进行腐蚀和膨胀。闭运算用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。
区域内部填充虽然图形已经基本连成了ー块区域，但是其内部还是黑色，并没有与边缘形成统一，这样的图像是不能进行区域面积的计算的，因此，要将区域的内部进行填充，即判断图形中的像素点是否在区域范围内，若是在区域范围内，则设置成白点。去除噪声由于光线的变化和图像处理的误差会引起图像中的噪声，因此要对其进行清除。通过比较发现，这些白色区域的面积大大小于汽车的面积，因此只需设定好阈值，小于该阈值的区域清除即可。摄像机在拍摄整条道路吋，由于视角的关系，整条道路与在其上的车辆会趋于缩小，这对于车流面积的计算有较大的影响，因此，在对差分图像进行上述处理后，还要对其进行视觉角度误差校正将图像分割为9块区域，对不同的区域乘以不同的系数，从而抵消上述影响。效果如6所示。S124 :利用regionprops函数得出白点的像素点总数，计算车流面积及车流面积占道路面积的百分比，具体为 s=regionprops (bwl, ’ Area，);area=size (s. Area);d=area/zongshu其中，d为车流面积占道路面积的百分比；bwl为获取面积的图像；’ Area’表示面积參数；area为车流面积；zongshu为道路面积；S125:根据步骤(24)得到的车流面积占道路面积百分比d划分车流拥挤程度，具体划分规则如下表。
辆面积占取景面积的百分比(d)拥挤程度
d=0%. I无车
0%くd SS 30%: 2有少量车
30%<d ^ 70%: 3有中量车
70%<d sS 100%4有大量车表I车流拥挤程度划分表S13 :选取K与K+1时刻经步骤S11、S12过处理的差分图像，进行帧间差分运算，得到车流面积变化量，并计算车流面积变化量占道路面积百分比，得到车流运动状态信息，并划分车流运动状态等级。在实际的生活中，知道了车流量并不能完全反映出道路上车流的情况，因为实际的道路不是理想化的，它可能受到道路的建设标准高低、司机的驾驶水平、天气情况等等影响，因此，如果能够得到车流的运动状态，那么道路的整体情况就可以清晰的表示出来，而通过帧间差分的方法，计算车流面积的变化量，就可以准确地得到车流的运动状态。帧间差分运算采用下式计算ΔΓ (i，j) = |l' k(i，j)_r ^(i, j)其中，Γ k(i，j)是k时刻的一帧处理完的图像，其中仅包含有车辆特征区域，为黑白ニ值化图；Γ k+1(i，j)为k+1时刻的一帧处理完的图像，属性与I' k(i，j)相同；ΔΓ (i, j)为两者差分所得的ニ值化图。具体的帧间差分示意图如图7所示，帧间差分处理图如图8所示。在有车前提下，与背景差分中的方法相同，计算出图中白点的像素点个数，并与道路面积做除法运算得到车流面积变化量占道路面积的百分比D。D=areal/area2其中，D为车流面积变化量占K+1时刻车流面积的百分比；areal为K+1时刻与K时刻车流面积变化量；area2为K+1时刻的车流面积。根据车流面积变化量占道路面积的百分比D划分车流运动状态如表2。
权利要求
1.一种基于背景与帧间差分算法的车流及其运动状态检测方法，其特征在于，包括以下步骤 (1)对通过高清监控摄像头拍摄的路面实时图像进行灰度化处理； (2)对ー组包括多帧灰度化处理后的图像进行背景差分运算得到差分图像并对差分图像进行处理，提取车辆特征区域，计算车流面积及车流面积占道路面积百分比，得到车流量信息，划分车流拥挤程度； (3)选取K与K+1时刻经步骤(I)、步骤(2)过处理的差分图像，进行帧间差分运算，得到车流面积变化量，并计算车流面积变化量占道 路面积百分比，得到车流运动状态信息，并划分车流运动状态等级； (4)对步骤(2)与步骤(3)得到的车流量和车流状态进行综合分析，综合车流拥挤程度与车流运动状态等级对不同道路车流情况进行编码，并预测道路车流状况，若预测到会有堵车发生，发出预警信息，提示疏散车流。
2.如权利要求I所述的基于背景与帧间差分算法的车流及其运动状态检测方法，其特征在于，步骤(2)具体包括 (21)采用均值法将视频图像中所有的帧相加然后求平均获取背景； (22)采用背景差分算法得到去背景的差分图像，提取车流面积； (23)对差分图像进行灰度调整、ニ值化、图像分割、闭运算、区域内部填充及去除噪声等图像处理操作，设置车流面积区域内像素点为白点； (24)利用regionpiOps函数得出白点的像素点总数，计算车流面积及车流面积占道路面积的百分比，具体为s = regionprops (bwl,，Area’ ノ ；area = size (s. Area)；d = area/zongshu 其中，d为车流面积占道路面积的百分比；bwl为获取面积的图像；’ Area’表示面积參数；area为车流面积；zongshu为道路面积； (25)根据步骤(24)得到的车流面积占道路面积百分比d划分车流拥挤程度 d = 0%，拥挤程度1，无车；0%< d彡30%，拥挤程度2，有少量车； 30%< d < 70%，拥挤程度3，有中量车，70%< 100%，拥挤程度4，有大量车。
3.如权利要求2所述的基于背景与帧间差分算法的车流及其运动状态检测方法，其特征在于，步骤(23)与步骤(24)之间还包括对差分图像进行视觉角度误差校正，消除由于摄像机拍摄视角对车流面积计算造成的影响。
4.如权利要求2所述的基于背景与帧间差分算法的车流及其运动状态检测方法，其特征在于，步骤(22)采用下式进行背景差分Ik(i，j) = h1 k(i, j)+mk(i, j)+nk(i, j)dk(i, j) = Ik (i，j)-bk(i, j) 其中Ik(i，j)是当前帧图像，b' k(i，j)表示当前帧的背景，mk(i，j)表示运动部分(包括真正的运动、遮挡和显露)，nk(i，j)是各种如系统和传感器固有噪声、目标周围背景引起的干扰噪声，dk(i，j)表示差分图像； 根据上式将背景图像的像素值与当前图像的像素值相减即得到差分图像，用代码表示如下 d = abs(tuxiang-beijing);其中，tuxiang指当前图像，bei jing指背景图像,d指差分图像。
5.如权利要求2所述的基于背景与帧间差分算法的车流及其运动状态检测方法，其特征在于，步骤(23)中采用实时阈值进行ニ值化处理。
6.如权利要求2所述的基于背景与帧间差分算法的车流及其运动状态检测方法，其特征在于，步骤(23)中边缘检测采用roberts算子。
7.如权利要求I所述的基于背景与帧间差分算法的车流及其运动状态检测方法，其特征在于，步骤(3)中帧间差分运算采用下式计算 ΔΓ (i，j) = |r k(i，j)_r k+1(i，j)| 其中，Γ k(i，j)是k时刻的一帧处理完的图像，其中仅包含有车辆特征区域，为黑白ニ值化图；Γ k+1(i，j)为k+1时刻的一帧处理完的图像，属性与Γ k(i，j)相同；ΛΓ (i，j)为两者差分所得的ニ值化图。
8.如权利要求I所述的基于背景与帧间差分算法的车流及其运动状态检测方法，其特征在于，步骤(4)中采用BP神经网络进行道路车流预測。
全文摘要
一种基于背景与帧间差分算法的车流及其运动状态检测方法，首先，对通过高清监控摄像头拍摄的路面实时图像进行灰度化处理；之后，对一组包括多帧灰度化处理后的图像进行背景差分运算得到差分图像提取车辆特征区域，计算车流面积及车流面积占道路面积百分比，得到车流量信息；然后，选取K与K+1时刻经步骤(1)、步骤(2)过处理的差分图像，进行帧间差分运算，得到车流面积变化量及车流面积变化量占道路面积百分比，得到车流运动状态信息；最后，对车流量和车流状态进行综合分析，对不同道路车流情况进行编码，并预测道路车流状况。本发明能够为智能交通灯提供数据支持，为智能交通的发展奠定了基础，应用前景广阔。
文档编号G06T7/20GK102722982SQ20121009031
公开日2012年10月10日 申请日期2012年3月30日 优先权日2012年3月30日
发明者孙一平, 陆广琴 申请人:上海市金山区青少年活动中心