专利名称：基于视频图像分析的交通路口监控技术和系统的制作方法
技术领域：
本发明涉及一种新的路口信号灯控制和路口交通监控的方法和系统，尤其涉及一 种基于视频图像分析进行各路段的车辆检测，以及路口车流的分析及其信号灯控制的方法 和系统，属于基于视频识别技术的交通监控技术领域。
背景技术：
近年来，随着汽车的普及，汽车的数量快速增加，交通拥挤和二氧化碳过量排放的 问题日趋严重。而保证车辆通行的顺畅是缓解这些问题的有效方法之一。为此，路口信号 灯控制的智能化得到了广泛地重视，作为信号灯控制的智能化核心之一的指定路段车辆有 无的检测传感技术被陆续开发使用起来，具有代表性的有地感线圈和无线地磁感应技术， 如申请号为200710303843.9的中国专利公开了一种“采用地感线圈检测路口拥堵状态的 简易方法及采用这种方法的交通信号灯控制系统”、申请号为200710303841. X的中国专利 公开了一种“基于地感线圈的防拥堵交通信号灯控制系统"。这些技术需要将传感器埋入 各车道路面以下，由于磨损和电源损耗，平均5到7年需要停路施工，维护费用较高，而且道 路变更时都要重新埋入地感线圈，更改不够方便灵活、不直观。因此现在迫切需要一种更有 效的车辆状况传感技术，以减少维护成本，提高使用的灵活性和可视性。
发明内容
本发明要解决的技术问题是提供一种交通路口监控技术和系统，实时地检测路口 各方向的车辆情况，实现自动控制信号灯的切换，提高路口信号灯控制的智能化程度和保 证车辆的通行顺畅。为了解决上述技术问题，本发明提供了一种基于视频图像分析的交通路口监控技 术和系统，包括网络摄像机、网络开关、计算机处理器、输出控制接口、信号灯机和信息发布 终端设备，其特征在于该系统首先由各路摄像机和客户端分析软件利用视频图像分析技 术实时检测指定范围内各方向的车辆和车流量，然后通过服务器端的综合分析计算出最佳 的信号灯控制参数，用于信号灯的自动切换，并能将异常情况的道路图像发布给各目的地， 具体是通过以下技术予以实现(1)客户端分析处理系统检测指定范围内各方向车辆的技术，包括以下过程① 通过用一个或复数个成像设备，对各交通路口的各通行方向的各条道路指定观测区域进行 观测，由计算机图形界面指定摄像机观测区域；②根据摄像机获取的图像，自动建立路面的 图像模型并自动更新；③用当前输入的视频图像与路面的图像模型进行比较，抽取出不属 于路面的前景像素及区域；④通过分析前景像素，计算出观测区域内车辆的有无和多少；(2)客户端分析处理系统检测指定区域内车流量的技术，包括以下过程①通过 用一个或复数个成像设备，对各交通路口的各通行方向的各条道路指定观测区域和方向进 行观测，由计算机图形界面指定观测区域和车辆的运动方向；②建立路面的图像模型并自 动更新；③用当前输入的视频图像与路面的图像模型进行比较，抽取出不属于路面的前景
4像素及区域；④通过图像的帧间移动分析各个前景像素的光流，抽取属于指定方向的车辆 前景像素；⑤通过分析前景像素，计算出沿指定方向行驶车辆的有无和多少；(3)服务器端综合分析系统分析各交通路口车辆状况的技术基于上述检测指定 范围内各方向车辆和车流量的技术，得到红灯所对应的通行方向路段上当前的停泊车辆数 量和绿灯所对应的各通行方向路段上车辆通行密度，以此检测分析交通路口的车辆总体状 况；(4)服务器车辆信息综合分析系统对信号灯控制的技术基于上述检测分析的交 通路口的车辆总体状况，对信号灯进行控制，可分以下几种情况①如果绿灯所对应的各 通行方向路段上车辆通行密度(GD)都为零，而且红灯所对应的通行方向路段上当前的停 泊车辆数量(RS)不为零，则立即进行信号灯的切换；②如果绿灯所对应的各通行方向路 段上车辆通行密度(GD)都不为零，而且红灯所对应的通行方向路段上当前的停泊车辆数 量(RS)都为零，保持当前的信号灯状态不变；③如果红灯所对应的通行方向路段上当前的 停泊车辆数量(RS)超过设定阈值TR，而且绿灯所对应的各通行方向路段上车辆通行密度 (GD)小于设定阈值(TG)，且绿灯时间超过设定阈值(GT)，则立即进行信号灯的切换；④其 他条件下，保持信号灯状态不变。(5)交通路况信息发布的技术基于上述服务器端综合分析系统分析各交通路口 车辆状况的技术或其他的方法得到当前交通路口的车辆总体状况进行判断，如果红灯所对 应的通行方向路段上当前的停泊车辆数量(RS)超过设定阈值(TR)，而且红灯时间超过设 定阈值(GT)，通过交通路口的通信设备，将当前的路况以图片或视频方式发送出去。本发明基于视频图像分析自动进行信号灯控制的系统，包含复数个或单个摄像机 组成的成像部分、客户终端各方向车辆计算机分析处理部分、服务器端各方向车辆信息综 合分析及决策部分、输出控制部分和交通路况信息发布部分。本发明基于视频图像分析进行路况信息发布的系统包含复数个或单个摄像机组 成的成像部分、客户终端各方向车辆计算机分析处理部分、路况信息发布部分。本发明基于视频图像分析进行交通路口监控的系统包含复数个或单个摄像机组 成的成像部分、车牌或人脸识别或车辆反向识别或专行道违章识别方法的客户终端各方向 车辆计算机分析处理部分、信息发布部分。本发明与现有技术相比，其优点是用于检测路面的摄像机架设在路面上的空中， 不需要将传感器埋入地下，避免了挖路施工，安装和维护费用较低；道路更改时，不需重新 安装设备，通过软件即可方便灵活的更改；通过视频图像分析技术对路面进行检测，观察范 围大，准确率更高。本发明适用于各种交叉路口的信号灯控制及异常状态的路口图像发布。
图1是本发明的系统硬件构成图；图2是本发明的系统和分析流程示意图。
具体实施例方式如图1所示，本发明的基于视频图像分析的交通路口监控技术和系统，包括网络 摄像机、网络开关、计算机处理器、输出控制接口、信号灯控制设备和信息发布终端设备，系统分析处理流程如图2所示，首先由各路摄像机和客户端分析处理软件实时地检测指定范 围内各方向的车辆和车流量，然后通过服务器端的综合分析，根据当前的信号灯状态控制 信号灯的切换，同时，根据预制的程序在发生异常时，通过信息发布通道将当前的路口交通 信息和视频发布出去，具体是通过以下技术予以实现1、客户端分析处理系统检测指定范围内各方向车辆的技术，包括以下过程①通 过用一个或复数个成像设备，对各交通路口的各通行方向的各条道路指定观测区域进行观 测，由计算机图形界面指定摄像机观测区域；②根据摄像机获取的图像，自动建立路面的图 像模型并自动更新；③用当前输入的视频图像与路面的图像模型进行比较，抽取出不属于 路面的前景像素及区域；④通过分析前景像素，计算出观测区域内车辆的有无和多少。本发明的上述技术在参数设置时，由计算机图形界面指定观测区域和相关参数， 在运行时，分析软件根据高斯混合模型(GMMs)形成的模型，高斯模型就是用高斯概率密度 函数(正态分布曲线)精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数 (正态分布曲线)形成的模型。对图像背景建立高斯模型的原理及过程图像灰度直方图反 映的是图像中某个灰度值出现的频次，也可以以为是图像灰度概率密度的估计。如果图像 所包含的目标区域和背景区域相比差异较大，且背景区域和目标区域在灰度上有一定的差 异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于 背景的中心灰度。对于复杂的图像，一般是多峰的。通过将直方图的多峰特性看作是多个高 斯分布的叠加，可以解决图像的分割问题。在智能监控系统中，对于运动目标的检测是中心 内容，而在运动目标检测提取中，背景目标对于目标的识别和跟踪至关重要，而建模正是背 景目标提取的一个重要环节，我们首先要提起背景和前景的概念，前景是指在假设背景为 静止的情况下，任何有意义的运动物体即为前景。建模的基本思想是从当前帧中提取前景， 其目的是使背景更接近当前视频帧的背景，即利用当前帧和视频序列中的当前背景帧进行 加权平均来更新背景，但是由于光照突变以及其他外界环境的影响，一般的建模后的背景 并非十分干净清晰，而高斯混合模型则是建模最为成功的方法之一，自动建立指定范围内 路面的图像模型并自动更新。用当前输入的视频图像与路面的图像模型进行比较，抽取出 不属于路面的像素(前景像素)及区域。譬如，对某一图像位置(x，y)，当前输入的彩色3 通道视频图像的信号为(II，12，13) (x，y)，同时当前路面的图像模型的该位置的像素信息 为(Bl，B2, B3) (x，y)；由下式，可以技术出输入图像和路面的图像模型在该位置的像素的 差值D(x, y) = Il-Bl | + | I2-B2| + | I3-B3根据预先参数设定的阈值T1，如果D (x，y) > T1，则输入图像的该像素就不属于路 面的像素，是前景像素。否则输入图像的该像素就属于路面的像素。然后，通过累计在指定 范围内当前输入图像的前景像素，计算出车辆的有无和多少。例如根据统计在指定范围内 的像素，可以预先得到指定范围的面积SB，在指定范围内当前输入图像的前景像素的和累 计为SI ；根据预先参数设定的阈值T2，由下式，可以计算出输入图像前景像素的占空比P =SI/SB，如果P > T2，则输入图像在该区域有车辆；否则就没有车辆。2、客户端分析处理系统检测指定区域内车流量的技术，包括以下过程①通过用 一个或复数个成像设备，对各交通路口的各通行方向的各条道路指定观测区域和方向进行 观测，由计算机图形界面指定观测区域和车辆的运动方向；②建立路面的图像模型并自动
6更新；③用当前输入的视频图像与路面的图像模型进行比较，抽取出不属于路面的前景像 素及区域；④通过图像的帧间移动分析各个前景像素的光流，抽取属于指定方向的车辆前 景像素；⑤通过分析前景像素，计算出沿指定方向行驶车辆的有无和多少；本发明中的上述技术在参数设置时，由计算机图形界面指定观测区域，车辆在图 像上的运动方向Mb以及相关参数，在运行时，分析软件根据高斯混合模型(GMMs)自动建立 指定范围内路面的图像模型并自动更新。用当前输入的视频图像与路面的图像模型进行比 较，抽取出不属于路面的像素(前景像素)及区域。譬如，对某一图像位置(x，y)，当前输 入的灰色单通道视频图像的信号为I(x，y)，同时当前路面的图像模型的该位置的像素信息 为B(x，y)；由下式，可以计算出输入图像和路面的图像模型在该位置的像素的差值D(x，y) = |l_B根据预先参数设定的阈值T1，如果D(x，y) > T1，则该输入图像的像素就不属于 路面的像素，是前景像素，否则该输入图像的像素就属于路面的像素，通过光流法分析各个 前景像素的帧间移动方向M(x，y)，光流法在模式识别、计算机视觉以及其他图像处理应用 中广泛使用，它与运动检测以及运动估计紧密相关。在一个图像平面上，物体的运动往往是 通过图像序列中不同点的灰度分布的变化体现的，空间中的运动场转移到图像上就表示为 光流场，光流场反映了图像上每一点的灰度的变化趋势。通过3x3像素领域搜索，将相连的 前景像素抽取出来组成前景块G，并根据各前景像素的光流，计算出该前景块G的移动方向 Mg。下式可以计算出输入图像的某前景块G的运动方向和指定车辆的在图像上的运动方向 Mb的差值Dg = | Mg-Mb根据预先参数设定的阈值T3，如果Dg > T3，则该前景块G的像素就属于指定方向 的车辆前景像素。否则就不属于指定方向的车辆前景像素，然后通过累计在指定范围内当 前输入图像属于指定方向的车辆前景像素，计算出指定方向上行驶车辆的有无和多少。譬 如，根据统计在指定范围内的像素，可以预先得到指定范围的面积SB，累计在指定范围内 当前输入图像属于指定方向的车辆前景像素的和为SI ；根据预先参数设定的阈值T4，由下 式，可以技术出输入图像前景像素的占空比P = SI/SB如果P > T4，则，输入图像在该区域有指定方向上行驶的车辆；否则就没有车辆。3、服务器端综合分析系统分析各交通路口车辆状况的技术基于上述检测指定 范围内各方向车辆和车流量的技术，得到红灯所对应的通行方向路段上当前的停泊车辆数 量和绿灯所对应的各通行方向路段上车辆通行密度，以此检测分析交通路口的车辆总体状 况；4、服务器车辆信息综合分析系统对信号灯控制的技术基于第3条所述的方法得 到各交通路口的车辆总体状况，对信号灯进行控制，可分以下几种情况①如果绿灯所对应 的各通行方向路段上车辆通行密度(GD)都为零，而且红灯所对应的通行方向路段上当前 的停泊车辆数量(RS)不为零，则立即进行信号灯的切换；②如果绿灯所对应的各通行方向 路段上车辆通行密度(GD)都不为零，而且红灯所对应的通行方向路段上当前的停泊车辆 数量(RS)都为零，保持当前的信号灯状态不变；③如果红灯所对应的通行方向路段上当前 的停泊车辆数量(RS)超过设定阈值TR，而且绿灯所对应的各通行方向路段上车辆通行密度(GD)小于设定阈值(TG)，且绿灯时间超过设定阈值(GT)，则立即进行信号灯的切换；④ 其他条件下，保持信号灯状态不变。5、交通路况信息发布的技术基于上述服务器端综合分析系统分析各交通路口车 辆状况的技术或其他的方法得到当前交通路口的车辆总体状况进行判断，如果红灯所对应 的通行方向路段上当前的停泊车辆数量(RS)超过设定阈值(TR)，而且红灯时间超过设定 阈值(GT)，通过交通路口的通信设备，将当前的路况以图片或视频方式发送出去。本发明基于视频图像分析自动进行信号灯控制的系统，包含复数个或单个摄像机 组成的成像部分、客户终端各方向车辆计算机分析处理部分、服务器端各方向车辆信息综 合分析及决策部分、输出控制部分和交通路况信息发布部分，成像部分将图像传送到客户 终端各方向车辆计算机分析处理部分，经过客户终端分析处理的结果再传送到服务器端， 对各方向车辆信息综合分析及决策，然后再通过输出控制部分对信号灯进行控制，还要通 过交通路况信息发布部分对路况信息进行发布。基于视频图像分析进行路况信息发布的系 统包含复数个或单个摄像机组成的成像部分、客户终端各方向车辆计算机分析处理部分、 路况信息发布部分。本发明基于视频图像分析进行路况信息发布的系统包含复数个或单个摄像机组 成的成像部分、客户终端各方向车辆计算机分析处理部分、路况信息发布部分，成像部分将 图像传送到客户终端分析处理后，由路况信息发布部分发布出去。本发明基于视频图像分析进行交通路口监控的系统包含复数个或单个摄像机组 成的成像部分、车牌或人脸识别或车辆反向识别或专行道违章识别方法的客户终端各方向 车辆计算机分析处理部分、信息发布部分，成像部分将图像传送到客户终端分析处理后，由 路况信息发布部分发布出去。
权利要求
1.基于视频图像分析的交通路口监控技术和系统，包括网络摄像机、网络开关、计算机 处理器、输出控制接口、信号灯机和信息发布终端设备，其特征在于该系统首先由各路摄 像机和客户端分析软件利用视频图像分析技术实时检测指定范围内各方向的车辆和车流 量，然后通过服务器端的综合分析计算出最佳的信号灯控制参数，用于信号灯的自动切换， 并能将异常情况的道路图像发布给各目的地，具体是通过以下技术予以实现(1)客户端分析处理系统检测指定范围内各方向车辆的技术，包括以下过程①通过 用一个或复数个成像设备，对各交通路口的各通行方向的各条道路指定观测区域进行观 测，由计算机图形界面指定摄像机观测区域；②根据摄像机获取的图像，自动建立路面的图 像模型并自动更新；③用当前输入的视频图像与路面的图像模型进行比较，抽取出不属于 路面的前景像素及区域；④通过分析前景像素，计算出观测区域内车辆的有无和多少；(2)客户端分析处理系统检测指定区域内车流量的技术，包括以下过程①通过用一 个或复数个成像设备，对各交通路口的各通行方向的各条道路指定观测区域和方向进行观 测，由计算机图形界面指定观测区域和车辆的运动方向；②建立路面的图像模型并自动更 新；③用当前输入的视频图像与路面的图像模型进行比较，抽取出不属于路面的前景像素 及区域；④通过图像的帧间移动分析各个前景像素的光流，抽取属于指定方向的车辆前景 像素；⑤通过分析前景像素，计算出沿指定方向行驶车辆的有无和多少；(3)服务器端综合分析系统分析各交通路口车辆状况的技术基于上述检测指定范围 内各方向车辆和车流量的技术，得到红灯所对应的通行方向路段上当前的停泊车辆数量和 绿灯所对应的各通行方向路段上车辆通行密度，以此检测分析交通路口的车辆总体状况；(4)服务器车辆信息综合分析系统对信号灯控制的技术基于上述检测分析的交通路 口的车辆总体状况，对信号灯进行控制，可分以下几种情况①如果绿灯所对应的各通行方 向路段上车辆通行密度(GD)都为零，而且红灯所对应的通行方向路段上当前的停泊车辆 数量(RS)不为零，则立即进行信号灯的切换；②如果绿灯所对应的各通行方向路段上车辆 通行密度(GD)都不为零，而且红灯所对应的通行方向路段上当前的停泊车辆数量(RS)都 为零，保持当前的信号灯状态不变；③如果红灯所对应的通行方向路段上当前的停泊车辆 数量(RS)超过设定阈值TR，而且绿灯所对应的各通行方向路段上车辆通行密度(⑶)小于 设定阈值(TG)，且绿灯时间超过设定阈值(GT)，则立即进行信号灯的切换；④其他条件下， 保持信号灯状态不变。(5)交通路况信息发布的技术基于上述服务器端综合分析系统分析各交通路口车辆 状况的技术或其他的方法得到当前交通路口的车辆总体状况进行判断，如果红灯所对应的 通行方向路段上当前的停泊车辆数量(RS)超过设定阈值(TR)，而且红灯时间超过设定阈 值(GT)，通过交通路口的通信设备，将当前的路况以图片或视频方式发送出去。
2.根据权利要求1所述的基于视频图像分析的交通路口监控技术和系统，其特征还在 于基于视频图像分析自动进行信号灯控制的系统，包含复数个或单个摄像机组成的成像 部分、客户终端各方向车辆计算机分析处理部分、服务器端各方向车辆信息综合分析及决 策部分、输出控制部分和交通路况信息发布部分，成像部分将图像传送到客户终端各方向 车辆计算机分析处理部分，经过客户终端分析处理的结果再传送到服务器端，对各方向车 辆信息综合分析及决策，然后再通过输出控制部分对信号灯进行控制，还要通过交通路况 信息发布部分对路况信息进行发布。
3.根据权利要求1所述的基于视频图像分析的交通路口监控技术和系统，其特征还 在于基于视频图像分析进行路况信息发布的系统包含复数个或单个摄像机组成的成像部 分、客户终端各方向车辆计算机分析处理部分、路况信息发布部分，成像部分将图像传送到 客户终端分析处理后，由路况信息发布部分发布出去。
4.根据权利要求1所述的基于视频图像分析的交通路口监控技术和系统，其特征还 在于基于视频图像分析进行交通路口监控的系统包含复数个或单个摄像机组成的成像部 分、车牌或人脸识别或车辆反向识别或专行道违章识别方法的客户终端各方向车辆计算机 分析处理部分、信息发布部分。
全文摘要
本发明公开了一种基于视频图像分析的交通路口监控技术和系统，包括网络摄像机、网络开关、计算机处理器、输出控制接口、信号灯机和信息发布终端设备，该系统首先由各路摄像机和客户端分析软件利用视频图像分析技术实时检测指定范围内各方向的车辆和车流量，然后通过服务器端的综合分析计算出最佳的信号灯控制参数，用于信号灯的自动切换，并能将异常情况的道路图像发布给各目的地。其优点是用于检测路面的摄像机架设在路面上的空中，安装和维护费用较低；道路更改时，不需重新安装设备，通过软件即可方便灵活的更改；通过视频图像分析技术对路面进行检测，观察范围大，准确率高。本发明适用于交叉路口的信号灯控制及异常状态的路口图像发布。
文档编号H04N7/18GK102005120SQ201010553169
公开日2011年4月6日 申请日期2010年11月22日 优先权日2010年11月22日
发明者顾海松, 顾红松 申请人:顾海松, 顾红松