专利名称：基于视频的交通监控系统的图像处理技术及其方法
技术领域：
本发明涉及多个发明，总地说，涉及使用视频图像的交通数据采集的图像处理技术的应用。具体而言，涉及从视频图像序列来检测车辆的图案处理技术的应用，以及交通数据采集和交通事故检测。
2.背景技术2.1用于交通分析的图像处理技术
图1表示一基于视频的交通监控系统的操作的示意图。安装于一结构、如路灯柱上的相机拍摄交通现场，该相机用作捕捉交通图像的传感器设备。将捕捉到的模拟视频图像传送至一处理器，该处理器将该模拟视频转换为数字形式。对数字化的图像进行再处理和分析，使用图像处理技术来提取交通信息。接着将提取后的信息传送给外部用户，例如交通控制中心来进行交通监控/控制。
通常，可将基于视频的交通监控系统的图像处理技术应用分为四个阶段1.图像采集2.数字化3.车辆检测4.交通参数提取对于大多数现有的基于视频的交通监控系统而言，阶段1和2基本相同。各系统之间的主要区别存在于阶段3和4中。
在车辆检测过程期间，处理输入视频图像，以确定研究区(ROI)内的车辆出现。ROI可以是一单个象素，一象素线或象素簇。在交通参数提取阶段中，通过比较不同帧(时间间隔)处的ROI的车辆检测状态来获得交通参数。
2.2车辆检测基于视频的交通监控系统的一个基本要求是能够检测ROI中车辆的出现。大部分基于视频的交通监控系统采用背景差别方法来进行车辆检测。该方法是通过从提前生成的背景图像中减去输入图像来检测车辆的过程。背景图像中仅描述路面，而不出现车辆，该背景图像用作参考。
2.2.1问题2.2.1.1背景现场的动态更新使用该方法的基本要求是需要生成背景参考图像。还必须经常更新该背景图像，以反映路面的周围照明条件中的改变，例如从白天到晚上的过渡期间，反之亦然。这种光强度的变化可引起系统“错误触发”车辆出现。然而，使用该背景差别方法时的主要问题是，如果路面交通堵塞严重或照明条件迅速改变，则难以获得更新后的背景图像。照明条件的改变可能是因路过的云彩或太阳高度的改变引起的附近建筑物的阴影造成的。
2.2.1.2移动阴影使用背景差别方法的另一问题是在阳光明媚的一天中，车辆会将一“移动”阴影投射到下一个车道上，如图2所示。该阴影可能导致对受影响车道的错误检测。
2.2.1.3夜晚检测(前灯反射)当使用背景差别方法时引起错误检测的再一个因素是夜晚时车辆的前灯，如图3所示。
2.2.1.4人字形区处的检测通常在车辆经过的车道上进行车辆的检测。但是，存在要求在车道以外的位置处检测车辆的情况。例如，在道路两侧或人字形区(如图4所示，是指包括白色带的区域，该区域主要出现在入口/出口和高速路之间的交汇点处)对停止的车辆进行检测。通常使用与车道中进行的车辆检测相似的技术来进行道路两侧的车辆检测。但是，当使用常规的背景差别方法时，人字形区处的车辆检测则出现问题。
与一般的车道区域相比，人字形区处的车辆检测的困难在于背景不相似。当使用常规的背景差别技术时，输入图像与ROI中的背景图像一个象素接一个象素地进行比较。如果出现车辆，则该比较输出高。但是，当ROI处于包括黑和白色带的人字形区域中时，即使实际上没有出现车辆，相机的轻微移动也将导致高输出。当使用边缘密度信息来检测人字形区域中的车辆时，检测变得不敏感。这是因为ROI的背景边缘密度由于黑/白色带而相对变高，从而导致难以根据边缘密度从背景中区分出车辆。
2.2.2已知的问题解决方法2.2.2.1背景现场的动态更新更新背景图像的一个方法是查看图像序列中的不同帧。在任一帧中，汽车覆盖部分道路。随着时间的推移，汽车移动并露出覆盖的道路。如果序列足够长，则可发现无汽车(car-free)道路的清楚照片。一个象素接一个象素地生成该背景图像。在多个初始化帧中观察每个点的强度。大部分出现的强度值通常被选择为该点处的背景值。另一个方法是使用插补(对于多个帧)方法，某种意义上通过在不同帧处采集象素的平均值。
但是，使用这两种方法的缺点在于，如果序列长，则选择一个帧序列上的每个象素的最经常发生的强度值(或平均值)的过程的计算密集。如果序列短，则难以得到拥挤交通条件下的足够的背景象素强度值。如果光强度的改变太突然，例如移动的云彩投下的阴影，则也不能有效进行这种背景现场的动态更新。
2.2.2.2夜晚检测当使用背景差别方法来在夜晚进行车辆的检测时，由于例如前灯反射等问题而引起错误检测。为了克服这种问题，已采用的一种技术将前灯用作车辆出现的指示。使用方法的直接途径是如果一组象素强度值比其周围象素大出一临界值，则检测车辆的前灯。使用这种技术的问题在于难以将从周围象素中分离出前灯强度来建立该临界值。因为前灯的绝对强度值和周围象素可根据路面的整体强度来动态变化。实时执行这两种尺寸研究的计算也很密集。
2.2.2.3白天-夜晚的过渡因为夜晚检测采用了不同于白天检测的车辆检测过程。必然要求在白天和夜晚过渡期间自动从一个检测过程转换为另一个检测过程。该解决方法在于自动检测交通现场的白天/夜晚状态。但是，因为白天和夜晚之间的过渡是逐渐的，所以难以检测，反之亦然。分析图像的整个平均强度值，白天和夜晚的区别并不能提供一可靠的解决方法。这是因为在交通严惩堵塞的条件下，车辆前灯会明显增加图像的整体强度。避免车辆前灯的一个方法是选择一位于交通车道“以外”的检测区域。但是，因为交通现场是一个不受控制的室外环境，所以不能保证检测区域的条件在较长时间周期内保持不变。
2.3提取交通参数在参数提取阶段中，通过在不同时间间隔的不同图像帧处比较ROI的车辆检测状态来提取交通参数。通常将交通参数分成两种类型、交通数据和事故。根据采用的参数提取方法，基本的交通数据通常包括车辆计数、速度、车辆长度、平均占有量等。使用基本交通数据可容易地得出其它数据，例如间距(gap-way)和密度。交通事故包括拥挤、停止的车辆(在交通车道或道路两侧上)、方向错误交通等。
2.3.1已知的解决方法和问题现有的交通参数提取方法通常包括窗口技术(或行程线)和跟踪技术，分别如图5和6所示。
2.3.1.1窗口技术和问题使用窗口技术，ROI通常被定义为分隔开的多组窗口(矩形框)，如图5所示。每个窗口的基本功能是检测车辆，从而对车辆的数量进行计数。为了测量车辆速度，需要两个窗口。通过获得车辆从一个窗口到另一个窗口所需的时间，当已知两个窗口之间的物理距离时，系统可确定车辆速度。接着，通过获得被检测车辆出现于一个窗口中的时间长度和车辆速度，可得到车辆长度。窗口技术的优点在于计算简单。
由于帧速率分辨率引起的误差窗口技术的缺点在于其长度和速度测量的准确性受到处理帧速率的分辨率和车辆实际速率的影响。在图7中，车辆A首先激活帧f处的窗口x。在图8的帧f+n处，车辆A激活窗口y。为了计算车辆速度，假设车辆在n个帧的时间周期中已穿过距离dw。Dw是两个窗口之间的物理距离。但是，由于有限的帧速率分辨率，车辆A穿过的实际距离为dv(比较图7和8)。因此，误差率为(dv-dw)/dw。当帧速率下降时，该误差的上下限增加。
因闭塞引起的误差当使用两个窗口来进行速度测量时，必须最大化两个窗口之间的距离，以减少因帧速率分辨率引起的误差。但是，两个窗口之间距离的增加将增加窗口处对图像上部的闭塞可能性。该闭塞如图9和10所示，其中表示两个连续的视频图像帧。这两个图还表示用于交通数据提取的相机视图的典型角度。由于透视误差，车辆B看上去与车辆A在图9的帧f处“连接”，因此，窗口x在车辆B出现(于窗口x处)时不能检测时间。但是，在帧f+n处(图10)，窗口y可成功地检测车辆B，这是因为透视误差在图像的较低端最小。当窗口y被用作计数“传感器“时，其因闭塞引起的计数误差将被最小化。但是，车辆速度测量(及之后的车辆长度)的准确性将受到窗口x处的闭塞问题的影响。在拥挤条件下，闭塞更明显。
2.3.1.2跟踪技术和问题当使用跟踪技术时，如图6所示，首先沿ROI的“跟踪区”进行研究。当检测一车辆时，确定其位置。接着，在后序的帧中沿跟踪区跟踪该车辆。通过在每个帧中跟踪该车辆，利用其位置来测量车辆速度。通过检测车辆前端和后端可直接检测车辆长度。
使用跟踪方法的优点在于该方法在速度测量方面在理论上比窗口技术更准确。因为在每个帧处确定跟踪车辆的准确位置，因此其速度测量不受帧速率分辨率的影响。与窗口技术相比，跟踪方法的缺点在于，其计算密集。但是，随着计算机处理能力的增强，该缺点变得越来越不明显。
因闭塞引起的误差对于使用跟踪技术、即通过测量车辆的前端和后端的直接长度测量而言，必须将该车辆与在先和在后的车辆分隔开至少一帧。但是，由于透视角度，如图11(车辆A和B)所示，难以将车辆与在后车辆分隔开。在图12中，虽然车辆A与B分隔开，但其前端超出视图的相机视野，因而不能确定其长度。
3.发明概述一个方面，本发明提供一种处理从基于视频的交通监控系统中接收的图像的方法，该方法包括以下步骤从至少一个视频源接收输入，至少存储部分输入，通过对输入进行数字化过程来形成数字数据，分析数据，包括分析用于检测车辆的数据、相关的预定参数和/或分析用于检测预定事故的数据，
提供对应于分析步骤的信息，作为输出。
最好是，该方法进一步包括检索步骤，检索在分析检测事故的情况下存储的输入。
另一方面，本发明提供一种交通监近系统中的研究区域(ROI)，用于检测移动车辆，该ROI包括两个部分，一轮廓速度区(PSZ)和一车辆检测窗口(VDW)，将这两个部分与被监控交通的对应路面基本对齐，如果在VDW处检测车辆，则用PSZ来提取车辆速度，和用VDW来检测窗口中车辆的出现，VDW部分覆盖PSZ。
再一方面，提供一种交通监控系统中的研究区域(ROI)，用于检测道路两侧或人字形区处的停止车辆，该ROI包括车辆检测窗口(VDW)，用VDW来检测窗口中车辆的出现。
又一方面是一种交通监控系统中检测白天或夜晚状态的方法，该方法如权利要求中所述。
本交通监控系统的其它创造性方面如权利要求所述。
本公开涉及交通监控系统的多个方面。特别是，创造性方法对使用视频图像的交通监控系统采用不同的先进图像处理算法。该系统的基本功能是用于交通数据采集和事故检测。该创造性方面一般集中在交通监控系统的车辆检测和交通参数提取过程中。
本质上，在车辆检测过程中，白天和夜晚采用两种不同的图像处理技术来检测车辆。对于白天的检测，建议用边缘密度信息来检测ROI中车辆的出现。该建议技术的优点在于可消除例如前灯反射等干扰。通过考虑到车辆阴影的方向边缘特性，还可消除车辆对相邻车道的阴影。通过使用边缘密度信息，该过程在动态的周围照明条件下变得更强。对于夜晚检测，采用前灯检测来检测车辆。建议用强度轮廓方法来检测车辆前灯。通过使用该方法，系统变得更稳定，其中，因前灯反射引起的错误检测最小化。该方法的另一优点在于计算上的低密集。为了提供白天和夜晚之间的检测算法的自动转换，将平均强度值与ROI中的象素强度的对比度的用途相结合来检测白天和夜晚。
对于交通参数提取阶段，创造性方面集中于车辆计数、速度、长度以及时间占有的采集，以提取交通数据，这是因为例如密度、前灯等可容易地从这些基本交通数据中得出。接着，将该交通数据用于检测交通事故的不同类型。在本发明的一个方面，结合窗口和跟踪技术来提取交通参数。通过使用这种方法，可最小化因帧速率分辨率以及闭塞引起的误差。
基于视频交通监控系统的不同算法的应用也被认为是创造性的。
附图的简要说明图1表示基于视频的交通监控系统的顶视图。
图2表示由于相邻车辆引起的移动阴影。
图3表示车辆的前灯反射。
图4表示人字形区。
图5表示窗口技术的基本概念。
图6表示跟踪技术的基本概念。
图7表示因帧f的帧速率分辨率引起的窗口技术的计量误差。
图8表示因帧f+n的帧速率分辨率引起的窗口技术的计量误差。
图9表示因帧f的闭塞引起的窗口技术的速度/长度计量误差。
图10表示因帧f+n的闭塞引起的窗口技术的速度/长度计量误差。
图11表示因帧f的闭塞引起的跟踪技术的长度计量误差。
图12表示因帧f+n的闭塞引起的跟踪技术的长度计量误差。
图13是交通监控系统的图像处理过程的示意框图。
图14表示交通监控系统的图像处理过程的流程图。
图15表示车辆检测过程的流程图。
图16表示本发明中所采用的ROI的定义。
图17表示ROI，其中，为了检测交通现场的白天/夜晚状态而获得平均强度值和象素强度变化。
图18表示三种不同交通条件下的ROI的强度分布函数。
图19是车辆白天检测过程的流程图。
图20表示前灯反射的影响。
图21表示使用边缘密度信息的车辆前灯反射的去除。
图22表示因相邻车辆引起的移动阴影的影响。
图23表示当仅使用边缘密度时如何减少移动阴影。
图24表示如何通过使用加权方向边缘信息来进一步减少因阴影边界引起的边缘。
图25表示通过ROI的强度轮廓投影的前灯的明显特征。
图26是车辆夜晚检测过程的流程图。
图27是车辆人字形区检测过程的流程图。
图28是交通参数提取过程的流程图。
图29是使用轮廓速率提取技术来获得车辆速度的过程的流程图。
图30表示帧f处的轮廓速度区的边缘轮廓的生成。
图31表示帧f+1处的轮廓速度区的边缘轮廓的生成。
图32表示通过在连续的帧处获得的两个边缘轮廓的闭塞过程的车辆速度的提取。
5.发明的详细描述下面的详细描述特别适用于在动态周围照明条件下使用视频图像的交通数据提取的本发明。将该描述分为三部分。首先，描述本发明的整个系统结构，以及图像处理过程的流程。在第二部分中，进一步详细描述本发明的车辆检测过程。在第三部分中描述交通参数提取过程。
图13是交通监控系统的图像处理过程1300的示意框图。该系统能够处理高达四个视频输入，因此提供四个交通地址的同时监控。视频转换模块1302负责四个视频输入之间的多路复用。在数字化过程1303中，为后序处理进行视频信号的数字化。在模块1305处，对数字化的图像进行图像以检测ROI处的车辆。一旦在模块1307处检测车辆时，根据不同图像帧处的检测状态来提取交通数据。在模块1308处，根据提取的交通数据来推断交通事故的发生。将提取的交通参数(交通数据和事故)输出给输出模块1309。
在模块1304处，将数字化的图像序列压缩成更小的图像，将其存储在一组备份图像存储器中。该备份图像存储器具有可存储每个视频输入的固定数量、如n个图像的固定的存储器大小。不时用最新的输入图像来更新图像存储器。因此在任一时间，视频输入的最后n个图像总是存储于备份图像存储器中。由于该备份图像模块的功能，所以当检测到交通事故时，打断备份过程。因此可检索备份图像来进行分析和事故发生前的交通图像的可视调查。
在模块1306处，将例如交通图像、处理后的图像、交通参数等不同交通信息存储到显示存储器上，以进行视频输出。该特征的一个技术上的优点在于可将来自四个不同视频源的所有四个数字化图像并为一个显示视频输出。因此，可使四个视频输入图像仅通过一条传送线传输。
图14表示监控系统的图像处理过程的流程，该系统用标号1400表示，但具有对应于上述1300的模块的每个步骤的说明。
5.2车辆检测过程由于道路和人字形区以及白天、夜晚条件的不同背景特征，所以难以使用一个检测技术来对不同条件进行车辆检测。本发明中采用三种不同的车辆检测技术，即车辆白天检测、车辆夜晚检测和车辆人字形区检测。一个技术用于在白天检测正常道路上的车辆，一个技术用于夜晚的正常道路上，另一个用于在白天和夜晚检测人字形区处的停止车辆。
图15表示车辆检测过程1500的流程。对于正常道路，将车辆检测过程分成两个阶段，白天/夜晚检测和车辆检测。在道路的车辆检测过程中，首先处理输入图像来确定一定间隔处的交通现场的白天/夜晚状态。根据交通现场的状态(白天或夜晚)，使用车辆白天检测1505或车辆夜晚检测1506来对ROI处的车辆出现状态进行图像处理。对于人字形区处的车辆检测，车辆人字形检测技术1503可用于白天和夜晚条件。
5.2.1研究区-ROI在车辆检测过程中，对每个获得交通信息的位置定义ROI。对于道路的交通参数提取，如图16所示，每个ROI通常与每个车道相一致。如图16所示，每个ROI包括两个区，轮廓速度区PSZ和车辆检测窗口VDW。VDW在较低端覆盖于PSZ上。VDW的功能用于检测窗口上车辆的出现。PSZ的功能在于如果在VDW处检测到车辆，则提取该车辆速度。对于道路两侧或人字形区处的停止车辆的检测，ROI仅包括VDW。
5.2.2白天/夜晚检测1502基于两个图像参数、即平均灰度强度Iave和象素强度的统计偏差Vsts。从ROI中的象素强度中提取这些参数。图17表示夜晚时典型的交通现场。如图所示，在道路上有车辆的夜晚中，ROI由于车辆前灯和黑暗背景而具有高的象素强度偏差。图18表示三种交通现场条件下的三种典型象素密度分布函数。图18的函数f3(g)表示夜晚现场下的象素强度的典型分布。f3(g)中的两个最大值主要是由于车辆前灯和背景的象素强度引起的。对于夜晚现场而言，其中ROI中没有车辆，分布函数类似于f2(g)，其中大部分象素强度为低。f1(g)表示一般白天现场下ROI的象素强度分布函数，其中最大值居中。为了区别不同的象素强度分布，测量两个图像参数，即平均灰度强度Iave和象素强度的统计偏差Vsts。对于ROI中的象素PROI(x，y)，如下获得两个参数平均灰度强度Iave (1)统计偏差Vsts (2)其中，IROI(x，y)是RIO内象素PROI(x，y)的强度值，NROI是RIO内的象素总数量。在图15的模块1502中，确定输入交通现场是白天还是夜晚的过程如下1.分别用式1和式2来计算ROI内的两个白天/夜晚检测参数Iave和Vsts。
2.如果Vsts＞VTH或(Iave＜VTH且Vsts＜VTH)，则交通现场状态标记为“夜晚”，否则交通现场状态标记为“白天”。
在步骤2中，如果满足两个条件中的任一个，则交通现场的状态被确定为夜晚。如果交通现场在ROI中具有高的象素强度偏差，则满足第一条件“Vsts＞VTH”。这在夜晚现场下车辆出现于ROI中时最可能发生。VTH是一恒定的临界值，表示夜晚时有车辆前灯下的ROI的象素强度的最小偏差。如果交通现场在ROI中具有低平均和低偏差的象素强度，则满足第二条件“Iave＜VTH且Vsts＜VTH”。如果在夜晚现场下ROI中没有出现车辆，则可能满足该条件。ITH是一恒定的临界值，表示夜晚时没有车辆前灯下的ROI的最大平均强度。如果在步骤2中两个条件均未满足，则表示交通现场具有相对较高的Iave和较低的Vsts，这可能是白天交通现场的条件。
5.2.3车辆白天检测1505在图15的模块1505中，处理输入图像的边缘密度信息，来从路面的相同纹理中区别车辆的复合纹理，以检测车辆的出现。使用边缘密度信息来检测车辆的一个显著优点在于不需要参考图像(背景现场)，这是因为仅使用输入图像的边缘信息来执行检测过程。因此，消除了参考图像的动态更新的问题。因此，不需要大的存储空间来存储参考图像。另一个优点在于交通现场的边缘密度信息对例如飘过的云彩的阴影等照明条件的突然改变不敏感。这是因为边缘密度是从同一图像中的相邻象素的强度值改变中推导出来的，并且不存在与参考图像的比较。使用该方法的系统在不同的照明条件和照明条件改变、例如白天到夜晚的过渡下还非常稳定。
图19是车辆白天检测过程的流程。根据输入数字化图像，在模块1901处计算VDW的整个边缘密度EVDW。首先，使用Soble技术[1]从原始的象素值I(x，y)中提取水平和垂直方向边缘的象素值(EH(x，y)，EV(x，y))。如下获得EH(x，y)，EV(x，y)EH(x,y)=|Σm=-1,n=-1m=1,n=1SH(m+1,n+1)*/(x+m,y+m)|----(3)]]>EV(x,y)=|Σm=-1,n=-1m=1,n=1SV(m+1,n+1)*/(x+m,y+n)|----(4)]]>其中，SH和SV是分别用于提取水平和垂直边缘的3X3矩阵。SH=-1-2-1000121]]>SV=-101-202-101]]>接着，结合这两个方向边缘来生成象素(x，y)处的整个边缘强度E(x，y)E(x，y)＝(1-K)*EH(x，y)+K*EV(x，y) (5)K是0和1之间一常数。引入K是为了给边缘的水平和垂直分量不同的加权。通过设定K＞0.5，可使系统进一步最小化阴影的水平边缘。
之后如下获得VDW的整个边缘强度EVDW对于VDW中的所有象素(x，y)，如果(E(x，y)＞ET)，那么EVDW＝EVDW+E(x，y) (6)其中，ET是用于消除因例如前灯反射等干扰引起的边缘的临界值。
在模块1903中，将EVDW与E_RefVDW进行比较，其中，E_RefVDW是没有出现车辆时VDW的平均边缘强度。根据以下条件来检测车辆如果(EVDW＞E_RefVDW+KT)，那么出现车辆，否则未出现车辆 (7)其中，KT是该恒定临界值。在未控制的动态室外环境下，背景现场的边缘密度E_RefVDW明显变化。该变化依赖于多个因素，例如路面纹理类型、象素分辨率和相机的放大因素等。因此，对E_RefVDW定义一恒定值是不实际的。在本发明中，根据实时图像边缘信息，采用适应的方法来动态更新E_RefVDW的值。在检测过程中，假设路面相对车辆纹理更“光滑”。如果未出现车辆，则可根据下述来动态更新E_RefVDW如果(未出现车辆){如果(E_RefVDW＞EVDW)那么E_RefVDW＝E_RefVDW-(E_RefVDW-EVDW)/Rup否则如果(E_RefVDW＜EVDW且EVDW＜E_RefVDW+KT)那么E_RefVDW＝E_RefVDW+(EVDW-E_RefVDW)/Rup}(8)其中，Rup是控制更新速率的常数。通过对E_RefVDW进行相对大值的初始化，上述技术可将E_RefVDW动态调节为路面的实际边缘密度。因此，该过程将连续将E_RefVDW调节为路面的实际边缘密度。
使用边缘信息来检测车辆出现的过程以及动态更新背景边缘密度的过程如下所述1.对于VDW中的所有象素(x，y)，使用式3、4和5，根据原始的象素强度I(x，y)来计算象素边缘E(x，y)。
2.使用式6获得VDW的平均边缘密度值EVDW3.车辆检测用式7比较EVDW和参考E_RefVDW，检测车辆4.用式8来动态更新E_RefVDW5.2.3.1车辆前灯去除当使用边缘密度方法时，可成功地将车辆前灯反射引起的车辆错误检测最小化。如图20和图21所示。图20表示带有明显前灯反射的夜晚交通现场的图像。但是，当使用边缘密度信息时，如图19所示，可成功地消除反射的前灯。这是因为边缘的大小与相邻象素之间的强度改变梯度成正比。通常，路面反射的前灯的光强度上的改变是逐渐变化的，因此，边缘的幅度小。在车辆检测过程中，可使用式6来最小化因前灯反射引起的边缘。
5.2.3.2移动阴影去除在本发明中，所用的检测技术可最小化因相邻车道上车辆引起的移动阴影。该消除过程如图22至24所示。图22表示具有车辆移动阴影的交通现场。在图23中，大部分移动阴影已被消除。这是因为边缘的大小与相邻象素之间的强度值改变成正比。因为阴影中的这些象素的强度值恒定，因此其边缘密度值被最小化。除了出现边缘的阴影的边界处。为了进一步减少剩余的边缘，重点放在用式5的图像垂直方向边缘上。如图24所示，成功地消除和移动阴影。该技术在最小化周围结构的静态阴影影响方面也是有效的。
5.2.4车辆夜晚检测在本发明中，通过检测ROI中的车辆前灯来检测出现于夜晚交通现场中的车辆。而车辆前灯的出现又是从ROI的强度轮廓中推断出来。沿着交通车道的长度的强度轮廓的生成如图25所示。通过累计ROI中行y处的象素的总强度值，可获得每个y值(图像行)的强度轮廓函数IACC(y)。根据该强度轮廓函数IACC(y)，可清楚地识别前灯引起的尖的“峰值”。另一方面，前灯反射引起的峰值更光滑。使用象前灯符号等特征，可容易地检测到车辆。本技术的优点在于与在水平和垂直方向上扫描ROI的直接方法相比，仅在一个方向上执行前灯的搜索。另一优点在于因为使用ROI的每行的累计强度值，所以生成的强度轮廓更稳定，更不易受随机干扰的影响。计量两个不同参数来检测表示车辆出现的尖的峰值。这两个参数是强度梯度GH和峰值“宽度”WH。GH被定义为GH(y)=dIACC(y)dy]]>(9)对于图像处理，GH可约为GH(y)=IACC(y+S)-IACC(y)S]]>(10)其中，S＝1是象素间隔。WH是表示前灯宽度的“峰值”。根据下述来检测车辆的出现如果(GH(y)＞GT且WH(y)＜WT)则出现车辆 (11)其中，GT和WH为恒定临界值。
夜晚测量车辆的过程如下所述1.计算ROI中累计的强度轮廓IACC(y)，2.根据累计的强度轮廓IACC(y)，使用式10计算梯度GH，3.如果在其中GH(y1)＞GT的y＝y1处获得最陡的梯度，则搜索ymax处的本地峰值IACC(y)，并获得IACCmax和WH
为了获得IACCmax指定y＝y1当(IACC(y)＜IACC(y+1))时，将y增加1IACCmax＝IACC(y)且ymax＝y获得峰值宽度WH，使(IACC(y)＞(IACCmax-K))，其中，K为常数，K定义车辆前灯和背景之间的最小强度差。
4.用式11来检测车辆的出现。
图26是车辆夜晚检测过程的流程。在模块2601中，生成窗口强度轮廓。通过在轮廓2603中进行扫描来检测车辆前灯的出现。
5.2.5人字形区车辆检测在本发明中，用纹理(texture)测量来表征人字形区的特征。纹理是指作为比例函数的声音元件的空间变化。在图案识别领域中，可统计计算不同的纹理特征，以用不同的纹理特征对图像进行分类。因为与不同等级的地面覆盖相比，相同的地面覆盖等级的数字图像通常包括更相同的灰度空间设置。使用纹理信息的概念检测车辆通过使用纹理特征来表征了人字形区中的ROI。因此，当未出现车辆(参考纹理)时，可从ROI的唯一纹理中区别出现了车辆的ROI的纹理。如图4所示，人字形区包括黑和白色带，因此可用其唯一纹理来进行表征。在本发明中，采用灰度同时发生矩阵(GLCM)[2]来提取ROI的纹理特征。
使用GLCM方法来计算ROI的纹理测量包括两个步骤。首先，使用一灰度同时发生矩阵来提取ROI中的相邻象素的强度变化。该矩阵包括发生于窗口中的特定距离和角度关系所分离的象素对之间的任何灰度组合频率。第二步骤是根据GLCM来计算统计值，来根据矩阵元件的相对位置描述空间纹理信息。可从该同时发生矩阵中计算出不同的纹理测量。在本发明中，对于人字形区中的车辆检测，使用两个纹理测量， 即角度二阶矩(ASM)和对比度(CON)。使IROI(x，y)为位置(x，y)处定义的ROI中的强度函数，使Q为量化强度级的数量。Pij表示矩阵项，代表该区中两个相邻象素的发生数量，一个具有强度级i，另一个具有强度级j。必须用位移向量D来分离这两个相邻的象素。Pi，j(D)＝#{[(x1，y1)，(x2，y2)]|l(x1，y1)＝i，l(x2，y2)＝j，[(x1，y1)-(x2，y2)]＝D}(12)其中，#表示该组中的元件数量。如下选择两个计算参数Q和DQ＝128DD大小＝2，具有垂直方位(θ＝90°) CON=Σi=1QΣj=1Q(i-j)2*Pi,j----(14)]]>使纹理测量与背景纹理测量相匹配(未出现车辆的ROI)。如果计量的参数与背景纹理测量“类似”，则识别ROI的状态为未出现车辆。如果提取的特征“不同于”背景特征，则识别ROI的状态为出现车辆。建议系统中使用的过程如下1.根据ROI内所有象素(x，y)，使用式12来生成灰度同时发生矩阵(GLCM)。
2.分别使用式13和式14来获得ROI的输入纹理特征ASM和CON。3.比较输入纹理特征和背景特征(没有车辆)ASMB，CONB如果(|ASMB-ASM|＜ASMTh且|CONB-CON|＜CONBh)则未出现车辆否则出现车辆4.如果未出现车辆，则更新背景特征ASMB＝ASMB+(ASM-ASMB)/RASMCONB＝CONB+(CON-CONB)/RCONASMTh和CONBh是恒定临界值。RASM和RCON是分别定义背景特征ASMTh和CONBh的更新速率的恒定参数。图27表示在人字形区检测车辆的图像处理过程的流程。
5.3交通参数提取可将交通参数的提取分成两个部分，即交通数据的提取和交通事故的检测。图28表示交通参数提取过程的流程。在模块2801中，将VDW的状态识别为每个处理帧处的四个不同状态的一个。这四个状态是激活、去激活、有效和空闲。当车辆到达VDW时，窗口处于激活状态。在激活模式后，当车辆仍出现在后续帧中时，则VDW将处于激活状态下。如果车辆离开VDW，即如果在先帧为激活，且车辆未出现于当前帧中时，则VDW为去激活状态。如果车辆未出现于在先和当前帧中，则窗口处于空闲状态。
当VDW处于激活状态下时，即当车辆首先激活VDW时，车辆计数器增加2806。使用轮廓速度提取技术2806获得车辆速度。当VDW处于有效模式下时，出现于窗口中的车辆的帧数量，即当前帧计数器将增加。因此，当车辆出现于VDW中时确定时间长度。在2808中，当车辆离开VDW时，根据三个参数当前帧计数器、车辆速度、帧速率来计算车辆长度。帧速率是每个视频输入的每秒处理帧数量。当前帧计数器、还与帧速率一起来计算每个时间间隔的交通车道的平均时间占有。
5.3.1轮廓速度提取图29表示轮廓速率提取过程的流程。首先生成速度轮廓区SPZ内的边缘轮廓2901。图30和图31表示两个连续帧f和f+1的SPZ的边缘轮廓函数的生成。与夜晚检测部分中所述的强度轮廓类似，从每个象素行的平均边缘密度EAVE(y)来获得沿SPZ长度上的边缘轮廓。使用边缘轮廓在于它比强度轮廓更稳定，这是因为它不易受周围照明条件的变化影响。VDW处于激活状态，则在模块2904处在从连续帧获得的两个边缘轮廓函数之间进行卷积。图32表示卷积的结果。在离开原点的偏移距离dx处，卷积具有最大峰值，该峰值可被译成车辆已从帧f到帧f+1所经过的距离。已知帧速率和dx，可获得车辆的速度。
速度提取的过程如下所述1.使用式3、4和5来获得PSZ中所有象素(x，y)的边缘值E(x，y)。
2.生成边缘轮廓对于所有y对于PSZ中的每个象素行-获得行y的平均边缘值EAVE(y|帧＝f) (15)3.如果VDW的状态为激活→计算速度3a.对函数EAVE(y|帧＝f)和EAVE(y|帧＝f-1)执行卷积，对于所有y， (15)3b.对于所有z，找出C(z)的最大值Cmax(z)→车辆速度∝zmax|C(zmax)＝Cmax(z)。4.更新EAVE(y|帧＝f-1)对于所有yEAVE(y|帧＝f-1)＝EAVE(y|帧＝f)5.3.2事故检测根据获得的交通数据来推出交通事故。事故类型包括拥挤、停止车辆(在交通车道或道路两侧)和错误路径交通。对于拥挤检测如果(速度＜较低速度极限且占有＞较高占有极限)，则交通事故＝拥挤对于停止车辆检测如果(速度＝0且车辆停止时间＞停止时间极限)则交通事故＝停止车辆对于错误路径交通检测如果(速度＜0)，则交通事故＝错误路径交通。
可从轮廓速度提取过程获得的速度得到错误路径交通的检测。如果车辆沿与车流方向相反的相反方向行驶，则轮廓速度提取过程的卷积输出有一负的偏移dx。因此，可用该偏移的标记作为车辆方向的指示。
参考[1]Rafael C Gonzalez和Richard E Woods，数字图像处理，Addison-Wesley出版公司，1992年。[2]Danielle J Marceau，Philip J Howarth，Jean-Matie M Dubois andDenis J Gratton，“利用点肖像来评估路面分类的灰度同时发生矩阵方法”，IEEE transaction on Geoscience and Remote Sensign，第28卷第4期，1990年7月。
权利要求
1.一种处理从基于视频的交通监控系统中接收的图像的方法，该方法包括以下步骤从至少一个视频源接收输入，至少存储部分输入，通过对输入进行数字化过程来形成数字数据，分析数据，包括分析用于检测车辆的数据、相关的预定参数和/或分析用于检测预定事故的数据，提供对应于分析步骤的信息，作为输出。
2.根据权利要求1所述的方法，其特征在于进一步包括检索步骤，检索在分析检测事故的情况下存储的输入。
3.根据权利要求1或2所述的方法，其特征在于以压缩模式来存储被存储的输入。
4.根据权利要求1-3之一所述的方法，其特征在于从四个来源接收输入，并将输入处理得被看作为一个视频显示。
5.根据权利要求1-4之一所述的方法，其特征在于事故是拥挤、停止车辆或错误路径交通之一。
6.一种交通监控系统，适于执行权利要求1至5之一所述的方法。
7.一种交通监近系统中的研究区域(ROI)，用于检测移动车辆，该ROI包括两个部分，一轮廓速度区(PSZ)和一车辆检测窗口(VDW)，将这两个部分与被监控交通的对应路面基本对齐，如果在VDW处检测车辆，则用PSZ来提取车辆速度，和用VDW来检测窗口中车辆的出现，VDW部分覆盖PSZ。
8.一种交通监控系统中的研究区域(ROI)，用于检测道路两侧或人字形区处的停止车辆，该ROI包括车辆检测窗口(VDW)，用VDW来检测窗口中车辆的出现。
9.一种交通监控系统中检测白天或夜晚状态的方法，该方法包括以下步骤a.如说明书所述，分别用式1和式2来计算ROI中的参数Iave和Vsts。b.确定是否满足Vsts＞VTH或(Iave＜ITH和Vsts＜VTH)中任一个条件。c.如果满足步骤b的任一条件，则确定状态为“夜晚”，如果步骤b的条件均未满足，则确定状态为“白天”。
10.一种交通监控系统中检测车辆出现于ROI中的方法，该方法包括使用根据如说明书中所述的式7确定的加权水平和垂直边缘强度信息的步骤。
11.根据权利要求11所述的方法，其特征在于进一步包括以下步骤对于VDW中的所有象素(x，y)，使用说明书中所述式3、4和5，根据原始象素强度I(x，y)，计算象素边缘E(x，y)，和使用说明书中所述式6来获得VDW的平均边缘密度值EVDW。
12.一种交通监控系统中将VDW的参考边缘连续动态更新为路面的实际边缘密度的方法，该方法包括用式8来进行更新的步骤。
13.一种交通监控系统中减少因车辆前灯反射引起的车辆错误检测的方法，该方法包括应用说明书中所述式6来最小化因前灯反射引起的边缘。
14.一种基于视频的交通监控系统中减少图像处理中阴影的可视影响的方法，该方法包括以下步骤确定具有相对恒定强度值的图像的至少一个区域，指定该区域作为阴影区域的一部分，从图像中去除该区域的可视影响。
15.根据权利要求14所述的方法，其特征在于在确定步骤中，该至少一个区域具有基本相同的纹理。
16.根据权利要求14所述的方法，其特征在于通过使该区域的对比度基本等于距该区域最近区域的对比度来去除该可视影响。
17.根据权利要求14所述的方法，其特征在于进一步包括以下步骤应用式5(如说明书中所述)，为进一步从图像中减少区域的可视影响。
18.一种来自基于视频的交通监控系统的图像处理中检测车辆前灯的方法，该方法包括以下步骤a.计算ROI中累计的强度轮廓IACC(y)，b.根据累计的强度轮廓IACC(y)，使用说明书中所述式10，计算梯度GH，c.确定是否在其中GH(y1)＞GT的y＝y1处获得最陡的梯度，如果是，则搜索ymax处IACC(y)的本地峰值，并获得IACCmax和WH为了获得IACCmax指定y＝y1当(IACC(y)＜IACC(y+1))时，将y增加1IACCmax＝IACC(y)且ymax＝y获得峰值宽度WH，使(IACC(y)＞(IACCmax-K))，其中，K为常数，K定义车辆前灯和背景之间的最小强度差，和d.用说明书中所述式11来确定车辆的出现。
19.一种交通监控系统中检测人字形区内车辆的方法，该方法包括以下步骤为了提取ROI的纹理特征，应用一灰度同时发生矩阵(GLCM)，使用GLCM来计算两个纹理测量，即角度二阶矩(ASM)和对比度(CON)。
20.根据权利要求19所述的方法，其特征在于进一步包括步骤根据ROI内所有象素(x，y)，使用说明书中所述式12来生成灰度同时发生矩阵(GLCM)。
21.根据权利要求19或20所述的方法，其特征在于进一步包括步骤分别使用说明书中所述的式13和式14来获得ROI的输入纹理特征ASM和CON。
22.根据权利要求19、20或21所述的方法，其特征在于进一步包括步骤比较输入纹理特征和背景特征(没有车辆)ASMB，CONB确定如果(|ASMB-ASM|＜ASMTh且|CONB-CON|＜CONBh)则未出现车辆否则出现车辆
23.根据权利要求22所述的方法，其特征在于进一步包括步骤如果未出现车辆，则更新背景特征ASMB＝ASMB+(ASM-ASMB)/RASMCONB＝CONB+(CON-CONB)/RCON
24.一种交通监控系统中计算车辆速度的方法，该方法包括以下步骤使用两个边缘轮廓之间的卷积来提取车辆速度。
25.根据权利要求24所述的方法，其特征在于根据系统从连续的帧中获得两个边缘轮廓。
26.根据权利要求24或25所述的方法，其特征在于进一步包括步骤使用说明书中所述的式3、4和5来获得PSZ中所有象素(x，y)的边缘值E(x，y)。
27.根据权利要求24、25或26所述的方法，其特征在于进一步包括步骤根据说明书中所述式15来生成边缘轮廓。
28.根据权利要求24-27之一所述的方法，其特征在于进一步包括步骤如果VDW的状态为激活，则确定速度。
29.根据权利要求24-28之一所述的方法，其特征在于所使用的卷积通过执行函数EAVE(y|帧＝f)、EAVE(y|帧＝f-1)和说明书中所述式16而得的。
30.根据权利要求29所述的方法，其特征在于对于所有z，找出C(z)的最大值Cmax(z)→车辆速度∝zmax|C(zmax)＝Cmax(z)。
31.根据权利要求30所述的方法，其特征在于进一步包括步骤更新EAVE(y|帧＝f-1)对于所有yEAVE(y|帧＝f-1)＝EAVE(y|帧＝f)
32.根据权利要求24-31之一所述的方法，其特征在于用ROI的强度轮廓来替代边缘轮廓。
33.一种交通监控系统中确定车辆方向的方法，该方法包括以下步骤使用根据权利要求24-32之一所述的卷积方法所获得的偏移极化标记。
34.根据权利要求33所述的方法，其特征在于正极化表示车辆沿车流的方向行驶，负极化表示车辆沿与车流方向相反的方向行驶。
35.一种结合权利要求1-5或5-34之一所述方法的交通监控系统。
36.一种结合权利要求7或8所述ROI的交通监控系统。
37.一种如上所述的交通监控系统。
全文摘要
本发明涉及多个发明,总地说,涉及使用视频图像的交通数据采集的图像处理技术的应用。本发明涉及交通监控系统,该系统的基本功能是进行交通数据采集和事故检测。具体而言,涉及从视频图像序列来检测车辆的图案处理技术的应用,以及交通数据采集和交通事故检测。一方面,本发明提供一种处理从基于视频的交通监控系统中接收的图像的方法。另一方面,本发明涉及一种用于检测移动车辆的研究区域(ROI),再一方面涉及一种交通监控系统中检测白天或夜晚状态的方法。认为对基于视频的交通监控系统应用不同算法是有创造性的。本交通监控系统的其它创造性方面如权利要求中所述。
文档编号G08G1/04GK1352780SQ9981673
公开日2002年6月5日 申请日期1999年11月3日 优先权日1999年11月3日
发明者黄佑廉, 洪金城, 张志忠, 古明坤 申请人:特许科技有限公司