道路交通异常事件实时检测方法及装置制造方法
【专利摘要】本发明提出一种道路交通异常事件实时检测方法及装置。其中方法包括：对道路进行监控，获取连续多帧监控图像；从监控图像中提取亮白色线段，并处理得到车道线和车道消失点，建立车道模型；根据车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测双向检测区域中的运动目标，并确定运动目标的位置；根据连续多帧监控图像中运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立运动目标和实际车辆的映射关系，得到实际车辆的行驶轨迹与行驶速度；根据预存的道路交通异常行为的语义模型，对车道模型以及实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。本发明具有智能化、精度高等优点。
【专利说明】道路交通异常事件实时检测方法及装置
【技术领域】
[0001]本发明属视频监控领域，具体涉及一种道路交通异常事件实时检测方法及装置。【背景技术】
[0002]基于视频监控的高速公路车辆异常事件检测技术能够极大地减轻监控人员的劳动强度，降低漏检率，提高检测的实时性，在高速公路安全方面具有良好的应用前景。目前交通车辆异常行为检测着重于建立异常行为模型，依据模型分析车辆的行为。按建模的方法可分为三类，模式识别模型、状态模型和语义模型。模式识别通过对车辆轨迹和行为特征的分析建立车辆行为模式判定异常。算法简单直接，事件检测率高，但是无法精确检测某一类型的事件。状态识别使用轨迹分类，隐马尔科夫模型进行事件判别。这种算法对行为的表示力强，但模型过于复杂，处理空间时间复杂度高。语义识别用运动行为描述子描述前景目标的运动，以此建立行为矢量图判定异常。这种方法简单高效，灵活度高，但很难准确通过语义对异常行为进行描述。
【发明内容】
[0003]本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种道路交通异常事件实时检测方法及装置。
[0004]根据本发明第一方面的道路交通异常事件实时检测方法，其特征在于，包括以下步骤:A.对道路进行监控，获取连续多帧监控图像；B.从所述监控图像中提取亮白色线段，并基于所述亮白色线段处理得到车道线和车道消失点，并建立车道模型；C.根据所述车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测所述双向检测区域中的运动目标，并确定所述运动目标的位置；D.根据所述连续多帧监控图像中所述运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立所述运动目标和实际车辆的映射关系，得到所述实际车辆的行驶轨迹与行驶速度；E.根据预存的道路交通异常行为的语义模型，对所述车道模型以及所述实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。
[0005]由上可知，根据本发明实施例道路交通异常事件实时检测方法，提高了现有公路视频监控的工作效率，降低了监控人员的工作强度，同时减少了由交通事故产生的交通延误，避免二次事故的发生。
[0006]根据本发明的一个实施例，所述步骤B包括以下步骤:B1.采用梯度十字模板提取所述监控图像中的亮白色线段，依据所述亮白色线段的共线性与连续性将断续的亮白色线段连接为长线段，然后仅保留最长的X个所述长线段，X为正整数；B2.将所述监控图像的上方区域作为消失点搜索区域，计算所述消失点搜索区域内每个像素点到各条保留下来的所述长线段的距离，将所述距离小于预设距离阈值的次数最多的像素点作为帧图像消失点；B3.将重复B1-B2多次以完成连续多帧所述监控图像的处理，将出现次数最多的所述帧图像消失点作为最终的实际消失点；B4.将所述监控图像中通过所述实际消失点的出现次数最多的Y条所述长线段作为候选车道线，Y为正整数；B5.计算相邻两条所述候选车道线的夹角，将所述夹角小于预设夹角阈值的相邻两条所述候选车道线中斜率较大者剔除，剩下的作为实际车道线；B6.将多条所述实际车道线按相邻每两条所述实际车道线组成一个车道，以建立车道模型。
[0007]根据本发明的一个实施例，所述步骤C包括以下步骤:C1.采用高斯混合模型从连续多帧所述监控图像中提出背景模型；C2.将所述监控图像与所述背景模型进行绝对值差分处理，绝对值小于预设差分阈值的像素点作为运动目标像素点；C3.将所述监控图像中所述运动目标像素点进行八连通域搜索，框定每个区域最小外接矩形；C4.将所述区域最小外接矩形的中心作为运动目标的质心位置。
[0008]根据本发明的一个实施例，所述步骤D包括以下步骤:D1.根据同一帧所述监控图像中的所述运动目标位置，建立空间上的区域交叠关系，对所述运动目标进行区域合并；D2.根据连续多帧所述监控图像中运动目标位置，建立时间上的区域交叠关系，对所述运动目标进行区域分裂合并；D3.建立所述区域分裂合并后的所述运动目标和实际车辆的一一对应映射关系，确定所述实际车辆的行驶轨迹和行驶速度。
[0009]根据本发明的一个实施例，所述道路交通异常行为包括:逆向行驶、撞车事故、车辆超速和停车事件。
[0010]根据本发明第二方面的道路交通异常事件实时检测装置，其特征在于，包括以下部分:监控图像获取模块，用于对道路进行监控，获取连续多帧监控图像；车道模型建模模块，用于从所述监控图像中提取亮白色线段，并基于所述亮白色线段处理得到车道线和车道消失点，并建立车道模型；运动目标定位模块，用于根据所述车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测所述双向检测区域中的运动目标，并确定所述运动目标的位置；运动目标追踪模块，用于根据所述连续多帧监控图像中所述运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立所述运动目标和实际车辆的映射关系，得到所述实际车辆的行驶轨迹与行驶速度；语义判断模块，用于根据预存的道路交通异常行为的语义模型，对所述车道模型以及所述实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。
[0011]由上可知，根据本发明实施例道路交通异常事件实时检测装置，提高了现有公路视频监控的工作效率，降低了监控人员的工作强度，同时减少了由交通事故产生的交通延误，避免二次事故的发生。
[0012]根据本发明的一个实施例，所述车道模型建模模块包括以下部分:长线段获取模块，用于采用梯度十字模板提取所述监控图像中的亮白色线段，依据所述亮白色线段的共线性与连续性将断续的亮白色线段连接为长线段，然后仅保留最长的X个所述长线段；实际消失点获取模块，用于将所述监控图像的上方区域作为消失点搜索区域，计算所述消失点搜索区域内每个像素点到各条保留下来的所述长线段的距离，将所述距离小于预设距离阈值的次数最多的像素点作为帧图像消失点，然后将连续多帧所述监控图像中出现次数最多的所述帧图像消失点作为最终的实际消失点；候选车道线获取模块，用于将所述监控图像中通过所述实际消失点的出现次数最多的Y条所述长线段作为候选车道线，Y为正整数；实际车道线获取模块，用于计算相邻两条所述候选车道线的夹角，将所述夹角小于预设夹角阈值的相邻两条所述候选车道线中斜率较大者剔除，剩下的作为实际车道线；车道划分模块，用于将多条所述实际车道线按相邻每两条所述实际车道线组成一个车道，以建立车道模型。
[0013]根据本发明的一个实施例，所述运动目标定位模块包括以下部分:背景提取模块，用于采用高斯混合模型从连续多帧所述监控图像中提出背景模型；差分处理模块，用于将所述监控图像与所述背景模型进行绝对值差分处理，绝对值小于预设差分阈值的像素点作为运动目标像素点；外接矩形获取模块，用于将所述监控图像中所述运动目标像素点进行八连通域搜索，框定每个区域最小外接矩形；质心获取模块，用于将所述区域最小外接矩形的中心作为运动目标的质心位置。
[0014]根据本发明的一个实施例，所述运动目标追踪模块包括以下部分:第一合并模块，用于根据同一帧所述监控图像中的所述运动目标位置，建立空间上的区域交叠关系，对所述运动目标进行区域合并；第二合并模块，用于根据连续多帧所述监控图像中运动目标位置，建立时间上的区域交叠关系，对所述运动目标进行区域分裂合并；映射建立模块，用于建立所述区域分裂合并后的所述运动目标和实际车辆的一一对应映射关系，确定所述实际车辆的行驶轨迹和行驶速度。
[0015]根据本发明的一个实施例，所述道路交通异常行为包括:逆向行驶、撞车事故、车辆超速和停车事件。
[0016]本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】
[0017]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中:
[0018]图1为根据本发明实施例的道路交通异常事件实时检测的总体原理图；
[0019]图2为本发明实施例的道路交通异常事件实时检测方法的流程图；
[0020]图3为本发明实施例一种道路交通异常事件实时检测方法的硬件配置原理框图；
[0021]图4为本发明实施例一种道路交通异常事件实时检测方法的监控图像示意图；
[0022]图5为本发明实施例的道路交通异常事件实时检测方法的车道模型示意图；
[0023]图6为本发明实施例的道路交通异常事件实时检测方法的跟踪过程中交叠关系示意图；
[0024]图7为本发明实施例的道路交通异常事件实时检测方法的跟踪过程中避免假消失的跳帧搜索示意图；
[0025]图8为本发明实施例的道路交通异常事件实时检测方法的跟踪过程中的合并操作示意图；
[0026]图9为本发明实施例的道路交通异常事件实时检测方法的跟踪过程中的分裂操作示意图；
[0027]图10为本发明实施例的车辆逆行行为判决流程图；
[0028]图11为本发明实施例的车辆逆行行为检测效果图；
[0029]图12为本发明实施例的道路交通异常事件实时检测装置的结构框图；
[0030]图13为本发明实施例的道路交通异常事件实时检测装置的车道模型建模模块的结构框图；
[0031]图14为本发明实施例的道路交通异常事件实时检测装置的运动目标定位模块的结构框图；
[0032]图15为本发明实施例的道路交通异常事件实时检测装置的运动目标追踪模块的结构框图。
【具体实施方式】
[0033]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0034]为克服现有技术中的难以准确描述异常行为的缺点，以及为了适应图像质量较低而造成运动目标检测效果不稳定的情况，本申请针对高速公路直线车道的情况，结合车道模型及车辆的位置和速度对车辆异常行为进行语义建模，采用基于后验概率的目标检测算法，最终实现高速公路车辆异常行为的实时检测。图1为根据本发明实施例的道路交通异常事件实时检测的总体原理图。
[0035]本发明第一方面提出一种道路交通异常事件实时检测方法，如图2所示，可以包括以下步骤:
[0036]A.对道路进行监控，获取连续多帧监控图像。
[0037]具体地，可以在现有公路视频监控系统的硬件配置保持不变的情况下，在视频监控系统中增加一台交通事件检测与分析的工作站计算机，如图3所示。在计算机内配置图像采集卡与信号量控制卡。图像采集卡以并行方式采集多路信道的视频信号。信号量控制卡用于控制视频切换矩阵，用于选择监控的信道，配合图像采集卡完成对每一路视频信号采集。当检测到监控场景内有车辆异常行为或交通事件时，通过信号量控制卡将信道编码及相关信息输出到视频监控控制器上，在电视视频墙切换出有交通事件的监控场景。
[0038]需要说明的是，被监控的道路可以是多车道双向的道路(例如高速公路道路)，也可以是多车道单向道路、单车道双向道路等等，并不加以限制。为了举例更加典型，本申请具体实施例均基于最常见的多车道双向的道路。
[0039]需要说明的是，监控图像可以为白天场景，也可以是夜间场景。只不过获取夜间场景下的监控图像需要用到红外摄像机等特殊设备。
[0040]B.从监控图像中提取亮白色线段，并基于亮白色线段处理得到车道线和车道消失点，并建立车道模型。
[0041]如图4所示，通常道路上的车道线对象具有明显的线结构特征，而白天车道线在光照下呈现亮白色与附近黑色浙青的路面呈现较大的反差，并且车道线本身存在一定的线宽，由此采用梯度十字模板的方法提取亮线段，并进一步处理得到车道线和车道消失点，最终建立车道模型。步骤B具体包括如下步骤:
[0042]B1.采用梯度十字模板提取监控图像中的亮白色线段，依据亮白色线段的共线性与连续性将断续的亮白色线段连接为长线段，然后仅保留最长的X个长线段。长线段即由多个上述由梯度十字模板提取的断续的具有共线性与连续性的亮白色线段组成，用来判断消失点的直线。具体过程如下:[0043]Bll.采用长度为masksize的十字模板,按水平方向模板读入图像水平方向对应的亮度值，检测垂直方向的线特征对象，提取线段二值图像。
[0044]在模板内按水平方向和垂直方向按如下式计算差分值:
[0045]dh(n，j) = Y(i, n)_Y(i, j)_ 公式(I)
[0046]其中，i, j分别表示模板中心的行列坐标，即当前遍历像素点的位置，Y(i，j)表示的是图像第i行j列的亮度值，dh(n；J)为水平方向上η列与模板中心j列的梯度值。m =[1-4, i+4]且m古i,n = [j_4, j+4]且η古j。对于以上模板内的方向差分值,进行如下式
运算:
【权利要求】
1.一种道路交通异常事件实时检测方法，其特征在于，包括以下步骤: A.对道路进行监控，获取连续多帧监控图像； B.从所述监控图像中提取亮白色线段，并基于所述亮白色线段处理得到车道线和车道消失点，并建立车道模型； C.根据所述车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测所述双向检测区域中的运动目标，并确定所述运动目标的位置； D.根据所述连续多帧监控图像中所述运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立所述运动目标和实际车辆的映射关系，得到所述实际车辆的行驶轨迹与行驶速度； E.根据预存的道路交通异常行为的语义模型，对所述车道模型以及所述实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。
2.如权利要求1所述的方法，其特征在于，所述步骤B包括以下步骤: B1.采用梯度十字模板提取所述监控图像中的亮白色线段，依据所述亮白色线段的共线性与连续性将断续的亮白色线段连接为长线段，然后仅保留最长的X个所述长线段，X为正整数； B2.将所述监控图像的上方区域作为消失点搜索区域，计算所述消失点搜索区域内每个像素点到各条保留下来的所述长线段的距离，将所述距离小于预设距离阈值的次数最多的像素点作为帧图像消失点； B3.将重复B1-B2多次以完成连续多帧所述监控图像的处理，将出现次数最多的所述帧图像消失点作为最终的实际消失点； B4.将所述监控图像中通过所述实际消失点的出现次数最多的Y条所述长线段作为候选车道线，Y为正整数； B5.计算相邻两条所述候选车道线的夹角，将所述夹角小于预设夹角阈值的相邻两条所述候选车道线中斜率较大者剔除，剩下的作为实际车道线； B6.将多条所述实际车道线按相邻每两条所述实际车道线组成一个车道，以建立车道模型。
3.如权利要求1所述的方法，其特征在于，所述步骤C包括以下步骤: Cl.采用高斯混合模型从连续多帧所述监控图像中提出背景模型； C2.将所述监控图像与所述背景模型进行绝对值差分处理，绝对值小于预设差分阈值的像素点作为运动目标像素点； C3.将所述监控图像中所述运动目标像素点进行八连通域搜索，框定每个区域最小外接矩形； C4.将所述区域最小外接矩形的中心作为运动目标的质心位置。
4.如权利要求1所述的方法，其特征在于，所述步骤D包括以下步骤: Dl.根据同一帧所述监控图像中的所述运动目标位置，建立空间上的区域交叠关系，对所述运动目标进行区域合并； D2.根据连续多帧所述监控图像中运动目标位置，建立时间上的区域交叠关系，对所述运动目标进行区域分裂合并； D3.建立所述区域分裂合并后的所述运动目标和实际车辆的一一对应映射关系，确定所述实际车辆的行驶轨迹和行驶速度。
5.如权利要求1所述的方法，其特征在于，所述道路交通异常行为包括:逆向行驶、撞车事故、车辆超速和停车事件。
6.一种道路交通异常事件实时检测装置，其特征在于，包括以下部分: 监控图像获取模块，用于对道路进行监控，获取连续多帧监控图像； 车道模型建模模块，用于从所述监控图像中提取亮白色线段，并基于所述亮白色线段处理得到车道线和车道消失点，并建立车道模型； 运动目标定位模块，用于根据所述车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测所述双向检测区域中的运动目标，并确定所述运动目标的位置；运动目标追踪模块，用于根据所述连续多帧监控图像中所述运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立所述运动目标和实际车辆的映射关系，得到所述实际车辆的行驶轨迹与行驶速度； 语义判断模块，用于根据预存的道路交通异常行为的语义模型，对所述车道模型以及所述实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。
7.如权利要求6所述的装置，其特征在于，所述车道模型建模模块包括以下部分: 长线段获取模块，用于采用梯度十字模板提取所述监控图像中的亮白色线段，依据所述亮白色线段的共线性与连续性将断续的亮白色线段连接为长线段，然后仅保留最长的X个所述长线段； 实际消失点获取模块，用于将所述监控图像的上方区域作为消失点搜索区域，计算所述消失点搜索区域内每个像素点到各条保留下来的所述长线段的距离，将所述距离小于预设距离阈值的次数最多的像素点作为帧图像消失点，然后将连续多帧所述监控图像中出现次数最多的所述帧图像消失点作为最终的实际消失点； 候选车道线获取模块，用于将所述监控图像中通过所述实际消失点的出现次数最多的Y条所述长线段作为候选车道线，Y为正整数； 实际车道线获取模块，用于计算相邻两条所述候选车道线的夹角，将所述夹角小于预设夹角阈值的相邻两条所述候选车道线中斜率较大者剔除，剩下的作为实际车道线； 车道划分模块，用于将多条所述实际车道线按相邻每两条所述实际车道线组成一个车道，以建立车道模型。
8.如权利要求6所述的装置，其特征在于，所述运动目标定位模块包括以下部分: 背景提取模块，用于采用高斯混合模型从连续多帧所述监控图像中提出背景模型； 差分处理模块，用于将所述监控图像与所述背景模型进行绝对值差分处理，绝对值小于预设差分阈值的像素点作为运动目标像素点； 外接矩形获取模块，用于将所述监控图像中所述运动目标像素点进行八连通域搜索，框定每个区域最小外接矩形； 质心获取模块，用于将所述区域最小外接矩形的中心作为运动目标的质心位置。
9.如权利要求6所述的装置，其特征在于，所述运动目标追踪模块包括以下部分: 第一合并模块，用于根据同一帧所述监控图像中的所述运动目标位置，建立空间上的区域交叠关系，对所述运动目标进行区域合并； 第二合并模块，用于根据连续多帧所述监控图像中运动目标位置，建立时间上的区域交叠关系，对所述运动目标进行区域分裂合并； 映射建立模块，用于建立所述区域分裂合并后的所述运动目标和实际车辆的一一对应映射关系，确定所述实际车辆的行驶轨迹和行驶速度。
10.如权利要求6所述的装置，其特征在于，所述道路交通异常行为包括:逆向行驶、撞车事故、车辆超速和停 车事件。
【文档编号】G08G1/01GK103971521SQ201410211575
【公开日】2014年8月6日 申请日期:2014年5月19日 优先权日:2014年5月19日
【发明者】刘金江, 顾明, 韩军, 任小斌, 任磊, 邱凌云 申请人:清华大学, 河南中原高速公路股份有限公司