基于ST‑MRF模型的电动自行车与汽车交通冲突检测方法与流程

本发明涉及一种基于ST-MRF模型的电动自行车与汽车交通冲突检测方法。
背景技术：
：随着城市视频设备数量、覆盖率的迅速增长，计算机图像处理水平的提升，将视频图像处理技术用于城市智能交通系统成为一种趋势。交通运输系统工程与信息，2013第13卷第3期:65-70页.公开了一种基于ST-MRF的自适应车辆跟踪算法研究(周君，程琳)，其基于ST-MRF模型的自适应车辆跟踪算法能在交通量比较大、且车辆出现相互遮挡的情况下，较准确的获得车辆跟踪数据，为以后的交通事件检测提供重要的数据基础。在一些中小城市，由于人口较为密集，经济处在发展阶段，电动自行车出行数量较多，出行比较普遍，但电动自行车驾驶员由于缺乏安全意识导致闯红灯行为屡屡发生，导致交通事故频发，造成大量的人员、财产损失。通过大量的事故统计，发现事故高发地段正是城市交叉路口，所以在交叉路口处对车辆与闯红灯的电动自行车之间进行交通冲突检测尤为重要。现有技术中关于电动自行车与小汽车的交通冲突检测研究甚少，本文在目前城市交叉路口处针对电动自行车的交通冲突检测研究较薄弱的基础上，研究并提出一套适合中小城市交叉路口处车辆与闯红灯的电动自行车之间的交通冲突检测方法，并将驾驶员冲突判断准则用在视频图像处理中进行冲突程度的判断。技术实现要素：针对上述问题，本发明提供一种基于ST-MRF模型的电动自行车与汽车交通冲突检测方法，通过车辆运动轨迹跟踪，提供一种闯红灯的电动自行车与正常行驶的小汽车之间的交通冲突检测方法，能为交通管理部门提供实时、准确的交通信息用于事故鉴定。为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：基于ST-MRF模型的电动自行车与汽车交通冲突检测方法，其特征在于，包括如下步骤：步骤1、交通摄像头拍摄三维视频图像，采用ST-MRF模型同时跟踪单个的电动自行车与汽车，获得单个的电动自行车与汽车的交通信息，比如车型、交通量、速度与坐标值；步骤2、通过坐标转换算法将交通摄像头拍摄的三维视频图像转换成二维坐标数据；步骤3、预测电动自行车与汽车在下一帧图像中的停车点；步骤4、根据停车点之间的距离建立驾驶员冲突判断准则。优选，步骤1中，ST-MRF模型的能量函数Ustmrf是：式中：第一部分a(Nyk-μNy)2表示在目标地图中，标号的相邻关系，第二部分b(Mxyk-μMxy)2表示在连续目标地图中的标号的遮挡关系，第三部分表示与运动矢量有关的连续图像中的纹理关系，第四部分表示在运动矢量地图中的运动矢量的相邻关系；Nyk：指一个像素块的相邻像素块和该像素块有相同标号的数目；Nxk：表示一个像素块的相邻像素块的数目；Dxyk：代表t-1时刻的图像与t时刻的图像之间的纹理相关性，在发生遮挡时，分别计算属于各辆车的概率；Mxyk：部分遮挡的两个像素块中遮挡部分的像素个数；μNy：邻域基团，如果使用8-邻域基团，则μNy＝8为最大值；Ck：当前像素块；Bk：相邻像素块；在(t-1)时刻，当前像素块与相邻像素块的运动矢量之差；a、b、c、f和μMxy为设定的参数。优选，实验标定参数指标：a＝1/2，b＝1/256，c＝32/1000000，f＝1/4，μMxy＝0。优选，根据前一时刻的目标地图、运动矢量和当前图像，同时考虑在相邻块中的运动矢量和连续图像中的纹理关系的相似性来最小化当前时刻的目标地图和运动矢量的最小能量，具体包括如下步骤：01)通过块匹配方法获得所有块的运动矢量，确定运动矢量地图的初始状态V(t-1；t)＝V0，V(t-1；t)表示时刻t-1到t，每个块的运动矢量；02)根据运动矢量地图的初始状态，将每一块的候选标号设置为目标地图的初始状态X(t)＝y0；03)估算目标地图和运动矢量地图在进行X(t)＝yi和V(t-1；t)＝Vi次迭代后的总能量，i为迭代次数；04)随机同时转换在当前状态下的目标地图X(t)＝yi和运动矢量地图V(t-1；t)＝Vi到下一状态的目标地图X(t+1)＝yi+1和运动矢量地图V(t；t+1)＝Vi+1；05)在步骤03)和04)之间反复循环操作，直到X(t)和V(t-1；t)收敛到能量函数值Ustmrf到极小值。优选，步骤3中，电动自行车与汽车在下一帧图像中的制动距离S为：式中，ξ是速度；是附着系数；ψ是道路纵坡度，％，上坡为正，下坡为负。优选，步骤4中，驾驶员冲突判断准则分为4级冲突：1级，闯红灯行为；2级，轻微冲突；3级，危险冲突；4级，严重冲突或发生事故，判据分别如下：当交叉路口是黄灯时，且电动自行车的二维坐标落入交叉路口坐标范围内，则判定为1级的闯红灯行为；当交叉路口是红灯时，首先，通过对图像中的电动自行车与汽车跟踪获得车辆中心X，Y坐标，用公式2预测电动自行车与小汽车的制动距离；然后，估算两辆车在下一帧图像中的停车点，并求出两辆车停车点之间的距离；最后，将两辆车的停车点标记在二维坐标轴上，并映射在实际道路上：如果两辆车的停车点的延长线不相交，则判定为2级的轻微冲突；如果两辆车的停车点之间的距离不在安全范围内且当标记在坐标上的两辆车的运动轨迹相交时，则判定为3级的危险冲突；如果两辆车的停车点之间的距离小于等于0，则判定为4级的严重冲突或发生事故。本发明的有益效果是：(1)提出了一种基于优化的ST-MRF模型同时跟踪电动自行车与汽车的算法。该方法不仅能优化图像的空间分布，还能优化图像序列沿时间轴的分布，改善了以前的车辆跟踪算法在交通混乱的交叉口车辆遮挡严重的情况下鲁棒性差的缺点。(2)本发明的交通冲突检测方法适用于各种几何形状的交叉路口，通过坐标旋转算法将三维图像转换成二维数据，计算交叉路口处不同运动方向的车辆(电动自行车或小汽车)的运动轨迹及二维坐标，并将实验数据与商用Autoscope软件所测量数据进行比较，得出使用该技术所获得的交通数据的误差较小，精度比较高。(3)根据驾驶员冲突判断准则，建立4等级的冲突级别：1级，闯红灯行为；2级，轻微冲突；3级，危险冲突；4级，严重冲突(事故)，并通过实验成功检测出四级冲突。(4)当闯红灯的电动自行车与小汽车发生3级冲突时，本方法能成功预测潜在的交通事故，能为交通管理部门提供实时、准确、可靠的交通信息，避免交通事故发生。附图说明图1是本发明标号流程图；图2是坐标旋转示意图；图3是本发明车辆标号仿真图；图4是本发明试验中二级冲突仿真图；图5是本发明试验中三级冲突仿真图；图6是本发明试验中四级冲突仿真图。具体实施方式下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。基于ST-MRF模型的电动自行车与汽车交通冲突检测方法，包括如下步骤：步骤1、交通摄像头拍摄三维视频图像，采用ST-MRF模型同时跟踪单个的电动自行车与汽车，获得单个的电动自行车与汽车的交通信息，比如车型、交通量、速度与坐标值等。在车辆跟踪算法中，像素块与ST-MRF(SpatialTemporalMarkovRandomField)中的场景是一一对应的，即把每个像素块和一个车辆联系起来，也就是给每个像素块赋予一个对应的车辆的标号。在使用车辆跟踪算法的时候，首先决定一个初始标号分配，然后通过ST-MRF中的能量函数分配标号进行提炼及优化处理。在提炼过程中，算法考虑块在时间域和空间(二维x-y坐标)的联系，也就是连续图像之间的块的联系以及与相邻块之间的联系，通过ST-MRF模型，把标号赋给像素块。在ST-MR模型中块对应一个场景，块被标号作为目标区域的一部分与背景图像的纹理不一样，这些块聚集在一起被称为目标地图，每个块上都有代表块的运动矢量，ST-MRF模型就是根据前一时刻的目标地图估计下一个时刻的目标地图，用符号表示如下：G(t-1)＝g，G(t)＝h：图像G在时刻t-1时的灰度值为g，在时刻t时，灰度值为h。对于每一个像素，可以表示为：G(t-1；α,β)＝g(α,β),G(t；α,β)＝h(α,β)，式中，α,β是像素坐标，G(t-1；α,β)＝g(α,β)的含义是：图像G中坐标为α,β的像素在时刻t-1时的灰度值等于图像g中坐标为α,β的像素对应的灰度值，G(t；α,β)＝h(α,β)的含义是：图像G中坐标为α,β的像素在时刻t时的值等于图像h中坐标为α,β的像素对应的值。X(t-1)＝x，X(t)＝y：目标地图X在时刻t-1时被检测到标号分布为x，在时刻t时被检测到的标号分布为y。对于每一个像素块，可以表示为：Xk(t-1)＝xk,Xk(t)＝yk，式中，k为块的编号，Xk(t-1)＝xk的含义是：目标地图X中第k个像素块在时刻t-1时的标号分布即是x中第k个像素块的标号；Xk(t)＝yk的含义是：目标地图X中第k个像素块在时刻t时的标号分布即是y中第k个像素块的标号。V(t-1；t)＝v：时刻t-1到t，所有像素块的运动矢量被估计为v。在这种情况下，每个块的运动矢量可以表示为：Vk＝(t-1；t)＝vk：时刻t-1到t，第k个像素块的运动矢量是vk。通过ST-MRF模型，给定前一时刻图像G(t-1)＝g，当前图像G(t)＝h，以及前一时刻目标地图X(t-1)＝x，可以用最大后验概率同时确定目标地图X(t)＝y和运动矢量地图V(t-1；t)＝V。因此，优化目标地图和运动矢量地图的问题就变成了最小化公式(1)的能量函数：Ustmrf是ST-MRF模型的能量函数，可以通过松弛算法最小化，式中：第一部分a(Nyk-μNy)2表示在目标地图中，标号的相邻关系，第二部分b(Mxyk-μMxy)2表示在连续目标地图中的标号的遮挡关系，第三部分表示与运动矢量有关的连续图像中的纹理关系，第四部分表示在运动矢量地图中的运动矢量的相邻关系。Nyk：指一个像素块的相邻像素块和该像素块有相同标号的数目；Nxk：表示一个像素块的相邻像素块的数目；Dxyk：代表t-1时刻的图像与t时刻的图像之间的纹理相关性，在发生遮挡时，分别计算属于各辆车的概率，令像素块在时间t的坐标值为[x(t)，y(t)]、运动矢量为[u(t),v(t)],在时间t-1的坐标值为：[x(t-1),y(t-1)]＝[x(t)-u(t),y(t)-v(t)]，当前一帧的图像中车辆标号OM的运动矢量为时：G(t；α,β)；像素(α,β)在时间t的灰度强度，每个像素块由8×8个像素组成，所以0≤dα≤8,0≤dβ≤8；Mxyk：部分遮挡的两个像素块中遮挡部分的像素个数；μNy：邻域基团，如果使用8-邻域基团，则μNy＝8为最大值；Ck：当前像素块；Bk：相邻像素块；在(t-1)时刻，当前像素块与相邻像素块的运动矢量之差；a、b、c、f和μMxy为设定的参数。优选，实验标定参数指标：a＝1/2，b＝1/256，c＝32/1000000，f＝1/4，μMxy＝0。ST-MRF模型能同时分割目标边界和运动矢量。其优化的过程就是根据前一时刻的目标地图、运动矢量和当前图像，同时考虑在相邻块中的运动矢量和连续图像中的纹理关系的相似性来最小化当前时刻的目标地图和运动矢量的最小能量，具体包括如下步骤：01)通过简单的块匹配方法获得所有像素块的运动矢量，然后确定运动矢量地图的初始状态V(t-1；t)＝V0，V(t-1；t)表示时刻t-1到t，所有像素块的运动矢量；02)根据运动矢量地图的初始状态，将每一像素块的候选标号设置为目标地图的初始状态X(t)＝y0。在这个过程中，在单个的目标区域，单个的获选标号给像素块命名，然而在遮挡边界的周围不止一个获选标号给像素块命名，在其它地方没有候选标号给像素块命名。03)估算目标地图和运动矢量地图在进行X(t)＝yi和V(t-1；t)＝Vi次迭代后的总能量，i为迭代次数；04)为了搜寻目标地图和运动矢量地图的最优结果，随机同时转换在当前状态下的目标地图X(t)＝yi和运动矢量地图V(t-1；t)＝Vi到下一状态的目标地图X(t+1)＝yi+1和运动矢量地图V(t；t+1)＝Vi+1；05)在步骤03)和04)之间反复循环操作，直到X(t)和V(t-1；t)收敛到能量函数值Ustmrf到极小值。最后，通过能量函数的极小值判断块的归属性，能量函数越小，Ck块越有可能属于相对应的车辆，根据图像块的大小不同区分电动自行车和小汽车。车辆标号过程中，比较检测矩形框上块的平均灰度与阈值大小，若像素块的灰度大于阈值，说明有车辆存在，并给车辆标号，为了验证车辆跟踪算法，车辆标号从1开始累计。车辆进入检测矩形框后，需要对车辆进行跟踪。基于ST-MRF模型的跟踪算法沿着时间序列自动更新车辆的形状。对于这个更新，算法在车辆区域的块中估计运动矢量。在每一个像素块上，运用块的匹配方法估计每一个目标像素块在相邻帧的运动矢量。由图1标号流程图可以看出，检测矩形框上的像素块对车辆的检测计算与图像帧之间运动矢量的计算是随着时间的推移运行的。即，当t时间检测矩形框上检测车辆存在后，得到车辆的初始标号，接着跟踪模块就开始用块匹配方法计算像素块在相邻帧所对应的运动矢量，并对检测矩形框上的初始车辆标号进行移位，得到通过检测矩形框后序列图像的车辆标号，如图3所示。图像块匹配技术将检测模块中得到的初始车辆标号以及已经进入检测区域的车辆标号进行移动，从而将运动车辆图像序列转化为车辆标号序列。该标号序列是整个视频事件检测技术中的重要底层技术，为遮挡难题的解决提供技术平台，同时标号序列为交通参数的提取提供数据来源。步骤2、通过坐标转换算法将交通摄像头拍摄的三维视频图像转换成二维坐标数据。由于从摄像机获得的交叉路口是间接角度，很难获得除了交通量外的速度、车辆的二维坐标等方面的信息，从而较难计算闯红灯的电动自行车与小汽车之间的反应制动距离，不能对交通冲突的严重程度给出正确判断。为了获得实际的行车速度、坐标值，需要将三维图像转换成二维数据坐标，如图2所示，具体包括如下步骤：01)建立全球坐标系(XG,YG)，源于摄像机和基于图像的坐标轴(XM,YM)；02)计算通过交叉口多边形检测区域(x1,y1)，(x2,y2)，(x3,y3)和(x4,y4)的延长线(p1,q1)和(p2,q2)；03)推导出旋转直线W1，以(x3,y3)为圆点，从(p2,q2)旋转-θ角得到W1；04)直线(p1,q1)→(x1,y1)的延长线交W1为(x5,y5)，点(x5,y5)与点(x3,y3)之间任找一点(xn,yn)，然后计算点(xn,yn)到点(p1,q1)的直线方程；05)计算直线(p2,q2)→(x3,y3)，(p2,q2)→(x4,y4)的交点(p2,q2)；06)同理03)，推导出旋转直线W2，以(x3,y3)为圆点，从(p1,q1)旋转θ角得到W2；07)在直线W2上任找一点(xm,ym)，然后计算点(xm,ym)到点(p2,q2)的直线方程；08)计算直线(p1,q1)→(x1,y1)，(p1,q1)→(x3,y3)的交点(p1,q1)，直线(p2,q2)→(x3,y3)，(p2,q2)→(x4,y4)的交点(p2,q2)。步骤3、预测电动自行车与汽车在下一帧图像中的停车点。大多数传统交通冲突的研究是通过雇佣观察员进行冲突识别，观察员亲自验证当前方向有电动自行车闯红灯现象时，另一方向正常行驶的小汽车是否有回避行为，然后对验证后的冲突进行统计。然而，这种方法主要依赖于人的判断，不能充分考虑事故和冲突的严重程度。此外，以前的冲突判断方法仅仅统计闯红灯的电动自行车，而不考虑其他的因素，比如车辆(电动自行车和小汽车)之间的反应制动距离，从而降低了事件检测精度。因此，本发明为了建立更准确的驾驶员冲突判断准则，根据反应制动距离将冲突程度分为4等级：1级，闯红灯行为；2级，轻微冲突；3级，危险冲突；4级，严重冲突或发生事故，此研究结果为交通管理部门能提供实时、准确、可靠的交通信息，便于及时对事件进行处理。下面进行详细介绍。采用ST-MRF模型同时跟踪单个的电动自行车与汽车，获得单个的电动自行车与汽车的速度和坐标值后，每辆车的制动距离可以被计算出来。制动距离的计算参数包括：计算速度、附着系数和道路的纵坡度。其中，道路的纵坡度可以通过延伸前一帧(t-1)和当前帧(t)的斜率获得；路面附着系数参考《公路工程技术标准》，可根据公式(2)估计车辆下一帧(t+1)的制动距离S：式中，ξ是速度；是附着系数，良好的沥青路面取值为1，良好水泥混凝土路面取值为0.7，潮湿路面取值为0.5；ψ是道路纵坡度，％，上坡为正，下坡为负。步骤4、根据停车点之间的距离建立驾驶员冲突判断准则。根据车辆的制动距离将驾驶员冲突判断准则分为4级冲突：1级，闯红灯行为；2级，轻微冲突；3级，危险冲突；4级，严重冲突或发生事故，判据分别如下：1级：闯红灯行为使用传统的方法解决交叉路口的冲突，当交叉路口还是黄灯时，电动自行车驾驶员不遵守交通规则鲁莽地进入交叉路口，此种行为视为闯红灯行为被统计。也即当交叉路口是黄灯时，且电动自行车的二维坐标落入交叉路口坐标范围内，则判定为1级的闯红灯行为。可以使用交叉路口图像跟踪方法获取每辆车的二维坐标(与时间和信号有关)来统计闯红灯的次数，每辆车进出交叉路口的次数与信号时间相比较，然后统计闯红灯的次数。2级：轻微冲突比如东西方向行驶的电动自行车闯红灯进入交叉路口后，南北方向行驶的小汽车进入交叉路口(此时南北方向为绿灯，东西方向是红灯)，此时的冲突可以通过估计电动自行车与小汽车的停车点之间的距离进行判断。首先，通过对图像中的车辆跟踪获得车辆中心X，Y坐标，用公式2预测电动自行车与小汽车的制动距离；然后，估算两辆车在下一帧图像中的停车点，并求出两辆车停车点之间的距离；最后，将两辆车的停车点标记在二维坐标轴上，并反映在实际道路上，以便识别两辆车在二维坐标上的停车点。如果两辆车的停车点的延长线不相交，就可以判断为2级的轻微的冲突。也就是说，两辆车的停车点互不相交，此种冲突被认为是轻微冲突；如果两辆车的停车点的延长线相交，那么两辆车必定发生冲突，冲突的危险程度可根据3级冲突和4级冲突判断标准给予评价。3级：危险冲突3级冲突是当两辆车的停车点之间的距离小于安全距离且估算出来的两辆车的跟踪轨迹相交的情况。为了研究3级冲突下的冲突判断准则需对轻微冲突给出量化的判断准则，如两车停车点之间的距离是否在安全范围。若两车停车点之间的距离不在安全范围且当标记在坐标上的两辆车的运动轨迹相交时被认为是3级的危险冲突。4级：严重冲突在跟踪车辆运动轨迹获得两辆车的坐标的基础上，当代表两辆车的矩形区域部分重叠时，被认为此冲突为交通事故。具体地说，如果两辆车的停车点之间的距离小于等于0，则判定为4级的严重冲突或发生事故。实验结果及分析：本次实验拍摄的视频为2015年11月14日上午9：30在淮安市淮海南路与解放路交叉口北进口的一段视频，通过本发明的车辆跟踪技术可以获得交通量与速度等交通参数，将采集的数据与商用的Autoscope软件测量的数据进行比较，如表1所示。从表中可以看出视频环境下获取的交通量、速度与Autoscope软件所测得的交通量、速度之间的差异不大，说明通过该车辆跟踪技术测出的交通数据的误差较小，精度比较高。因此，车辆运动轨迹技术可以用于交叉路口闯红灯的电动自行车与小汽车之间的交通冲突检测及事故判断。表1视频数据与Autoscope数据对比交通冲突检测实验：在跟踪车辆运动轨迹获得坐标的基础上，以淮海南路与解放路交叉路口为例，应用对所拍摄视频进行交通冲突检测，当闯红灯的电动自行车和正常行驶的小汽车在交叉路口经历交通冲突时，系统通过预测电动自行车与小汽车的制动距离，确定两辆车在下一帧的停车点，并求出停车点之间的距离，根据此距离建立驾驶员冲突判断准则确定冲突等级，结果如表2所示，冲突级别为空格代表没有电动自行车闯红灯。表2交通冲突检测结果时间车辆ID号车辆中心X坐标车辆中心Y坐标冲突级别速度(km/h)10:15012167.0282.4138.310:16013155.859.743.510:17014227.297.0332.510:18016163.3288.4138.310:19017145.660.443.410:20020220.296.6232.510:21024159.6294.638.410:22028134.560.4343.410:23030211.395.0132.610:24031155.3301.4238.510:25032122.860.943.510:26036201.395.0132.510:27038152.2307.0238.310:28040110.761.3443.410:29044190.993.932.5通过实验得出结论：在一级冲突结果中记录有10辆电动自行车闯红灯，10辆车中，6辆进入二级冲突，3辆记录在三级冲突中，最后有1辆车达到四级冲突级别，即将发生交通事故。图4、5、6显示了跟踪系统检测到的交通冲突情况，其中，图4显示2级冲突情况，ID号为27的电动自行车违反了交通信号但是没有其他车辆；图5显示3级冲突情况，此冲突发生在ID号为27的电动自行车和ID号为28的小汽车之间，此种情况，ID号为27的电动自行车违反了交通信号，标记在坐标上的两辆车的停车点已相交，但是代表两辆车的矩形区域没有发生重叠；最后，图6显示四级冲突情况，此冲突发生在ID号为11的电动自行车与ID号为9的小汽车之间，此时代表两辆车的矩形区域已部分重叠，可以认为此冲突将要发生交通事故。本发明的有益效果是：(1)提出了一种基于优化的ST-MRF模型同时跟踪电动自行车与汽车的算法。该方法不仅能优化图像的空间分布，还能优化图像序列沿时间轴的分布，改善了以前的车辆跟踪算法在交通混乱的交叉口车辆遮挡严重的情况下鲁棒性差的缺点。(2)本发明的交通冲突检测方法适用于各种几何形状的交叉路口，通过坐标旋转算法将三维图像转换成二维数据，计算交叉路口处不同运动方向的车辆(电动自行车或小汽车)的运动轨迹及二维坐标，并将实验数据与商用Autoscope软件所测量数据进行比较，得出使用该技术所获得的交通数据的误差较小，精度比较高。(3)根据驾驶员冲突判断准则，建立4等级的冲突级别：1级，闯红灯行为；2级，轻微冲突；3级，危险冲突；4级，严重冲突(事故)，并通过实验成功检测出四级冲突。(4)当闯红灯的电动自行车与小汽车发生3级冲突时，本方法能成功预测潜在的交通事故，能为交通管理部门提供实时、准确、可靠的交通信息，避免交通事故发生。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的
技术领域：
，均同理包括在本发明的专利保护范围内。当前第1页1 2 3