专利名称：高速公路交通事件自动取证方法及其系统的制作方法
技术领域：
本发明涉及智能交通领域，特别涉及ー种高速公路全景视频监控技木。
背景技术：
截至2011年6月，全国私家车保有量超过7206万辆，高速总里程超过7. 4万公里。随之而来的就是各类违章、异常事件的大量増加。违章停车、逆行、倒车、行人上高速、堵车等高速公路上经常出现的现象，严重影响高速正常运转，给高速公路带来了严重的安全隐患。虽然目前已建设有高速公路监控系统，并且有一部分是智能监控系统，但是目前的智能监控系统大都使用固定式枪机，不能进行智能跟踪，即便使用球机也不能进行智能跟踪，只能通过监控员手动操作，这类系统只能对高速公路异常事件进行报警，提醒监控员对该路段该目标进行关注并处理。但对于道路上出现的违章停车，违章倒车，违章逆行等短时事件，这类系统不能对目标进行跟踪抓柏，因此不能对这类车主进行处罚，起不到警示作 用，从而对高速公路的管理作用有限。并且在主从跟踪装置中，由于室外球机和枪机在长时间使用过程中，受室外天气和球机机械精度不足等因素影响，全景监控视觉传感器和跟踪视觉传感器采集的图像坐标会和初始设置时产生偏差，导致初始配置时的相机坐标參数失效，从而导致在全景监控相机检测到事件发生后，跟踪球机不能准确的跟踪到目标。同吋，当跟踪球机由跟踪状态返回全景监控状态时，由于球机机械控制精度等因素影响，监控场景往往难以准确回到原来监控位置，可能会产生几个甚至十几个像素的偏差，在现有的一些跟踪球机处理机制中，在球机回到全景监控位置时会对背景重建，但这样会带来ー个很大的问题此时若有静止目标(停车)存在于图像中吋，此目标会更新到背景中去，一段时间后当车辆开走，在原停车的位置将会产生虚假目标导致误报发生。
发明内容
本发明的目的在于提供ー种高速公路交通事件自动取证方法及其系统，避免目前采用ー个枪机作全景监测发现目标后，由一个球机进行跟踪的两个摄像机的座标有误差，匹配不易，成本较高等问题，同时，当球机回到原位重新进行全景监测时，对背景进行调整，从而减少虚假目标的产生。为解决上述技术问题，本发明的实施方式公开了ー种高速公路交通事件自动取证方法，包括以下步骤A球机在预定位置进行全景监控；B如果全景监控时检测到违章目标，则球机对该违章目标进行自动跟踪取证；C自动跟踪取证结束后,球机重新置于预定位置；D球机拍摄当前帧图像，井根据该当前帧图像检测违章目标，如果检测到目标，则计算当前帧图像的目标区域与该目标区域在背景图像对应区域的相似度，如果相似度大于预定门限，则将目标区域融入背景图像并进入步骤A，否则进入步骤B ；如果没有检测到目标，则进入步骤A。本发明的实施方式还公开了ー种高速公路交通事件自动取证系统，包括球机，用于在预定位置进行全景监控，对违章目标自动跟踪取证，或拍摄当前帧图像并根据当前帧图像检测是否有违章目标；
预置模块，用于置球机于预定位置；计算模块，用于计算当前帧图像的目标区域与该目标区域在背景图像对应区域的相似度；判断模块，用于判断相似度是否大于预定门限；融入模块，用于将目标区域融入背景图像。本发明实施方式与现有技术相比，主要区别及其效果在于使用ー个球机进行全景监控违章取证，可以避免目前采用ー个枪机作全景监测发现目标后，由一个球机进行跟踪的两个摄像机的座标有误差，匹配不易，成本较高等问题。当球机回到原位重新进行全景监测时，对背景进行调整，从而减少虚假目标的产生。进ー步地，通过对边缘方向直方图相似度和灰度直方图相似度加权平均获取当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度，进ー步増加了违章目标检测的准确性。进ー步地，对边缘方向直方图相似度和灰度直方图相似度加权平均获取当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度，边缘方向直方图相似度比灰度直方图相似度所占的权重大，进ー步増加了违章目标检测结果的准确性。
图I是本发明第一实施方式中ー种高速公路交通事件自动取证方法的流程示意图；图2是本发明第二实施方式中ー种高速公路交通事件自动取证方法的流程示意图；图3是本发明第二实施方式中ー种高速公路交通事件自动取证方法的视频处理分析流程示意图；图4是第二实施方式中ー种高速公路交通事件自动取证方法的坐标选择示意图；图5是第二实施方式中ー种高速公路交通事件自动取证方法的跟踪流程示意图；图6是本发明第三实施方式中ー种高速公路交通事件自动取证系统的结构示意图；图7是本发明第四实施方式中ー种高速公路交通事件自动取证系统的结构示意图；图8是本发明第四实施方式中ー种高速公路交通事件自动取证系统的结构示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进ー步地详细描述。本发明第一实施方式涉及ー种高速公路交通事件自动取证方法。图I是该高速公路交通事件自动取证方法的流程示意图。该高速公路交通事件自动取证方法包括以下步骤A球机在预定位置进行全景监控。 B如果全景监控时检测到违章目标，则球机对该违章目标进行自动跟踪取证。C自动跟踪取证结束后,球机重新置于预定位置。D球机拍摄当前帧图像，井根据该当前帧图像检测违章目标，如果检测到目标，则计算当前帧图像的目标区域与该目标区域在背景图像对应区域的相似度，如果相似度大于预定门限，则将目标区域融入背景图像并进入步骤A，否则进入步骤B。如果没有检测到目标，则进入步骤A。 使用ー个球机进行全景监控违章取证，可以避免目前采用一个枪机作全景监测发现目标后，由一个球机进行跟踪的两个摄像机的座标有误差，匹配不易，成本较高等问题。当球机回到原位重新进行全景监测时，对背景进行调整，从而减少虚假目标的产生。此外，可以理解，在本发明中，球机也可以是ー个具有全景监控和跟踪取证功能的模块或者单元。作为本发明的ー个优选实施例，如图I所示，该高速公路交通事件自动取证方法包括以下步骤在步骤101中，球机在预定位置进行全景监控是否有违章目标出现。若有，则进入步骤102 ;否则，返回步骤101，球机在预定位置继续全景监控是否有违章目标出现。在步骤102中，如果全景监控时检测到违章目标，则球机对该违章目标进行自动跟踪取证。此后进入步骤103,球机自动跟踪取证结束后,重新置于预定位置。此后进入步骤104，球机拍摄当前帧图像。此后进入步骤105，球机根据该当前帧图像检测是否有违章目标。若有，则进入步骤106 ;否则，返回步骤101，球机在预定位置继续全景监控是否有违章目标出现。在步骤106中，如果检测到违章目标，则计算当前帧图像的目标区域与该目标区域在背景图像对应区域的相似度。此后进入步骤107，判断相似度是否大于预定门限。若是，则进入步骤108 ;否则返回步骤102，球机对该违章目标进行自动跟踪取证。在步骤108中，如果相似度大于预定门限，则将目标区域融入背景图像，并返回步骤101，球机在预定位置继续全景监控是否有违章目标出现。本发明第二实施方式涉及ー种高速公路交通事件自动取证方法。图2是该高速公路交通事件自动取证方法的流程示意图。
第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于通过对边缘方向直方图相似度和灰度直方图相似度加权平均获取当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度，进ー步増加了违章目标检测的准确性。对边缘方向直方图相似度和灰度直方图相似度加权平均获取当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度，边缘方向直方图相似度比灰度直方图相似度所占的权重大，进ー步増加了违章目标检测结果的准确性。具体地说如图2所示，上述计算该当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度的步骤106，还包括以下子步骤在步骤201中，分别计算当前帧图像目标区域梯度纹理与该目标区域在背景图像对应区域的梯度纹理。此后进入步骤202，获取所述各自的目标边缘图像。此后进入步骤203，统计各自目标边缘图像的方向直方图。此后进入步骤204，统计并计算方向直方图的边缘方向直方图相似度。此后进入步骤205，计算当前帧图像目标区域与该目标区域在背景图像对应的区域的灰度直方图相似度。此后进入步骤206，对边缘方向直方图相似度和灰度直方图相似度加权平均，作为当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度，此后结束本流程。上述步骤201至步骤204计算边缘方向直方图相似度过程与步骤205计算灰度直方图相似度过程可以互换顺序，即先计算灰度直方图相似度再计算边缘方向直方图相似度。此外，可以理解，在本发明的其他某些实施方式中，进行当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度的加权计算时，并不局限于对结构相似度和纹理相似度的加权计算，还包括对颜色相似度的加权计算，因为颜色相似度计算属于公知技木，这里不作说明。在本发明的其他某些实施方式中，当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度也可以參考纹理相似度、颜色相似度、灰度直方图相似度中的ー个，或者也可以參考纹理相似度、顔色相似度、灰度直方图相似度中的若干个进行加权平均所得至IJ的相似度。边缘方向直方图相似度比灰度直方图相似度所占的权重大。如果全景监控时检测到违章目标，还对违章目标进行联动报警。计算该当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度的步骤，基于相同的图像坐标系进行计算。作为本发明的ー个优选实施例，在高速公路匝道ロ，互通出入口以及各路段安装高速球型摄像机，使摄像机的视觉传感器的有效视野范围覆盖整个路ロ，无盲区，全方位检测过往车辆。球机中的检测模块对进入监控区域的目标自动检测和全景跟踪，掌握每个目标的运动轨迹，从而检测出每个目标在监控区域的各种违章行为信息，具体处理过程如图3所示白天模式对输入图像首先进行背景提取，背景提取的方法为现有的方法，如混合高斯模型背景提取，提取背景后通过当前图像与背景图像的比较可以获得当前图像中运动目标。夜晚模式通过对车灯进行检测确定运动目标。在步骤301中，球机采集或输入图像。此后进入步骤302，检测模块从输入的图像中提取运动目标。
此后进入步骤303，自动跟踪取证模块对运动目标跟踪取证，在检测出运动目标后使用卡尔曼Kalman,均值漂移Mean Shift或粒子滤波Particle Filter等方法对运动目标进行跟踪，获取目标的运动轨迹。此后进入步骤304，分析目标的运动轨迹的变化，当目标运动轨迹与实际车道方向相反或大于设定角度时，认为目标逆行；当目标运动轨迹静止并超过设定时间限制时，判定目标为停车。当检测模块检测到违章行为或违章事件或违章目标后，首先确定图像中跟踪的初始坐标，跟踪初始坐标的选择与最終能否看请车牌有密切关系，跟踪初始点的选择与目标的类型、目标和相机的夹角有夫。由投影原理可知，在相机高度不变的情况下，目标与相机距离越近，夹角越大，目标的车牌就越靠近目标区域下方；目标越长(如半挂车、大客车)，车牌位置在图像中也越靠近目标下方。因此在选择初始跟踪坐标时需要综合分析目标的类型以及相机架设高度，相机架设距离，确定跟踪初始点在图像中的坐标。即跟踪初始点距离目标下边缘的距离(像素)与图像中目标的长度(像素)的比例P正比于相机与目标的距离山反比于相机架设高度h与目标长度I。理论上当目标无穷远时，P的位置为车牌位置距地面高度Ph与车辆高度Vh的比值PO，如图，PO = Ph/Vh，通常PO = 1/4。如图4所示。h为相机的高度，dl为图像中车头据相机的垂直实际距离，d2为图像中车尾距相机的垂直实际距离，计算P的公式如下a = arctan (dl/h)；= arctan (d2/h)；P = PO * Cos (- a )；其中，a为车头与镜头的垂直夹角，0为车尾与镜头的垂直夹角。检测模块将初始跟踪坐标传给自动跟踪快球或模块后，快球控制PTZ (其中，Pj平转动角度；T :垂直转动角度；Z(Z00m)焦距)对目标进行放大，并对跟踪目标进行运动补偿，运动补偿后匹配目标的特征，更新跟踪坐标。直到车牌清晰可见时停止倍率放大，并继续控制球机的P(Pan)和T(Tilt)对目标进行跟踪。在该全景监控违章跟踪取证系统中，跟踪模块与检测模块使用同一个视觉传感器采集的视频图像，因此跟踪模块和检测模块在同一个图像坐标下，跟踪模块在获取了检测模块提供的初始跟踪坐标后，不需要进行任何坐标转换，可以直接启动跟踪程序，分析目标在图像中的特征，驱动快速球机变倍，变焦等动作进行跟踪，并在跟踪的过程中修正跟踪坐标。
当检测到违章行为后，球机对违章事件进行录像，作为执法依据对车主进行事后处罚适用。作为本发明的ー个优选实施例，具体跟踪流程如图5所示在步骤501中，初始化球机跟踪点。此后进入步骤502，自动跟踪目标。此后进入步骤503，目标特征匹配。此后进入步骤504，更新跟踪坐标，此后结束本流程。本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器 中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Prog rammable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称 “PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPR0M”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。本发明第三实施方式涉及ー种高速公路交通事件自动取证系统。图6是该高速公路交通事件自动取证系统的结构示意图。该高速公路交通事件自动取证系统包括球机，用于在预定位置进行全景监控，对违章目标自动跟踪取证，或拍摄当前帧图像并根据当前帧图像检测是否有违章目标。预置模块，用于置球机于预定位置。计算模块，用于计算当前帧图像的目标区域与该目标区域在背景图像对应区域的相似度。判断模块，用于判断相似度是否大于预定门限。融入模块，用于将目标区域融入背景图像。第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了減少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。本发明第四实施方式涉及ー种高速公路交通事件自动取证系统。图7和图8是该高速公路交通事件自动取证系统的结构示意图。第四实施方式在第三实施方式的基础上进行了改进，主要改进之处在于边缘方向直方图相似度比灰度直方图相似度所占的权重大，进ー步増加了违章目标检测结果的准确性。如图7所示,具体地说计算模块，还包括以下子単元纹理计算子单元，用于分别计算当前帧图像目标区域梯度纹理与该目标区域在背景图像对应区域的梯度纹理。边缘获取子単元，用于获取纹理计算子单元所计算出的各自目标边缘图像。直方图统计子単元，用于统计边缘获取子单元获取的各自目标边缘图像的方向直方图。
第一相似度子単元，用于统计并计算直方图统计子単元所统计出的方向直方图的边缘方向直方图相似度。第二相似度子単元，用于计算当前帧图像目标区域与该目标区域在背景图像对应的区域的灰度直方图相似度。加权平均子単元，用于对第一相似度子单元计算出的边缘方向直方图相似度和第二相似度子单元计算出的灰度直方图相似度加权平均，作为当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度。此外，可以理解，在本发明的其他某些实施方式中，进行当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度的加权计算时，并不局限于对结构相似度和纹理相似度的加权计算，还包括对颜色相似度的加权计算，因为颜色 相似度计算属于公知技木，这里不作说明。在本发明的其他某些实施方式中，当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度也可以參考纹理相似度、颜色相似度、灰度直方图相似度中的ー个，或者也可以參考纹理相似度、顔色相似度、灰度直方图相似度中的若干个进行加权平均所得至IJ的相似度。边缘方向直方图相似度比灰度直方图相似度所占的权重大。如图8所示,该高速公路交通事件自动取证系统还包括联动报警模块，用于如果球机全景监控时检测到违章目标对违章目标进行联动报
m
目O计算模块，基于相同的图像坐标系计算当前帧图像的目标区域与该目标区域在背景图像对应区域的相似度。第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了減少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。需要说明的是，本发明各设备实施方式中提到的各単元都是逻辑単元或模块，在物理上，ー个逻辑单元或模块可以是ー个物理单元或模块，也可以是ー个物理单元或模块的一部分，还可以以多个物理単元或模块的组合实现，这些逻辑单元或模块本身的物理实现方式并不是最重要的，这些逻辑单元或模块所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的単元或模块引入，这并不表明上述设备实施方式并不存在其它的单元或模块。虽然通过參照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
权利要求
1.ー种高速公路交通事件自动取证方法，其特征在于，包括以下步骤 A球机在预定位置进行全景监控； B如果全景监控时检测到违章目标，则所述球机对该违章目标进行自动跟踪取证； C自动跟踪取证结束后，所述球机重新置于所述预定位置； D所述球机拍摄当前帧图像，井根据该当前帧图像检测违章目标， 如果检测到目标，则计算当前帧图像的目标区域与该目标区域在背景图像对应区域的相似度，如果所述相似度大于预定门限，则将目标区域融入背景图像并进入步骤A，否则进入步骤B ； 如果没有检测到目标，则进入步骤A。
2.根据权利要求I所述的高速公路交通事件自动取证方法，其特征在于，所述计算该当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度的步骤，包括以下子步骤 分别计算当前帧图像目标区域梯度纹理与该目标区域在背景图像对应区域的梯度纹理，并获取所述各自的目标边缘图像； 统计各自目标边缘图像的方向直方图； 统计并计算各自方向直方图的边缘方向直方图相似度； 计算当前帧图像目标区域与该目标区域在背景图像对应的区域的灰度直方图相似度； 对所述边缘方向直方图相似度和灰度直方图相似度加权平均，作为当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度。
3.根据权利要求2所述的高速公路交通事件自动取证方法，其特征在于，所述边缘方向直方图相似度比灰度直方图相似度所占的权重大。
4.根据权利要求I所述的高速公路交通事件自动取证方法，其特征在于，如果全景监控时检测到违章目标，还对所述违章目标进行联动报警。
5.根据权利要求I至4中任一项所述的高速公路交通事件自动取证方法，其特征在干，所述计算该当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度的步骤，基于相同的图像坐标系进行计算。
6.ー种高速公路交通事件自动取证系统，其特征在于，包括 球机，用于在预定位置进行全景监控，对违章目标自动跟踪取证，或拍摄当前帧图像并根据当前帧图像检测是否有违章目标； 预置模块，用于置所述球机于所述预定位置； 计算模块，用于计算所述当前帧图像的目标区域与该目标区域在背景图像对应区域的相似度； 判断模块，用于判断所述相似度是否大于预定门限； 融入模块，用于将所述目标区域融入背景图像。
7.根据权利要求6所述的高速公路交通事件自动取证系统，其特征在干，所述计算模块，还包括以下子単元 纹理计算子单元，用于分别计算当前帧图像目标区域梯度纹理与该目标区域在背景图像对应区域的梯度纹理；边缘获取子単元，用于获取所述纹理计算子単元所计算出的各自目标边缘图像； 直方图统计子単元，用于统计所述边缘获取子单元获取的各自目标边缘图像的方向直方图； 第一相似度子単元，用于统计并计算所述直方图统计子単元所统计出的方向直方图的边缘方向直方图相似度； 第二相似度子単元，用于计算当前帧图像目标区域与该目标区域在背景图像对应的区域的灰度直方图相似度； 加权平均子単元，用于对所述第一相似度子单元计算出的边缘方向直方图相似度和所述第二相似度子单元计算出的灰度直方图相似度加权平均，作为当前帧图像目标区域与该目标区域在背景图像对应的区域的相似度。
8.根据权利要求7所述的高速公路交通事件自动取证系统，其特征在于，所述边缘方向直方图相似度比灰度直方图相似度所占的权重大。
9.根据权利要求6所述的高速公路交通事件自动取证系统，其特征在于，还包括 联动报警模块，用于如果所述球机全景监控时检测到违章目标对所述违章目标进行联动报警。
10.根据权利要求6至9中任一项所述的高速公路交通事件自动取证系统，其特征在于，所述计算模块，基于相同的图像坐标系计算当前帧图像的目标区域与该目标区域在背景图像对应区域的相似度。
全文摘要
本发明涉及智能交通领域，公开了一种高速公路交通事件自动取证方法及其系统。避免多个摄像机监测跟踪的座标误差、匹配不易和成本高等问题，当球机回到原位重新监测时调整背景减少虚假目标产生。本发明中，包括以下步骤A、球机在预定位置全景监控；B、若检测到违章目标，球机自动跟踪取证；C、球机重新置于预定位置；D、球机拍摄当前帧图像并检测违章目标，若检测到目标，则计算当前帧图像目标区域与该目标区域在背景图像对应区域的相似度，若相似度大于预定门限，则将目标区域融入背景图像并进入步骤A，否则进入步骤B；若没有检测到目标，则进入步骤A。
文档编号G08G1/01GK102646334SQ201210125038
公开日2012年8月22日 申请日期2012年4月25日 优先权日2012年4月25日
发明者浦世亮, 车军 申请人:杭州海康威视数字技术股份有限公司