一种车辆闯红灯检测方法及装置与流程

本申请涉及计算机技术领域，尤其涉及一种车辆闯红灯检测方法及装置。

背景技术：

对于确定道路交通上的车辆是否存在闯红灯的现象，除了现场执法外，现有技术中，可以通过“电子警察”在检测到车辆路口闯红灯行为时自动抓拍图片进行判断。但是，在现有技术中“电子警察”所抓拍的图片主要依靠人工审核，以确定车辆是否闯红灯。而非现场执法记录的数据量庞大，依赖人工进行逐一筛查效率十分低下，并且容易出现错漏等问题。

除上述技术以外，现有技术中还可以依赖于其它硬件设备判断车辆是否存在闯红灯现象。例如在信号灯上安装发射装置，在车辆上安装终端，通过信号收发来计算车辆行驶方向和行驶速度，从而判断是否存在车辆闯红灯现象；又例如在车辆上安装电子标签，记录其进入路口和离开路口的时间，以判断车辆是否闯红灯。然而，车流量大的路口，车辆之间存在遮挡，会对信号造成阻挡或干扰，无法准确判断车辆是否闯红灯。此外也无法对车辆牌照进行有效识别，无法确定闯红灯车辆的信息，从而影响执法。

技术实现要素：

本申请实施例提供了一种车辆闯红灯检测方法及装置，旨在解决无法自动检测车辆是否存在闯红灯现象的问题。

一方面，本申请实施例提供了一种车辆闯红灯检测方法，该方法包括：接收预设条件下获取的多张有关红灯状态下的交通状况图像。根据多张交通状况图像，确定待检测车辆；待检测车辆是在多张交通状况图像中均包括的车辆。确定在多张交通状况图像的第一图像中，待检测车辆在车辆停止线内或者在车辆停止线上，以及在多张交通状况图像的第二图像和第三图像中，待检测车辆均在车辆停止线外，且待检测车辆在第二图像与在第三图像中的位置不同，则待检测车辆为目标闯红灯车辆。其中，第一图像获取时间早于第二图像、第三图像获取时间。

在一种可能实现的方式中，根据多张交通状况图像，确定待检测车辆，具体包括：根据多张交通状况图像中的第一图像、第二图像以及第三图像，分别确定至少一个第一子图像、至少一个第二子图像以及至少一个第三子图像。其中，至少一个第一子图像为第一图像中各车辆对应的图像，至少一个第二子图像为第二图像中各车辆对应的图像，至少一个第三子图像为第三图像中各车辆对应的图像。基于预设的车牌识别算法，根据各第一子图像、各第二子图像以及各第三子图像，确定待检测车辆。在第一子图像根据预设的车牌识别算法无法识别出车牌号的情况下，分别计算第一子图像与第二子图像、第三子图像的图像相似度，并根据图像相似度，确定待检测车辆。

在一种可能实现的方式中，确定在多张交通状况图像的第一图像中，确定待检测车辆在车辆停止线内或者在车辆停止线上，具体包括：获取与多张交通状况图像对应的停止线图像，以及待检测车辆在第一图像中的位置信息；根据交通状况图像中车辆停止线在停止线图像中的位置关系，以及待检测车辆在第一图像中的位置信息，确定待检测车辆是否在车辆停止线内或者在车辆停止线上。

在一种可能实现的方式中，根据多张交通状况图像，确定待检测车辆，具体包括：根据多张交通状况图像中的第一图像，确定第一图像中所有车辆在第一图像中的位置信息。获取相应的车道线图像，并根据车道线图像确定各车辆车道线在车道线图像中的位置信息。根据第一图像中所有车辆在第一图像中的位置信息，以及各车辆车道线在车道线图像中的位置信息，确定第一图像中各车辆所处车道。并根据第一图像中各车辆所处车道，确定第一图像中的各车辆分别对应的信号灯。确定获取第一图像的时间，并根据时间，确定第一图像中的车辆对应的信号灯是否为红灯状态。基于第一图像中的车辆对应的信号灯为红灯状态的车辆，根据多张交通状况图像，确定待检测车辆。

在一种可能实现的方式中，分别根据多张交通状况图像中的第一图像、第二图像以及第三图像，确定至少一个第一子图像、至少一个第二子图像以及至少一个第三子图像，具体包括：基于预设算法，分别确定第一图像、第二图像、第三图像中所有车辆的包围盒的位置坐标。根据各车辆的包围盒的位置坐标，分别从第一图像、第二图像、第三图像中提取出至少一个第一子图像、至少一个第二子图像以及至少一个第三子图像。

在一种可能实现的方式中，获取与多张交通状况图像对应的停止线图像，具体包括：获取与多张交通状况图像相应的道路路口图像，道路路口图像为无遮挡物的道路路口图像。将道路路口图像进行二值化处理，得到二值化图像。并根据预设规则对二值化图像进行直线检测，将检测出的符合预设规则的直线作为车辆停止线。根据二值化图像中的车辆停止线，生成停止线图像。

在一种可能实现的方式中，在生成停止线图像之后，方法还包括：将停止线图像进行二值化处理，并按照预设规则对二值化处理后的停止线图像进行直线检测，将检测出的符合预设规则的直线，作为新的车辆停止线。在未检测出新的停止线的情况下，对二值化处理后的停止线图像求取连通域。根据各连通域的端点，基于最小二乘法拟合出直线，得到新的车辆停止线，并根据新的车辆停止线生成新的停止线图像。

在一种可能实现的方式中，分别计算第一子图像与第二子图像、第三子图像的图像相似度，具体包括：分别获取第一子图像、第二子图像以及第三子图像的特征点。并根据特征点，分别计算各第一子图像、各第二子图像以及各第三子图像的特征描述子。分别确定第一子图像的特征描述子，与第二子图像的特征描述子、第三子图像的特征描述子之间的汉明距离。根据汉明距离，确定第一子图像分别与第二子图像、第三子图像的图像相似度。

在一种可能实现的方式中，根据汉明距离，确定第一子图像分别与第二子图像、第三子图像的图像相似度，具体包括：确定汉明距离小于预设阈值的两个特征描述子对应的特征点为匹配特征点。根据第一子图像和第二子图像之间的匹配特征点的数目，确定第一子图像与第二子图像的图像相似度。以及根据第一子图像和第三子图像之间的匹配特征点的数目，确定第一子图像与第三子图像的图像相似度。

另一方面，本申请实施例还提供了一种车辆闯红灯检测装置，该装置包括：接收模块，用于接收预设条件下获取的有关红灯状态下的交通状况图像。第一确定模块，用于根据多张交通状况图像，确定待检测车辆；待检测车辆是在多张交通状况图像中均包括的车辆。第二确定模块，用于确定在多张交通状况图像的第一图像中，待检测车辆在车辆停止线内或者在车辆停止线上，以及在多张交通状况图像的第二图像和第三图像中，待检测车辆均在车辆停止线外，且待检测车辆在第二图像与在第三图像中的位置不同，则待检测图像为目标闯红灯车辆。其中，第一图像的获取时间早于第二图像、第三图像的获取时间。

本申请实施例提供了一种车辆闯红灯检测方法及装置，通过获得的多张有关状态下的交通状况图像，并根据多张交通状况图像中确定待检测车辆。根据待检测车辆在多张交通状况图像的第一图像中与车辆停止线的位置关系，以及在多张交通状况图像的第二图像、第三图像中与停止线的位置关系，确定待检测车辆是否为目标闯红灯车辆。相对于人工审核的方式，节省了大量的人力物力，并且提高了处理速度，极大地提高了交管部门的工作效率，降低人工成本。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种车辆闯红灯检测方法的流程图；

图2为本申请实施例提供的确定待检测车辆的方法的流程图；

图3为本申请实施例提供的获取与多张交通状况图像对应的停止线图像的方法的流程图；

图4为本申请实施例提供的一种车辆闯红灯检测装置的结构示意图。

具体实施方式

为了更清楚的阐释本申请的整体构思，下面结合说明书附图以示例的方式进行详细说明。

图1为本申请实施例提供的一种车辆闯红灯检测方法的流程图，如图1所示，本申请实施例提供的一种车辆闯红灯检测方法的步骤包括：

s101，前端设备按照预设条件获取多张有关红灯状态下的交通状况图像。

上述前端设备可以是智能交通违章监摄管理系统，俗称“电子警察”、“电子眼”，是当前道路交通非现场执法的主要设备。现有技术中，电子警察在相应的信号灯为红灯状态下，按照预设的规则对道路路口进行拍照，获得多张有关红灯状态下的交通状况图像。

s102，服务器接收前端设备发送的多张有关红灯状态下的交通状况图像。

服务器接收前端设备发送的多张交通状况图像，可以是前端设备在获取多张交通状况图像后直接发送的，也可以是按照一定的时间间隔发送的，在本申请实施例中不加以限定。

在本申请的一种实施例中，服务器也可以主动获取前端设备获得的多张交通状况图像，在本申请实施例中不加以限定。

s103，服务器根据多张交通状况图像，确定待检测车辆。

这里所说的待检测车辆是指在多张交通状况均包括的车辆。

如图2所示，在本申请实施例中，服务器根据多张交通状况图像，确定待检测车辆，具体可以包括以下步骤：

s201，根据多张交通状况图像中的第一图像、第二图像以及第三图像，分别确定至少一个第一子图像、至少一个第二子图像以及至少一个第三子图像。

在本申请实施例中，多张交通状况图像中包括第一图像、第二图像以及第三图像。其中第一图像的获取时间早于第二图像、第三图像的获取时间，第二图像的获取时间早于第三图像的获取时间。

上述至少一个第一子图像为第一图像中各车辆对应的图像，至少一个第二子图像为第二图像中各车辆对应的图像，至少一个第三子图像为第三图像中各车辆对应的图像。

在本申请的一个实施例中，根据多张交通状况图像中的第一图像，确定至少一个第一子图像，具体为：

基于预设的深度学习方法，确定第一图像中各车辆的包围盒的位置信息；

根据车辆的包围盒的位置信息，从第一图像中提取出含有各车辆的图像，作为各第一子图像。

在本申请实施例中，从第二图像中确定至少一个第二子图像方法、从第三图像中确定至少一个第三子图像的方法，与第一图像中确定至少一个第一子图像的方法相同，在此不再加以赘述。

上述预设的深度学习方法可以是例如yolov3的深度学习方法。其中，yolov3采用了由卷积网络和残差结构组成的darknet-53网络框架和多尺度融合的方式来预测结果，类别预测时也由yolov2的单标签分类变成多标签分类。在数据量足够的情况下，深度学习方法可以取得比传统方法更准确的目标检测结果。而yolov3这一算法简单易实现，而且可以较好地平衡精度和速度，是目前学界和工业界流行的目标检测算法之一。

s202，基于预设的车牌识别算法，根据各第一子图像、各第二子图像以及各第三子图像，确定待检测车辆。

根据预设的车牌识别算法，对各第一子图像、各第二子图像以及各第三子图像进行车牌号识别，根据每个图像识别出的车牌号，确定出待检测车辆。

s203，在第一子图像根据预设的车牌识别算法无法识别出车牌号的情况下，分别计算第一子图像与第二子图像、第三子图像的图像相似度。

上述与第一子图像计算图像相似度的第二子图像，可以是所有的第二子图像；可以是除去根据车牌识别算法确定的待检测车辆对应图像后，其他的第二子图像，在本申请实施例中不加以限定。同理，上述与第一子图像计算图像相似度的第三子图像，可以是所有的第三子图像；也可以是除去根据车牌识别算法确定的待检测车辆对应图像后，其他的第二子图像，在本申请实施例中不加以限定。

在本申请实施例中，分别计算第一子图像与第二子图像、第三子图像的图像相似度，具体为：

可以根据fast算法，分别获取第一子图像、第二子图像以及第三子图像的特征点；

并根据特征点，分别计算各第一子图像、各第二子图像以及各第三子图像的特征描述子；

分别确定第一子图像的特征描述子，与个第二子图像的特征描述子、第三子图像的特征描述子之间的汉明距离；

确定汉明距离小于预设阈值的两个特征描述子对应的特征点为匹配特征点；

根据第一子图像和第二子图像之间的匹配特征点的数目，确定第一子图像与第二子图像的图像相似度；

以及根据第一子图像和第三子图像之间的匹配特征点的数目，确定所述第一子图像与第三子图像的图像相似度。

在本申请实施例中，可以将匹配特征点的数目与图像相似度之间预设一定的对应关系，根据该对应关系确定两个图像间的图像相似度。例如，两个图像的匹配特征点的数目为a时，则图像相似度为b；或者，两个图像的匹配特征点的数目为c-d，则图像相似度为e。

s204，在第一子图像与第二子图像的图像相似度、以及第一子图像与第三子图像的图像相似度均超出预设阈值的情况下，确定待检测车辆。

在本申请实施例中，在第一子图像与第二子图像的图像相似度、以及第一子图像与第三子图像的图像相似度均超出预设阈值的情况下，确定第一子图像中的车辆与第二子图像中的车辆为同一车辆，该第一子图像与第三子图像中的车辆为同一车辆，即该车辆为待检测车辆。

在本申请实施例中，先基于车牌识别算法，通过识别出的车牌号确定待检测车辆。然后，在第一子图像根据预设的车牌识别算法无法识别出车牌号的情况下，计算该第一子图像分别与第二子图像、第三子图像的图像相似度，以确定待检测图像。通过该技术方案，有效的避免了现有技术中通过车牌号进行待检测车辆确定时带来的漏检、不鲁棒等问题，使得车辆闯红灯检测更加准确。

s104，服务器确定在第一图像中，待检测车辆在车辆停止线内或者车辆停止线上；以及确定在第二图像和第三图像中，待检测车辆均在车辆停止线外，且待检测车辆在第二图像与第三图像中的位置不同，则待检测车辆为目标闯红灯车辆。

这里提到的待检测车辆在车辆停止线内或者车辆停止线上是指待检测车辆未完全超出车辆停止线，待检测车辆在车辆停止线外则是指待检测车辆超过了车辆停止线。

在本申请实施例中，可以根据待检测车辆分别在第二图像、第三图像中为位置信息，确定上述待检测车辆在第二图像的位置是否与在第三图像中的位置不同。这里所提到的待检测车辆在第二图像的位置是否与在第三图像中的位置不同，可以是指待检测车辆在第三图像相对于第二图像中有向前的运行状态。

在本申请的一个实施例中，服务器确定在第一图像中，确定待检测车辆在车辆停止线内或者在所述车辆停止线上，具体为：

获取与多张交通状况图像对应的停止线图像，以及待检测车辆在第一图像中的位置信息；

根据第一图像中车辆停止线在停止线图像中的位置信息，以及待检测车辆在第一图像中的位置信息，确定待检测车辆是否在车辆停止线内或者车辆停止线上。

在本申请实施例中，服务器确定在第二图像和第三图像中，待检测车辆是否均在车辆停止线外，也可通过上述相同或相似的方法实现，再次不再加以赘述。并且，这里所提到的停止线图像可以是提前存储在服务器中的。

如图3所示，在本申请的一个实施例中，获取与多张交通状况图像对应的停止线图像，具体包括以下步骤：

s301，获取与多张交通状况图像相应的道路路口图像，道路路口图像为无遮挡物的道路路口图像。

s302，将上述道路路口图像转化为灰度图像，并根据该灰度图像，获取感兴趣区域图像。

上述感兴趣区域图像是指从灰度图像中，裁剪出来的包含停止线所在区域的图像，以出去灰度图像中其他区域，从而加快后续对获取停止线图像的速度。

s303，调整感兴趣区域图像的亮度和对比度，并根据高斯滤波对调整亮度和对比度后的感兴趣区域图像进行处理。

通过高斯滤波对调整亮度和对比度后的感兴趣区域图像进行处理，可以对感兴趣区域图像进行去噪，尽可能的减少噪声的干扰。

s304，将高斯滤波后的感兴趣区域图像进行二值化处理，得到二值化图像。

在本申请实施例中，可以通过以下方法但不限于以下方法进行二值化处理：

(1)用户定义阈值二值化；(2)otsu二值化，(3)自适应阈值二值化，(4)otsu与自适应阈值结合的二值化。

s305，根据预设规则对二值化图像进行直线检测，将二值化图像中符合预设规则的直线作为车辆停止线。

在步骤s305之前，还可以对二值化图像进行腐蚀和膨胀，目的在于对二值化图中的停止线填充孔洞，以减少车道对线条检测的影响。

在本申请实施例中，可以根据霍夫变换对二值化图像进行直线检测，将二值化图像中水平线夹角大于30度的线条作为车道线，其余的作为车辆停止线。

s306，根据所述二值化图像中的车辆停止线，生成所述停止线图像。

上述停止线图像为与道路路口图像尺寸相同的图像，其中可以用红色线条表示停止线，蓝色线条表示车道线，其他部分用黑色表示。

s307，将生成的停止线图像进行二值化处理，并按照预设规则对二值化处理后的停止线图像进行直线检测，将二值化处理后的停止线图像中符合预设规则的直线，作为新的车辆停止线。

s308，根据新的车辆停止线，生成停止线图像，作为新的停止线图像。

由于车道线和车辆停止线的长度相较于道路上的其他杂线的往往更长，因此通过s307-s308进行二次直线检测，可以更好地检测出车辆停止线和车道线。

需要说明的事，在步骤s308之前，还可以对二值化处理后的停止线图像进行腐蚀和膨胀，以此实现对车道线和车辆线进行扩充或细化。

在执行步骤s307后，未检测到新的车辆停止线的情况下，服务器对二值化处理后的停止线图像求取连通域；根据各连通域的端点，基于最小二乘法拟合出直线，作为新的车辆停止线，并根据新的车辆停止线生成新的停止线图像。

通过上述技术方案，一方面，相对于利用深度学习确定停止线的方法相比，节省了大量人工标注环节浪费的资源；另一方面，处理速度快，每张图处理速度在1秒以内。

在本申请的另一实施例中，根据多张交通状况图像，确定待检测车辆，还可以通过以下方法实现：

服务器根据多张交通状况图像中的第一图像，确定的第一图像中所有车辆在第一图像中的位置信息；以及获取相应的车道线图像，并根据该车道线图像确定各车辆车道线在该车道线图像中的位置信息。

根据第一图像中所有车辆在第一图像中的位置信息，以及各车辆车道线在车道线图像中的位置信息，确定第一图像中各车辆所处车道。

服务器根据第一图像中各车辆所处车道，确定第一图像中各车辆所处车道。

根据第一图像中各车辆所处车道，确定第一图像中各车辆分别对应的信号灯。

确定根据获取第一图像的时间，并根据所述时间，确定第一图像中的车辆对应的信号灯是否为红灯状态。

基于第一图像中的车辆对应的信号灯为红灯状态的车辆，根据多张交通状况图像，确定待检测车辆。

需要说明的是，获得车道线图像的方法与上述获得停止线图像的方法相似，在此不再加以赘述。

通过上述技术方案，可以提前筛除不需要进行闯红灯检测的车辆，从而加快车辆闯红灯检测的速度。

本申请实施例还提供了一种车辆闯红灯检测装置，如图4所示，该装置400包括：接收模块410、第一确定模块420、第二确定模块430。接收模块410用于接收预设条件下获取的有关红灯状态下的交通状况图像。第一确定模块430用于根据多张交通状况图像，确定待检测车辆；待检测车辆是在多张交通状况图像中均包括的车辆。第二确定模块130用于确定在多张交通状况图像的第一图像中，待检测车辆在车辆停止线内或者在车辆停止线上，以及在多张交通状况图像的第二图像和第三图像中，待检测车辆均在车辆停止线外，且待检测车辆在第二图像与在第三图像中的位置不同，则待检测图像为目标闯红灯车辆。其中，第一图像的获取时间早于第二图像、第三图像的获取时间。

本申请实施例提供了一种车辆闯红灯检测方法及装置，通过获得的多张有关状态下的交通状况图像，并根据多张交通状况图像中确定待检测车辆。根据待检测车辆在多张交通状况图像的第一图像中与车辆停止线的位置关系，以及在多张交通状况图像的第二图像、第三图像中与停止线的位置关系，确定待检测车辆是否为目标闯红灯车辆。相对于人工审核的方式，节省了大量的人力物力，并且提高了处理速度，极大地提高了交管部门的工作效率，降低人工成本。

本发明实施例本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含本申请的权利要求范围之内。