基于视频的实时闯红灯检测方法、装置、系统及存储介质与流程

本发明属于深度学习与人工智能技术领域，具体涉及一种基于视频的实时闯红灯检测方法、装置、系统及存储介质。

背景技术：

目前，非现场执法成为交警部门执法的主要手段，原理就是利用算法实时分析卡口视频监控，得到视频中的违法目标。据统计，智能非现场执法系统处罚的违法行为越来越多，约占总处罚量的80％以上，该方法获取的违法信息更佳准确，遗漏率也更低，智能非现场执法系统大大节省了警力，这样可以把有限的警力投入到更需要的地方。例如拿在智能非现场执法中最多的机动车闯红灯来讲，该系统要确保检测到的违法数据有足够高的准确率和很低的遗漏率，因为大量的交通违法数据需要及时的审核、复核、上传通常的约定时间为7天内，因此在智能非现场执法能都检测到大量违法数据的情况下要保证违法数据的准确性，提高工作效率。如何达到上述要求是目前亟待解决的技术问题。

技术实现要素：

针对现有技术中的技术缺陷，本发明实施例的目的在于提供一种基于视频的实时闯红灯检测方法、装置、系统及存储介质。

为实现上述目的，第一方面，本发明实施例提供了一种基于视频的实时闯红灯检测方法，包括：

视频图像提取步骤：获取前端摄像头拍摄的实时视频流，并对所述实时视频流进行解析以得到多张待处理图像；

信号灯和车道对应处理步骤：抽取一张所述待处理图像进行人工标注，以得到车道区域、车道类型、红绿灯区域和红绿灯类型，并建立所述车道类型和红绿灯类型的对应关系；

车辆检测步骤：对所述实时视频流进行车辆检测，并结合人工标注的车道区域得到进入所述车道区域的目标车辆；

车辆跟踪步骤：对所述目标车辆进行跟踪，在跟踪过程中记录所述目标车辆的位置信息及对应的红绿灯信息；

闯红灯判断步骤：当所述目标车辆走出视频区域时，根据所述对应关系和记录的所述目标车辆的位置信息及对应的红绿灯信息判断所述目标车辆是否闯红灯。

其中，所述车道类型包括左掉头车道、左转车道、左转直行车道、直行车道、右转直行车道及右转车道；所述红路灯类型包括左转箭头、直行箭头、右转箭头以及圆灯。

作为本申请的一种具体实施方式，所述视频图像提取步骤具体包括：

采用ffmpeg程序对对所述实时视频流进行解析以得到多张待处理图。

作为本申请的一种具体实施方式，所述车辆检测步骤具体包括：

使用yolo算法对所述实时视频流进行检测，并通过人工标注的真实场景数据对车辆检测过程进行微调和矫正，以得到进入所述车道区域的目标车辆，并对所述目标车辆对应的图片进行缓存记录。

进一步地，所述闯红灯检测步骤还包括：

若所述目标车辆闯红灯，则取证所述目标车辆闯红灯前、中及后的三张取证图像，并标注所述目标车辆在所述三张取证图像中的位置；

若所述目标车辆未闯红灯，则不做任何处理。

基于相同的发明构思，第二方面，本发明实施例提供了一种基于视频的实时闯红灯检测装置，包括：

视频图像提取单元，用于获取前端摄像头拍摄的实时视频流，并对所述实时视频流进行解析以得到多张待处理图像；

信号灯和车道处理单元，用于抽取一张所述待处理图像进行人工标注，以得到车道区域、车道类型、红绿灯区域和红绿灯类型，并建立所述车道类型和红绿灯类型的对应关系；

车辆检测单元，用于对所述实时视频流进行车辆检测，并结合人工标注的车道区域得到进入所述车道区域的目标车辆；

车辆跟踪单元，用于对所述目标车辆进行跟踪，在跟踪过程中记录所述目标车辆的位置信息及对应的红绿灯信息；

闯红灯判断单元：当所述目标车辆走出视频区域时，根据所述对应关系和记录的所述目标车辆的位置信息及对应的红绿灯信息判断所述目标车辆是否闯红灯。

第三方面，本发明实施例提供了另一种基于视频的实时闯红灯检测装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

第五方面，本发明实施例提供了一种基于视频的实时闯红灯检测系统，包括相互通信的前端摄像头和检测装置。其中，该检测装置如前所述。

实施本发明实施例，可以实时检测红绿灯卡口的摄像头数据(即前端视频流)，能够准确有效地抓拍闯红灯车辆，所获取的违法信息准确、误报率低，极大地节省了智能非现场执法的人力和物力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明实施例提供的基于视频的实时闯红灯检测方法的流程示意图；

图2是本发明实施例提供的基于视频的实时闯红灯检测系统的结构示意图；

图3是图2所示检测装置的一种结构示意图；

图4是图2所示检测装置的另一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明实施例提供的基于视频的实时闯红灯检测方法包括：

s101，视频图像提取步骤：获取前端摄像头拍摄的实时视频流，并对实时视频流进行解析以得到多张待处理图像。

具体地，各个交通路口均设置有摄像头，本实施例检测方法中通过该摄像头获取来自前端的实时视频流，并采用ffmpeg解析前端摄像头视频图像从而获取每一帧的图像，ffmpeg打开视频流只需一次，后续通过对每一帧的图像进行逻辑处理。

s102，信号灯和车道对应处理步骤：抽取一张待处理图像进行人工标注，以得到车道区域、车道类型、红绿灯区域和红绿灯类型，并建立车道类型和红绿灯类型的对应关系。

具体地，先通过人工标注出待处理图像中的车道区域、车道类型、红绿灯区域和红绿灯类型，再通过算法(即软件程序)建立车道类型和红绿灯类型的对应关系。红绿灯类型一般有左转箭头、直行箭头、右转箭头、圆灯，车道的类型一般分为左掉头、左转、左转直行、直行、右转直行、右转，并且灯的数目和车道的数目在大多数情况下并不对应，车道的数目一般大于灯的数目，本软件以车道为基准构建一车道对应多信号灯的数据结构，解决了信号灯和车道的对应问题。例如，左转直行车道对应左转箭头和直行箭头。

s103，车辆检测步骤：对实时视频流进行车辆检测，并结合人工标注的车道区域得到进入所述车道区域的目标车辆。

该部分使用改进的yolo算法作为检测，通过自己标注的真实场景数据对车辆检测做微调和矫正，在车辆检测部分该软件只关心进入车道区域的车辆，将该车辆做缓存记录，因为每一辆车都有可能是未来闯红灯的那一辆。其中，需要说明的是，自己标注的真实场景数据指的是已标注出的车道区域、车道类型、红绿灯区域和红绿灯类型。

s104，车辆跟踪步骤：对所述目标车辆进行跟踪，在跟踪过程中记录所述目标车辆的位置信息及对应的红绿灯信息。

针对目标车辆，本实施例的检测方法对其进行跟踪，直至该目标车辆走出视频区域，在跟踪过程中记录所述目标车辆的位置信息及对应的红绿灯信息，以作为取证记录。

s105，闯红灯判断步骤：当所述目标车辆走出视频区域时，根据所述对应关系和记录的所述目标车辆的位置信息及对应的红绿灯信息判断所述目标车辆是否闯红灯，并取证闯红灯的三张取证图像，标注该目标车辆在取证图像中的位置。

具体地，当目标车辆走出视频区域时，作为一次完整的检测记录，根据记录的信息使用闯红灯交通违法规则判断该车是否闯红灯，并若所述目标车辆闯红灯，则取证所述目标车辆闯红灯前、中及后的三张取证图像，并标注所述目标车辆在所述三张取证图像中的位置；若所述目标车辆未闯红灯，则对该条数据不做任何处理。

需要说明的是，根据记录的信息使用闯红灯交通违法规则判断该车是否闯红灯具体包括：

根据标注信息车道和红绿灯是对应的，例如左转直行车道对应左转箭头灯和直行灯，假设检测到车辆位置1初次位置出现在左转直行车道中，则对该车辆进行跟踪并保存三张图像和该车道对应的灯信息，直至该车辆从视频区域消失，若检测到该车辆进行左转，判断时需要判断保存三张图像的左转灯是否为红灯，若保存的三张图像中的左转灯为红红红或者红红黄则可判断该车辆闯红灯。

本发明实施例通过利用深度学习算法进行检测，提供了一种闯红灯判定算法流程，可以实时检测红绿灯卡口的摄像头数据(即前端视频流)，能够准确有效地抓拍闯红灯车辆，所获取的违法信息准确、误报率低，极大地节省了智能非现场执法的人力和物力。

基于相同的发明构思，本发明实施例提供一种基于视频的实时闯红灯检测系统。如图2所示，该检测系统包括相互通信的前端摄像头100和检测装置200。

可选地，在本发明的一优选实施例中，如图3所示，该检测装置200包括：

视频图像提取单元20，用于获取前端摄像头拍摄的实时视频流，并对所述实时视频流进行解析以得到多张待处理图像；

信号灯和车道处理单元21，用于抽取一张所述待处理图像进行人工标注，以得到车道区域、车道类型、红绿灯区域和红绿灯类型，并建立所述车道类型和红绿灯类型的对应关系；

车辆检测单元22，用于对所述实时视频流进行车辆检测，并结合人工标注的车道区域得到进入所述车道区域的目标车辆；

车辆跟踪单元23，用于对所述目标车辆进行跟踪，在跟踪过程中记录所述目标车辆的位置信息及对应的红绿灯信息；

闯红灯判断单元24：当所述目标车辆走出视频区域时，根据所述对应关系和记录所述目标车辆的位置信息及对应的红绿灯信息判断所述目标车辆是否闯红灯。

其中，所述视频图像提取单元20具体用于：

采用ffmpeg程序对对所述实时视频流进行解析以得到多张待处理图。

所述车辆检测单元22具体用于：

使用yolo算法对所述实时视频流进行检测，并通过人工标注的真实场景数据对车辆检测过程进行微调和矫正，以得到进入所述车道区域的目标车辆，并对所述目标车辆对应的图片进行缓存记录。

进一步地，所述闯红灯检测单元24还用于：

若所述目标车辆闯红灯，则取证所述目标车辆闯红灯前、中及后的三张取证图像，并标注所述目标车辆在所述三张取证图像中的位置；

若所述目标车辆未闯红灯，则不做任何处理。

可选地，如图4所示，在本发明的另一优选实施例中，基于视频的实时闯红灯检测装置可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述基于视频的实时闯红灯检测方法实施例部分的方法。

应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(centralprocessingunit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备102可以包括键盘等，输出设备103可以包括显示器(lcd等)、扬声器等。

该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于视频的实时闯红灯检测方法的实施例中所描述的实现方式，在此不再赘述。

本发明实施例所提供的检测系统，核心是使用深度学习目标检测的方式，本系统在实际场景中取得了很好的效果，经过测试本系统可以实时检测红绿灯卡口摄像头数据，能够准确有效的抓拍闯红灯车辆，并保存违法证据图片。此外，本系统获取的违法信息准确，误报率低，极大的节省了执法人员的人力物力。

需要说明的是，关于本实施例中检测装置的具体工作流程请参照前述方法实施例，在此不再赘述。

进一步地，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述基基于视频的实时闯红灯检测方法。

所述计算机可读存储介质可以是前述实施例所述的后台服务器的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。