闯红灯的警告方法、警告设备及计算机存储介质与流程

本申请涉及智能交通技术领域，特别是涉及一种闯红灯的警告方法、警告设备及计算机存储介质。

背景技术：

目前，在交通路口过马路时，行人闯红灯穿过人行横道是经常出现的交通违法行为，非常容易造成交通事故，并且使得机动车无法按照交通信号正常行驶，导致路口通行效率低下，严重影响交通管理秩序。因此，在人行横道处于红灯时间时，及时对预闯红灯的行人进行提醒，并对该违章行人进行曝光，以有效制止行人闯红灯行为。

技术实现要素：

本申请提供了一种闯红灯的警告方法、警告设备及计算机存储介质，主要解决的技术问题是如何有效制止行人闯红灯的违章问题。

为解决上述技术问题，本申请提供了一种闯红灯的警告方法，所述方法包括：

在获取到道路信号为红灯信号时，获取下行目标的图像；

识别所述图像，以跟踪所述图像中的下行目标；

在检测到所述下行目标经过对应所述道路的闯红灯标准线时，进行警告处理。

为解决上述技术问题，本申请还提供了一种卡行人闯红灯的警告设备，所述警告设备包括获取模块、识别处理模块、警告模块，其中，所述获取模块、所述警告模块与所述识别处理模块耦接：

所述获取模块，用于在获取到道路信号为红灯信号时，获取下行目标的图像；

所述识别处理模块，用于识别所述图像，以跟踪所述图像中的下行目标；

所述警告模块，用于在检测到所述下行目标经过对应所述道路的闯红灯标准线时，进行警告处理。

为解决上述技术问题，本申请还提供了另一种行人闯红灯的警告设备，所述设备包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据执行所述程序数据以实现如上述的行人闯红灯的警告方法。

为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的行人闯红灯的警告方法。

本申请的有益效果是：在获取到道路信号为红灯信号时，获取下行目标的图像；识别图像，以跟踪图像中的下行目标；在检测到下行目标经过对应所述道路的闯红灯标准线时，进行警告处理。本申请的闯红灯的警告方法通过识别下行目标图像，能够跟踪检测下行目标是否经过对应道路的闯红灯标准线，及时对闯红灯的下行目标违章行为进行提醒，有效防止下行目标的违章行为。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的闯红灯的警告方法一实施例的流程示意图；

图2是本申请提供的闯红灯的警告方法中一实际应用场景中下行目标图像的图示；

图3是本申请提供的闯红灯的警告方法中另一实际应用场景中对下行目标发送警告信号的图示；

图4是本申请提供的闯红灯的警告设备一实施例的结构示意图；

图5是本申请提供的闯红灯的警告设备另一实施例的结构示意图；

图6是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为解决上述技术问题，本申请提出了一种闯红灯的警告方法，具体请参阅图1和图2，图1是本申请提供的闯红灯的警告方法的示意图，图2是本申请提供的闯红灯的警告方法中一实际应用场景中下行目标图像。本实施例的闯红灯的警告方法可应用于闯红灯的警告设备，也可应用于具有数据处理能力的服务器。下面以具有数据处理能力的服务器为例，介绍本申请提供的闯红灯的警告方法，具体如下：

本实施例的闯红灯的警告方法具体包括以下步骤：

s101：在获取到道路信号为红灯信号时，获取下行目标的图像。

本实施例中可设置红绿灯检测识别模块，对道路上的信号进行检测识别；也可通过与路口红绿灯电频转换信号的电连接，获知道路红灯信号，或者在人行横道两侧设置相机设备，而获知道路红绿灯信号。

其中，在人行横道两侧设置相机设备，而获知道路红绿灯信号时，应在人行横道两侧各设置至少一个相机设备，以便获取人行横道两边红绿灯的电频情况，从而控制相机设备获取下行目标的图像。具体地，可以通过相机设备获取人行横道场景图像，判断获取图像中的红绿灯颜色，以此来获取红灯信号，进而获取下行目标图像。

为了可以获取到人行横道中的整个场景区域，获取图像的相机设备应尽可能的高。相机设备可架设于人行横道的交通灯杆上面，架设高度约为3米，正向拍摄人行横道区域，以获取到最佳的拍摄角度。其中，为提高闯红灯行人的图像识别度，可采用像素高的相机设备，或其他的图像采集装置，在本实施例中不对其作限定。

可以理解地，获知道路信号为红灯时，控制相机设备获取下行目标的图像。下行目标为下行行人和非机动车驾驶员。相机设备获取下行目标的图像时，可持续采集人行横道上的下行目标图像，包括道路信号为绿灯时的下行目标图像，和道路信号为红灯时的下行目标图像；也可只采集道路信号为红灯时的下行目标图像。下行目标图像中包括下行目标、人行横道及人行横道附近的车辆等。

s102：识别图像，以跟踪图像中的下行目标。

基于s101中获取到道路信号为红灯时，获取的下行目标图像，识别下行目标图像，以跟踪图像中的下行目标。

可以理解地，获取的下行目标图像中可包括多个下行目标，为了避丢失下行目标，可持续采集下行目标图像，以形成下行目标图像行走轨迹系列。并且，由于相机设备的持续图像采集，每个下行目标在每一帧图像中有所差别，即每一帧图像中呈现的下行目标位置或人体部位等有所差别，例如，人脸朝向可能不同。

为避免单一检测下行目标的某个身体部位而丢失下行目标，可检测下行目标的多个身体部位，本实施例中，依次检测每一帧图像中的下行目标的人体、头肩及人脸，识别出多帧图像中的同一下行目标的人体、头肩及人脸，获知同一下行目标在人行横道上的行径轨迹，即可跟踪图像中的下行目标。当获取的下行目标图像中包括多个下行目标时，可获知多个下行目标各自的行径轨迹，避免因下行目标间的遮挡而丢失下行目标或漏检。

所获知的下行目标行径轨迹，可进一步利用下行目标行径轨迹进行是否闯红灯的判断。例如，若下行目标的行径轨迹距离大于了闯红灯的标准线间距时，则可进行警告处理。

s103：在检测到下行目标经过对应道路的闯红灯标准线时，进行警告处理。

其中，可以对识别的每一帧图像中的下行目标的人体、头肩及人脸进行检测，也可以间隔预设数量的图像帧，对间隔预设数量的图像帧进行下行目标的人体、头肩及人脸检测。并基于检测的下行目标人体、头肩及人脸来判断下行目标是否经过红绿灯标准线。

具体来说，可以检测下行目标人体双脚是否同时闯过标准线，或者检测下行目标的其中一只脚是否闯过标准线，都可判定为闯过红灯标准线，将检测到的经过闯红灯标准线的信号传送给服务器，从而进行警告处理。

可以理解地，可通过扬声器，例如喇叭对下行目标的闯红灯行为进行提醒，也可通过屏幕显示获取的下行目标图像等，将闯红灯下行目标进行曝光。

在本实施例中，在获取到道路信号为红灯信号时，获取下行目标的图像；识别图像，以跟踪图像中的下行目标；在检测到下行目标经过对应所述道路的闯红灯标准线时，进行警告处理。本申请的闯红灯的警告方法通过识别下行目标图像，能够跟踪检测下行目标，避免丢失检测下行目标或漏检，并在检测到下行目标经过对应道路的闯红灯标准线时，及时对闯红灯的下行目标违章行为进行警告处理，有效地警告了下行目标的闯红灯行为。

进一步地，对于步骤s103，本实施例中具体采用对识别的人脸图像进行优选及人体属性相结合而进行曝光的方式，对具有闯红灯事实的下行目标进行有效地警告。在获取到道路信号为红灯时，获取到下行目标图像，基于获取的下行目标图像对下行目标进行行走轨迹跟踪，并对经过闯红灯标准线的下行目标进行警告处理。

其中，闯红灯标准线设置至少两条。闯红灯标准线根据不同的人行横道场景，设置的标准有所不同。本实施例中，闯红灯标准线被划分为第一标准线和第二标准线，第一标准线相当于闯红灯的起始线，代表下行目标开始闯红灯，第一标准线一般为人行横道斑马线的开始区域，即下行目标在斑马线外的等候区域和车辆行驶区域的分界线，可参考图2中的前置线；第二标准线相当于闯红灯过程中的终点线，代表下行目标闯红灯结束，第二标准线一般设置在第一标准线对面的下行目标等候区。

当检测到下行目标经过人行横道的第一标准线时，发出警告信号。即识别出下行目标图像中人体经过闯红灯的第一标准线时，判断出下行目标开始闯红灯，可通过架设在人行横道的交通灯杆上面的扬声器等，提醒已闯红灯第一标准线的人行目标退回行人等待区域，可参考图3。

若已闯第一标准线的人行目标未听警告信号，依旧闯红灯时，则持续检测下行目标是否经过第二标准线，若检测到下行目标依次经过第一标准线和第二标准线时，对下行目标进行曝光处理。并获取下行目标经过第一标准线和第二标准线时的图像，可以作为下行目标闯红灯行为图像，也即行人闯红灯的证据，即具有闯红灯的事实。

在具体实施例中，可通过获取的下行目标图像判断下行目标是否经过第一标准线或同时通过第一标准线和第二标准线；也可通过检测计算下行目标与架设相机设备的交通灯杆间的距离来判断下行目标是否通过第一标准线或同时通过第一标准线和第二标准线，此时相机设备可以为具有测距计算功能的相机，例如tof相机。

为了方便快速判断下行目标是否经过第一标准线或同时通过第一标准线和第二标准线，在检测下行目标图像可预设间隔数量帧，使其可间隔检测图像中下行目标是否经过第一标准线或同时通过第一标准线和第二标准线。当然也可检测每一帧图像中下行目标是否经过第一标准线或同时通过第一标准线和第二标准线。

在检测出下行目标依次经过对应道路的第一标准线和第二标准线时，需对下行目标进行曝光处理。在本实施例中，曝光处理的方式为曝光检测闯红灯的下行目标图像，通过道路两侧的显示屏显示图像。从下行目标在整个闯红灯过程中的多帧图像，筛选出下行目标人脸清晰度最优的图像用于曝光。

在具体实施例中，为了获取下行目标人脸清晰度最优的图像进行曝光，可在跟踪识别时，对下行目标图像计算清晰度。在拍摄的下行目标图像为彩色图像，可将彩色图像转换为灰度图像，并通过拉普拉斯掩模做卷积运算，计算下行目标图像的标准差，结果值就代表下行目标图片清晰度。当然获取的下行目标图像也可以为黑白图像，直接对获取的黑白图像进行卷积运算，得到图像清晰度。所获取的下行目标图像为彩色图像或黑白图像均取决于相机设备的设置，在此不作限定。

在将下行目标人脸清晰度最优的图像用于曝光之前，获取图像中下行目标的人脸特征及人脸关键点，并根据人脸特征和人脸关键点计算人脸清晰度。在本实施例中，基于获取的图像中下行目标的人脸特征及人脸关键点，并通过设置预先训练好的人脸特征优选模型，计算人脸朝向比值，以得到人脸清晰度。具体地，当检测的下行目标图像中的人脸为正脸时，此时人脸朝向比值较大，且计算出的人脸清晰度更高；当检测的下行目标图像中的人脸为非正脸时，此时人脸朝向比值较小，计算出的人脸清洗度不高。优选地，将人脸朝向比值及清晰度最优的下行目标图像用于曝光。

进一步地，本实施例采用了基于卷积神经网络的人脸特征优选技术，神经网络可以使用全卷积结构vgg模型，网络残差结构resnet模型，及各种使用卷积结构的mobilenet、shufflenet等模型来训练人脸特征优选模型。人脸特征优选模型通过采集大量人脸图像，并提取人脸图像中的人脸特征进行训练而建立人脸特征优选模型，以筛选出下行目标图像中人脸清晰度最优的图像进行曝光。

其中，人脸关键点为人的眼睛，在将下行目标人脸清晰度最优的图像进行曝光前，还需将图像中的人脸关键点做遮掩处理，以有效保护下行目标的隐私。通过获取下行目标人脸清晰度最优图像的人脸关键点，对人脸关键点做遮掩处理。遮掩处理的方式可以为马赛克，也可为其他的遮掩方式，在此不作限定。获取最优图像的人脸关键点的方式可以为预先设置人脸关键点占整个人脸比例的方式，也可通过人脸模型实现，在此不做限定。

为了将下行目标人脸清晰度最优的图像用于曝光处理之前，本实施例还需获取下行目标的人体信息，并在曝光下行目标人脸清晰度最优图像的同时，曝光人体信息。人体信息包括下行目标的人体性别、年龄段、上下半身衣服颜色属性。获取下行目标图像时，可同时获取下行目标图像中的人体性别、年龄段、上下半身衣服颜色属性。例如，可基于设置的人脸特征优选模型，将获取的下行目标图像中可用于判断男女性别和年龄段的特征与模型中的相应特征进行近视比对，如，喉结、皮肤粗糙度等来判定人体性别和年龄；也可通过预存人体信息的数据库，来获取下行目标图像中的男女性别、年龄段和上下半身衣服颜色；或者通过第三方设备，直接判断下行目标图像中的男女性别、年龄段和上下半身衣服颜色，本实施例不对获取人体信息的方式作限定。

进一步地，对于步骤s102中识别图像，以跟踪图像中的下行目标，在本实施例中，采用siameserpn算法对人脸、头肩、人体分别进行目标跟踪。siameserpn算法通过相同的网络结构分别对图像中的人脸、头肩、人体提取特征，并通过rpn网络对siames的人脸网络、头肩网络和人体网络进行卷积计算，以根据人脸网络中的人脸特征、头肩网络中的头肩特征和人体网络中的人体特征，跟踪下行目标在整个闯红灯过程中的图像轨迹。

在本实施例中，获取到道路信号为红灯信号时，获取下行目标的图像；识别图像，以跟踪图像中的下行目标；在检测到下行目标经过对应道路的闯红灯标准线时，进行警告处理。本申请的闯红灯的警告方法在检测到下行目标经过对应道路的第一标准线时，对下行目标发出警告信号，以及时提醒下行目标退回安全区；并且，在获取到下行目标图像时，对下行目标图像进行跟踪，以在判定下行目标构成闯红灯事实时，筛选出下行目标图像中人脸清晰度最优的图像，对人脸关键点进行遮掩，同时识别出下行目标图像中人体属性，将其与遮掩人脸关键点的清晰度最优的图像同时进行曝光处理，避免了误曝，能够及时对闯红灯的下行目标违章行为进行提醒。

为实现上述实施例的闯红灯的警告方法，本申请还提出了一种闯红灯的警告设备400，具体请参阅图4，图4是本申请提供的行人闯红灯的警告设备400一实施例的结构示意图。

其中，行人闯红灯的警告设备400包括获取模块41、识别处理模块42以及警告模块43。获取模块41、警告模块43分别与识别处理模块42耦接。

其中，获取模块41，用于在获取到道路信号为红灯信号时，获取下行目标的图像。

识别处理模块42，用于识别图像，以跟踪图像中的下行目标。

警告模块43，用于在检测到下行目标经过对应道路的闯红灯标准线时，进行警告处理。

为实现上述实施例的闯红灯的警告方法，本申请提出了一种闯红灯的警告设备500，具体请参阅图5，图5是本申请提供的闯红灯的警告设备500一实施例的结构示意图。

警告设备500包括存储器51和处理器52，其中，存储器51和处理器52耦接。

存储器51用于存储程序数据，处理器52用于执行程序数据以实现上述实施例的闯红灯的警告方法。

在本实施例中，处理器52还可以称为cpu(centralprocessingunit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质600，如图6所示，计算机存储介质600用于存储程序数据61，程序数据61在被处理器执行时，用以实现如本申请方法实施例中所述的闯红灯的警告方法。

本申请闯红灯的警告方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。根据这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，卡口设备的异常检测设备，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。