一种非机动车转弯预警方法及装置与流程

本发明实施例涉及交通技术领域，尤其涉及一种非机动车转弯预警方法及装置。

背景技术：

非机动车一般在非机动车道上行驶，当非机动车要左转弯(根据交通规则，通常为左转弯)或者变道到机动车道时，出于安全考虑，非机动车的驾驶员往往会从左侧回头看是否有机动车经过，在确认他认为的安全范围内没有机动车时，即开始左转弯或者变道到机动车道上。由于非机动车的驾驶员存在视觉盲区，特别是戴着头盔的情况下，视觉盲区会更大，会没有注意到从后方行驶而来的机动车，此时如果非机动车开始左转弯或者变道到机动车道，有可能会被机动车撞到，导致交通事故的发生。

现有技术中，对于机动车的驾驶员，并没有有效的方式使得机动车的驾驶员能够提前获知沿机动车的行驶方向会有非机动车突然左转弯或者变道到机动车道上，从而存在交通安全隐患。

因此，如何避免上述缺陷，能够及时向机动车的驾驶员预警将要转弯或者变道到机动车道的非机动车，成为亟须解决的问题。

技术实现要素：

针对现有技术存在的问题，本发明实施例提供一种非机动车转弯预警方法及装置。

本发明实施例提供一种非机动车转弯预警方法，所述方法在机动车道上行驶的机动车中执行，包括：

沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像；

从所述视频影像中抽取待识别图片，将所述待识别图片输入预设模型中；

若判断获知所述预设模型的输出结果为第一识别结果，则生成非机动车转弯预警消息；所述第一识别结果为至少一辆非机动车的驾驶员触发向所述行驶方向回头的动作。

本发明实施例提供一种非机动车转弯预警装置，所述装置在机动车道上行驶的机动车中，包括：

获取单元，用于沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像；

抽取单元，用于从所述视频影像中抽取待识别图片，将所述待识别图片输入预设模型中；

预警单元，用于若判断获知所述预设模型的输出结果为第一识别结果，则生成非机动车转弯预警消息；所述第一识别结果为至少一辆非机动车的驾驶员触发向所述行驶方向回头的动作。

本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：

沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像；

从所述视频影像中抽取待识别图片，将所述待识别图片输入预设模型中；

若判断获知所述预设模型的输出结果为第一识别结果，则生成非机动车转弯预警消息；所述第一识别结果为至少一辆非机动车的驾驶员触发向所述行驶方向回头的动作。

本发明实施例提供一种非暂态计算机可读存储介质，包括：

所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：

沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像；

从所述视频影像中抽取待识别图片，将所述待识别图片输入预设模型中；

若判断获知所述预设模型的输出结果为第一识别结果，则生成非机动车转弯预警消息；所述第一识别结果为至少一辆非机动车的驾驶员触发向所述行驶方向回头的动作。

本发明实施例提供的非机动车转弯预警方法及装置，通过预设模型在待识别图片中识别是否有至少一辆非机动车的驾驶员触发向机动车的行驶方向回头的动作，若为是，则生成非机动车转弯预警消息，能够及时向机动车的驾驶员预警将要转弯或者变道到机动车道的非机动车。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明非机动车转弯预警方法实施例流程图；

图2为本发明机动车内系统结构示意图；

图3为本发明实施例非机动车及驾驶员没有向行驶方向回头的截图；

图4为本发明实施例非机动车及驾驶员向行驶方向回头的截图；

图5为本发明实施例抽取待识别图片的方法流程图；

图6为本发明实施例调用图像识别预警过程的方法流程图；

图7为本发明非机动车转弯预警装置实施例结构示意图；

图8为本发明实施例提供的电子设备实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明非机动车转弯预警方法实施例流程图，如图1所示，本发明实施例提供的一种非机动车转弯预警方法，所述方法在机动车道上行驶的机动车中执行，包括以下步骤：

s101：沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像。

具体的，装置沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像。图2为本发明机动车内系统结构示意图，如图2所示，从左侧到右侧依次为摄像头、视频检测装置和显示屏，其中，摄像头可用于采集沿机动车的行驶方向上、在非机动车道上行驶的非机动车的视频影像，并输出到视频检测装置。视频检测装置可用于根据视频影像和预设模型，识别非机动车的驾驶员是否有向机动车的行驶方向回头的动作；当视频检测装置识别有非机动车的驾驶员有上述动作时，可以通过声音提醒机动车的驾驶员，有非机动车有可能要左转或变道到该机动车行驶的机动车道；视频检测装置可用于在视频图像上用矩形框框出该非机动车或该非机动车的驾驶员，并将附加有矩形框标记的视频图像的信号输出到显示屏。显示屏用于显示附加有矩形框标记的视频图像，以供机动车的驾驶员通过显示屏获知哪些非机动车有可能要左转或变道到该机动车行驶的机动车道，进行重点关注。

该装置可以为上述包括摄像头、视频检测装置和显示屏的机动车内的系统，非机动车可以是在非机动车道上行驶的、能够使得非机动车的驾驶员露出面部的车辆、即面部不会被车辆遮挡，例如自行车、摩托车等。可以将摄像头的镜头指向机动车的行驶方向、并转向非机动车道，以获取包含有在非机动车道上行驶的非机动车的视频影像。

s102：从所述视频影像中抽取待识别图片，将所述待识别图片输入预设模型中。

具体的，装置从所述视频影像中抽取待识别图片，将所述待识别图片输入预设模型中。预设模型可以存储在视频检测装置中，用于识别非机动车的驾驶员、及识别驾驶员头部和肩部状态，该模型需要预先通过大量图片学习得到。因此，该模型包含两个阶段，分别为模型学习阶段和模型应用阶段。对于模型学习阶段，可以再分为如下三个阶段：

1.视频图片采集阶段

图3为本发明实施例非机动车及驾驶员没有向行驶方向回头的截图；图4为本发明实施例非机动车及驾驶员向行驶方向回头的截图；采集阶段需要采集大量如图3、图4所示的整张图片(不含图片上的矩形框)，其中包含非机动车的驾驶员向左侧回头的图片(设为a类图片)4000张(文件名为0000.jpg到3999.jpg)；非机动车的驾驶员没有向左侧回头的图片(设为b类图片)6000张(文件名为4000.jpg到9999.jpg)。

2.视频图片标注阶段

视频图片标注阶段需要人工对每一张图片标注出两组信息：(1)非机动车的驾驶员所在的位置和区域，如图3、图4所示的大矩形框，并记录该矩形框的左上角坐标和右下角坐标，以及该矩形框内的内容物分类，并设该分类为c1，表示内容物为非机动车的驾驶员；(2)非机动车的驾驶员的头部和肩部所在的位置和区域，如图3、图4所示的小矩形框，并记录该矩形框的左上角坐标和右下角坐标，以及该矩形框内的内容物分类；小矩形框内的内容物分成两类，图4所示的小矩形框内的内容物的分类设为c2，表示非机动车的驾驶员正在向左侧回头看；如图3所示的小矩形框内的内容物为c3，表示非机动车的驾驶员没有向左侧回头看。

每张图片可以有一个记录该图片信息的文件。一张图片的信息记录到一个信息文件中，文件名可以与图片名相同，文件的扩展名为.xml。如记录图片0000.jpg的信息文件为0000.xml。信息文件格式如下所示(以0000.xml为例)：

3.模型训练阶段

模型训练阶段首先需要构建一个训练模型，该训练模型可以为全卷积神经网络，该全卷积神经网络可以包括19个卷积层(convolutional)、1个上采样层(upsample)、2个检测层。模型输入的图片分辨率为416×416，图片包含3个通道，分别是r、g、b通道。两个检测层分别输出检测到的内容物所在的位置和区域大小，以及该内容物的分类。

把a类图片和b类图片分成两组，一组为训练图片，一组为测试图片。从a类图片中随机取出3000张图片，从b类图片中随机取出5000张图片，把这8000张图片混合到一起形成训练图片；剩余的2000张图片作为测试图片。

可以在ai服务器上采用该全卷积神经网络对这8000张训练图片进行10万次的训练，最终得到一个训练好的权重文件，用预设模型使用该权重文件对2000张测试图片进行测试，测试结果正确的图片数量为1984张，不正确的图片数量为16张，正确率达到99.2％。通过测试的预设模型可用于模型应用。

对于模型应用阶段，可以具体说明如下：

图5为本发明实施例抽取待识别图片的方法流程图；图6为本发明实施例调用图像识别预警过程的方法流程图；如图5所示，视频检测装置从摄像头实时获取视频影像，每隔一定时间(如100毫秒)从视频影像中抽取出一张图片，然后如图6所示调用图像识别预警过程，对该图片进行识别，如果识别结果中包含c2的分类，则采用如下预警方式提示给机动车的驾驶员：

(1)播放警示音，用于提示有非机动车的驾驶员触发向所述行驶方向回头的动作，即可以预判该非机动车有可能要左转或者变道。

(2)根据预设模型给出的非机动车的驾驶员所在位置和区域信息，在视频影像上为向所述行驶方向回头的所有驾驶员对应的所有非机动车中的每一辆非机动车生成标记，并附加在视频影像中的、与所有非机动车中的每一辆非机动车对应的区域位置上，该标记的形式可以为矩形框，用于表示哪些非机动车有可能要左转或者变道，将视频检测装置输出的附加有所有标记的视频影像在显示屏上显示。

s103：若判断获知所述预设模型的输出结果为第一识别结果，则生成非机动车转弯预警消息；所述第一识别结果为至少一辆非机动车的驾驶员触发向所述行驶方向回头的动作。

具体的，装置若判断获知所述预设模型的输出结果为第一识别结果，则生成非机动车转弯预警消息；所述第一识别结果为至少一辆非机动车的驾驶员触发向所述行驶方向回头的动作。以右侧行驶的交通规则为例，以机动车的行驶方向作为基准，机动车道在非机动车道的左侧，可以理解的是：非机动车的驾驶员触发向所述行驶方向回头的动作即是向左侧回头看是否有机动车经过的动作，如果有，则该非机动车的驾驶员可能向左转弯，或者变道到左侧的机动车道。举例说明如下：如果待识别图片中共有五辆非机动车，且其中a、b两辆非机动车的驾驶员触发向所述行驶方向回头的动作，则生成该非机动车转弯预警消息，可以理解的是：如果只有其中一辆非机动车a的驾驶员触发向所述行驶方向回头的动作，则也生成该非机动车转弯预警消息。

本发明实施例提供的非机动车转弯预警方法，通过预设模型在待识别图片中识别是否有至少一辆非机动车的驾驶员触发向机动车的行驶方向回头的动作，若为是，则生成非机动车转弯预警消息，能够及时向机动车的驾驶员预警将要转弯或者变道到机动车道的非机动车。

在上述实施例的基础上，所述方法还包括：

获取向所述行驶方向回头的所有驾驶员对应的所有非机动车。

具体的，装置获取向所述行驶方向回头的所有驾驶员对应的所有非机动车。参照上述有a、b两辆非机动车的驾驶员触发向所述行驶方向回头的动作的举例，即获取到的所有非机动车为非机动车a和非机动车b。

为所有非机动车中的每一辆非机动车生成标记，并通过所述预设模型将每个标记附加在所述视频影像中的、与所有非机动车中的每一辆非机动车对应的区域位置上。

具体的，装置为所有非机动车中的每一辆非机动车生成标记，并通过所述预设模型将每个标记附加在所述视频影像中的、与所有非机动车中的每一辆非机动车对应的区域位置上。为了更好地区分每一辆非机动车，可以生成不同易于区分的标记，参照上述举例，及上述预设模型的学习阶段的说明，可以分别确定非机动车a和非机动车b的区域、位置，即通过区域确定标记的面积大小，通过位置确定在哪些位置进行标记，可以为非机动车a生成黄色方框标记，该黄色方框可以包围非机动车a；可以为非机动车b生成红色方框标记，该红色方框可以包围非机动车b。

显示附加有所有标记的视频影像。

具体的，装置显示附加有所有标记的视频影像。进一步地，可以通过系统中的显示屏显示附加有所有标记的视频影像，参照上述举例，即在显示屏上显示附加有黄色方框标记和红色方框标记的视频影像。

本发明实施例提供的非机动车转弯预警方法，通过显示附加有所有标记的视频影像，进一步能够及时向机动车的驾驶员预警将要转弯或者变道到机动车道的是哪些非机动车。

在上述实施例的基础上，所述沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像，包括：

沿所述机动车的行驶方向实时获取包含有在非机动车道上行驶的非机动车的视频影像；相应的，所述从所述视频影像中抽取待识别图片，包括：

周期性从所述视频影像中抽取待识别图片。

具体的，装置周期性从所述视频影像中抽取待识别图片。周期性抽取待识别图片的时间间隔可以根据实际情况自主设置，参照上述举例，可以为100毫秒。

本发明实施例提供的非机动车转弯预警方法，通过周期性从所述视频影像中抽取待识别图片，进一步能够提高该方法的适用性。

在上述实施例的基础上，所述方法还包括：

若判断获知所述预设模型的输出结果为第二识别结果，则继续执行所述沿所述机动车的行驶方向实时获取包含有在非机动车道上行驶的非机动车的视频影像的步骤；所述第二识别结果为全部非机动车的驾驶员都没有触发向所述行驶方向回头的动作。

具体的，装置若判断获知所述预设模型的输出结果为第二识别结果，则继续执行所述沿所述机动车的行驶方向实时获取包含有在非机动车道上行驶的非机动车的视频影像的步骤；所述第二识别结果为全部非机动车的驾驶员都没有触发向所述行驶方向回头的动作。参照上述举例，如果待识别图片中的五辆非机动车的五个驾驶员都没有触发向所述行驶方向回头的动作，则无需生成非机动车转弯预警消息，可以继续执行所述沿所述机动车的行驶方向实时获取包含有在非机动车道上行驶的非机动车的视频影像的步骤。需要说明的是：在生成非机动车转弯预警消息的步骤之后，也可以再继续执行所述沿所述机动车的行驶方向实时获取包含有在非机动车道上行驶的非机动车的视频影像的步骤。

本发明实施例提供的非机动车转弯预警方法，进一步能够及时向机动车的驾驶员预警将要转弯或者变道到机动车道的非机动车。

在上述实施例的基础上，所述非机动车转弯预警消息，包括：

提示有非机动车的驾驶员触发向所述行驶方向回头的播放警示音。

具体的，装置提示有非机动车的驾驶员触发向所述行驶方向回头的播放警示音。可参照上述实施例的说明，不再赘述。

本发明实施例提供的非机动车转弯预警方法，进一步能够采用有效的预警方式，及时向机动车的驾驶员预警将要转弯或者变道到机动车道的非机动车。

在上述实施例的基础上，所述预设模型采用全卷积神经网络进行训练。

具体的，装置中的所述预设模型采用全卷积神经网络进行训练。可参照上述实施例的说明，不再赘述。

本发明实施例提供的非机动车转弯预警方法，通过采用全卷积神经网络训练该预设模型，进一步保证该预设模型的识别结果的准确性和及时性。

图7为本发明非机动车转弯预警装置实施例结构示意图，如图7所示，本发明实施例提供了一种非机动车转弯预警装置，所述装置在机动车道上行驶的机动车中，包括获取单元701、抽取单元702和预警单元703，其中：

获取单元701用于沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像；抽取单元702用于从所述视频影像中抽取待识别图片，将所述待识别图片输入预设模型中；预警单元703用于若判断获知所述预设模型的输出结果为第一识别结果，则生成非机动车转弯预警消息；所述第一识别结果为至少一辆非机动车的驾驶员触发向所述行驶方向回头的动作。

具体的，获取单元701用于沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像；抽取单元702用于从所述视频影像中抽取待识别图片，将所述待识别图片输入预设模型中；预警单元703用于若判断获知所述预设模型的输出结果为第一识别结果，则生成非机动车转弯预警消息；所述第一识别结果为至少一辆非机动车的驾驶员触发向所述行驶方向回头的动作。

本发明实施例提供的非机动车转弯预警装置，通过预设模型在待识别图片中识别是否有至少一辆非机动车的驾驶员触发向机动车的行驶方向回头的动作，若为是，则生成非机动车转弯预警消息，能够及时向机动车的驾驶员预警将要转弯或者变道到机动车道的非机动车。

本发明实施例提供的非机动车转弯预警装置具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。

图8为本发明实施例提供的电子设备实体结构示意图，如图8所示，所述电子设备包括：处理器(processor)801、存储器(memory)802和总线803；

其中，所述处理器801、存储器802通过总线803完成相互间的通信；

所述处理器801用于调用所述存储器802中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像；从所述视频影像中抽取待识别图片，将所述待识别图片输入预设模型中；若判断获知所述预设模型的输出结果为第一识别结果，则生成非机动车转弯预警消息；所述第一识别结果为至少一辆非机动车的驾驶员触发向所述行驶方向回头的动作。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像；从所述视频影像中抽取待识别图片，将所述待识别图片输入预设模型中；若判断获知所述预设模型的输出结果为第一识别结果，则生成非机动车转弯预警消息；所述第一识别结果为至少一辆非机动车的驾驶员触发向所述行驶方向回头的动作。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：沿所述机动车的行驶方向获取包含有在非机动车道上行驶的非机动车的视频影像；从所述视频影像中抽取待识别图片，将所述待识别图片输入预设模型中；若判断获知所述预设模型的输出结果为第一识别结果，则生成非机动车转弯预警消息；所述第一识别结果为至少一辆非机动车的驾驶员触发向所述行驶方向回头的动作。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。