一种基于深度学习的非机动车道交通违法行驶识别方法与流程

本发明涉及车道识别技术领域，尤其涉及一种基于深度学习的非机动车道交通违法行驶识别方法。

背景技术：

目前对于机动车辆的违规主要可以通过电子摄像头进行图像的采集、识别，获得违章结果，而对于非机动车道的车辆则没有明确的检测方法。

现有技术中，有的采用对非机动车道区域进行图像获取，并通过霍夫变换用于在二值图像中找到直线，这通常对应于车道边界。但是通过霍夫变换，通常很难确定一条线是否与车道边界相对应。在色彩分割方法中，rgb图像经常转换为hsi或自定义色彩空间，由于这些方法在像素级别运行，它们通常对来自路灯或类似照明源的环境光颜色的变化敏感。

目前车道识别技术主要是通过对普通可见光图像进行车道线边缘的识别来实现，但该方法局限性较大，会受到很多外界因素如强光、阴影等的干扰，导致系统识别效率低，准确性差，普适性不高。

技术实现要素：

本发明的目的在于克服现有技术之缺陷，提供了一种基于深度学习的非机动车道交通违法行驶识别方法，旨在提高非机动车辆在机动车道违法行驶时，获取的效率和便捷性。

本发明是这样实现的：

本发明提供一种基于深度学习的非机动车道交通违法行驶识别方法，所述方法包括：

s01，对摄像头拍摄的视频图像进行图像分割，获得分割后的机动车道和非机动车道的图像，将机动车道和非机动车道所对应的分割后图像分别输入至深度学习模型中，通过所述深度学习模型进行识别，获得机动车道的区域；

s02，并对该视频图像进行识别，经过图像识别获得车牌号；

s03，并确定车辆对应的非法驾驶时间，并获取该对应的车牌号；

s04，将该车牌号对应为机动车区域内的违法非机动车辆。

一种实现方式中，所述深度学习模型包括：

第一卷积层，包括两个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第一图像特征；

第一池化层，接收所输入的第一图像特征，并对所述第一图像特征进行压缩；

第二卷积层，包括三个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第二图像特征；

第二池化层，接收所输入的第二图像特征，并对所述第二图像特征进行压缩；

第三卷积层，包括二个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第三图像特征；

第三池化层，接收所输入的第三图像特征，并对所述第三图像特征进行压缩；

所述第一卷积层与上采样层相连逆卷积层后接一个向上采样层，每一个卷积层与激活函数相连，第二卷积层后接一个向上采样层，采用上采样层复制并扩充特征映射图；

接收原始车道图片，通过多个卷积层提取车道区域特征信息，以及经过上采样层进行填充处理，在经过多个逆卷积层将处理后的车道特征信息扩充与可视化处理，输出机动车道区域映射图。

一种实现方式中，所述将机动车道和非机动车道所对应的分割后图像分别输入至深度学习模型中，通过所述深度学习模型进行识别的步骤，包括:

将分割后图像输入深度学习模型中，判定所述分割后图像中各像素点的类别并赋予类别标签，得到分割出车道区域的各分割后图像，其中，所述类别标签包括车道区域和非车道区域。

一种实现方式中，所述获得机动车道的区域的步骤，包括：

根据所述类别标签，获取每一分割后图像中每一个像素点所对应的类别标签；

统计该分割后图像中，每一个类别标签的数量；

获取所述数量的最大值；

将该最大值对应的类别标签确定为该分割后图像做对应的区域；

获取类别标签为机动车道的区域，并作为机动车道的区域。

一种实现方式中，所述深度学习模型的训练方法包括：

从分割后图像中随机选取第一数量张图像输入卷积神经网络中，第一数量为正整数；

通过所述卷积神经网络提取所述第一数量张分割后图像的特征；

根据提取的特征将所述第一数量张分割后图像划分为车道区域和非车道区域，得到区域划分结果；

根据所述区域划分结果调整所述卷积神经网络的参数。

一种实现方式中，所述方法还包括：

从分割后图像中随机选取第二数量张图像输入卷积神经网络中进行测试，第二数量为正整数；

通过所述卷积神经网络获得所述第二数量张分割后图像中每一个图像的分类结果；

根据分类结果确定划分正确的样本数量，并获取分类正确率；

在分类正确率不小于预设阈值的情况下，并基于当前该卷积神经网络的参数确定为深度学习模型。

应用本发明的基于深度学习的非机动车道交通违法行驶识别方法，通过对摄像头拍摄的视频图像进行图像分割，获得分割后的机动车道和非机动车道的图像，将机动车道和非机动车道所对应的分割后图像分别输入至深度学习模型中，通过所述深度学习模型进行识别，获得机动车道的区域；进而对该视频图像进行识别，经过图像识别获得车牌号；然后确定车辆对应的非法驾驶时间，并获取该对应的车牌号；再将该车牌号对应为机动车区域内的违法非机动车辆。因此，能够自动获得违法行驶车辆的车牌号，实现自动交通违法驾驶的识别，旨在提高了非机动车违法行驶时，获取的效率和便捷性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的基于深度学习的非机动车道交通违法行驶识别方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

参见图1，本发明实施例提供一种基于深度学习的非机动车道交通违法行驶识别方法，包括步骤如下：

s01，对摄像头拍摄的视频图像进行图像分割，获得分割后的机动车道和非机动车道的图像，将机动车道和非机动车道所对应的分割后图像分别输入至深度学习模型中，通过所述深度学习模型进行识别，获得机动车道的区域。

可以理解的是，每一个图像均对应有一个时间，所以得到一个时间点所唯一对应的待视频图像进行编码，编码后得到编号，因此，编号与时间点是一一对应的，然后对每一个带分割图像进行分割，从而对于分割后的图像即包含了其在该待视频图像中的位置，也对应有该待视频图像所对应的编号。

可以理解的是，图像中可以包含机动车道和非机动车道，本发明是要对非机动车辆进行违法驾驶的识别，所以需要从中抽取机动车道包含的图像，在机动车道包含非机动车道的车辆时则表示属于违法驾驶的非机动车辆。

具体的，本发明是合理通过深度学习模型进行图像学习和识别，从而剔除非机动区域的图像信息，获得关于机动车道的区域信息。

需要说明的是，深度学习模型是本发明实施例所实现的基础，本发明实施例提供的一种具体实现中，第一卷积层，包括两个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第一图像特征；第一池化层，接收所输入的第一图像特征，并对所述第一图像特征进行压缩；第二卷积层，包括三个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第二图像特征；第二池化层，接收所输入的第二图像特征，并对所述第二图像特征进行压缩；第三卷积层，包括二个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第三图像特征；第三池化层，接收所输入的第三图像特征，并对所述第三图像特征进行压缩；所述第一卷积层与上采样层相连逆卷积层后接一个向上采样层，每一个卷积层与激活函数相连，第二卷积层后接一个向上采样层，采用上采样层复制并扩充特征映射图；接收原始车道图片，通过多个卷积层提取车道区域特征信息，以及经过上采样层进行填充处理，在经过多个逆卷积层将处理后的车道特征信息扩充与可视化处理，输出机动车道区域映射图。

可以理解的是，模型是需要进行训练，作为成熟的模型才可以使用的，本发明提供的模型训练过程包括：从分割后图像中随机选取第一数量张图像输入卷积神经网络中，第一数量为正整数，第一数量为正整数；通过所述卷积神经网络提取所述第一数量张分割后图像的特征；根据提取的特征将所述第一数量张分割后图像划分为车道区域和非车道区域，得到区域划分结果；根据所述区域划分结果调整所述卷积神经网络的参数。

以及在模型训练以后，需要对模型进行测试，以保证模型的识别结果，例如模型的识别结果必须保证在98％方可投入使用，因此，本发明实施例中，首先从分割后图像中随机选取第二数量张图像输入卷积神经网络中进行测试；通过所述卷积神经网络获得所述第二数量分割后图像中每一个图像的分类结果；根据分类结果确定划分正确的样本数量，并获取分类正确率；在分类正确率不小于预设阈值的情况下，并基于当前该卷积神经网络的参数确定为深度学习模型。

可以理解的是，进行测试和进行训练的样本是一样的，首先可以进行样本的采集工作，然后对样本进行检验，挑选出不合格样品，然后对数据进行归一化处理，以便输入神经网络模型中进行训练和测试，然后进行样品的比例划分，例如为7:3，也就是训练样本为总数量的70％、测试样本为总数量的30％，在进行模型的训练以后进行测试，在测试的准确率达到要求以后就作为合格的模型进行投入使用。

可以理解的是，在模型的使用过程中，由于硬件或者软件等原因会发生改变，因此需要不断的进行模型的检验，可以通过增加或者更新测试样本，以检验当前模型的测试准确率，当模型的测试准确率不低于预设值时，则可以继续使用，否则需要采用新的训练样本继续进行训练，再执行样本测试的步骤，直至模型的测试准确率不低于预设值。

本发明的一种实现中，将分割后图像输入深度学习模型中，判定所述分割后图像中各像素点的类别并赋予类别标签，得到分割出车道区域的各分割后图像，其中，所述类别标签包括车道区域和非车道区域。

本发明的具体实现方式中，在进行机动车道的识别过程中，可以通过深度学习模型进行统计该分割后图像中，每一个类别标签的数量；然后获取所述数量的最大值；并将该最大值对应的类别标签确定为该分割后图像做对应的区域；最终获取类别标签为机动车道的区域，并作为机动车道的区域。实现机动车道和非机动车道的分离。

s02，对该视频图像进行识别，经过图像识别获得车牌号。

需要说明的是，神经网络对视频图像进行识别获得结果包含非机动车辆是否在机动车道以及车辆的识别结果，即车牌号。

s03，确定车辆对应的非法驾驶时间，并获取该对应的车牌号。

由于在步骤s101中将每一个视频图像均与一个时间点对应进行编号，所以可以获取非机动车辆在机动车道的时间。

s04，将该车牌号对应为机动车区域内的违法非机动车辆。

然后将识别结果放入数据库中，在数据库中形成非机动车车辆的非法驾驶时间，形成车牌号与非法驾驶时间的一一对应关系。作为后续数据的使用，因此，在数据库中进行数据检索的时候可以通过车牌号作为检索词，从而与该车牌号对应的非法驾驶时间。此数据库便于后续进行违法车辆的查询和记录使用，因此，能够实现车辆的非法驾驶和非法驾驶时间的记录，提高车辆违法判断的准确性和数据记录的效率。

综上可以得知，应用本发明的基于深度学习的非机动车道交通违法行驶识别方法，通过对摄像头拍摄的视频图像进行图像分割，获得分割后的机动车道和非机动车道的图像，将机动车道和非机动车道所对应的分割后图像分别输入至深度学习模型中，通过所述深度学习模型进行识别，获得机动车道的区域；进而对该视频图像进行识别，经过图像识别获得车牌号；然后确定车辆对应的非法驾驶时间，并获取该对应的车牌号；再将该车牌号对应为机动车区域内的违法非机动车辆。因此，能够自动获得违法行驶车辆的车牌号，实现自动交通违法驾驶的识别，旨在提高了非机动车道违法行驶时，获取的效率和便捷性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。