车辆行为识别方法、装置与流程

本发明涉及车辆监控管理领域，尤其涉及一种车辆行为识别方法、装置。

背景技术：

随着机动车辆数量的飞速增长，对于交通监管的需求也日益增高。

现有技术中，交通监管、确定车辆行驶情况、确定车辆的行为类别、是否违规主要依赖于交通警察的实时监管，或者监控摄像头的监控。存在的问题是，通过交通警察判定车辆的行为类别，进而进行监管，在人力资源上的耗费是巨大的，同时交通警察也难以实现全天候全方位的监管，而监控摄像头通常只能进行简单的逻辑判断，例如车辆是否超速、是否闯红灯等。

技术实现要素：

发明目的：本发明旨在提供一种车辆行为识别方法、装置。

技术方案：本发明实施例中提供一种车辆行为识别方法，包括：获取车辆行驶道路的监控图像；通过采用卷积神经网络构建的图像识别模型，对所述监控图像进行识别，得到监控图像的图像特征；依据监控图像的图像特征得到车辆行驶情形；通过依据监控图像得到的车辆行驶情形判定车辆行为类别。

具体的，实时获取车辆行驶道路的包括照片或/和视频的监控图像。

具体的，采用带有车辆行驶情形的标签的训练图像作为训练集，对基于使用残差式进行信息传递的scnn算法的卷积神经网络进行训练；其中，所述scnn算法，用于提取图像特征，针对监控图像中的车道线采用的卷积核的深度，高于针对监控图像中的红绿灯、交通标志采用的卷积核的深度。

具体的，采用带有车辆行驶情形的标签的训练视频作为训练集，对基于使用残差式进行信息传递的scnn算法和kcf算法的卷积神经网络进行训练；其中，所述scnn算法，用于提取视频帧的图像特征，针对监控图像中的车道线采用的卷积核的深度，高于针对监控图像中的红绿灯、交通标志采用的卷积核的深度，kcf算法用于追踪scnn算法提取的视频帧中的特定车辆的图像特征。

具体的，所述图像识别模型中的卷积神经网络依据监控图像的图像特征，确定以下至少一种交通关系：车辆和车道线之间的位置关系，车辆和红绿灯之间的关系，车辆和交通标志之间的关系，车辆和车辆之间的位置关系，车辆的行驶速度；依据交通关系与预设的车辆交通规范确定车辆行驶情形。

具体的，依据预设的车辆行为类别与车辆行驶情形的对应关系，判定依据监控图像得到的车辆行驶情形所归属的车辆行为类别。

本发明实施例中提供一种车辆行为识别装置，包括监控单元，第一识别单元，第二识别单元和行为判定单元，其中：所述监控单元，用于获取车辆行驶道路的监控图像；所述第一识别单元，用于通过采用卷积神经网络构建的图像识别模型，对所述监控图像进行识别，得到监控图像的图像特征；所述第二识别单元，用于依据监控图像的图像特征得到车辆行驶情形；所述行为判定单元，通过依据监控图像得到的车辆行驶情形判定车辆行为类别。

具体的，所述监控单元，还用于实时获取车辆行驶道路的包括照片或/和视频的监控图像。

具体的，所述第一识别单元，还用于采用带有车辆行驶情形的标签的训练图像作为训练集，对基于使用残差式进行信息传递的scnn算法的卷积神经网络进行训练；其中，所述scnn算法，用于提取图像特征，针对监控图像中的车道线采用的卷积核的深度，高于针对监控图像中的红绿灯、交通标志采用的卷积核的深度。

具体的，所述第一识别单元，还用于采用带有车辆行驶情形的标签的训练视频作为训练集，对基于使用残差式进行信息传递的scnn算法和kcf算法的卷积神经网络进行训练；其中，所述scnn算法，用于提取视频帧的图像特征，针对监控图像中的车道线采用的卷积核的深度，高于针对监控图像中的红绿灯、交通标志采用的卷积核的深度，kcf算法用于追踪scnn算法提取的视频帧中的特定车辆的图像特征。

有益效果：与现有技术相比，本发明具有如下显著优点：通过神经网络构建的图像识别模型，对获取的监控图像进行识别，判断车辆的行驶情形和行为类别，判定车辆是否违规和违规种类，可以实现全天候、全方位、高效准确的交通自动监管。

附图说明

图1为本发明实施例中提供的车辆行为识别方法的流程示意图；

图2、3为本发明实施例中提供的车辆行为类别表格。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参阅图1，其为本发明实施例中提供的车辆行为识别方法的流程示意图，包括具体步骤，以下结合具体步骤进行详细说明。

步骤s101，获取车辆行驶道路的监控图像。

本发明实施例中，实时获取车辆行驶道路的包括照片或/和视频的监控图像。

在具体实施中，监控视频可以是基于从车辆外部获取的，显示车辆移动过程中的情况的视频、图像，可以体现出车辆在移动过程中与周围事物之间的位置关系的视频、图像。

步骤s102，通过采用卷积神经网络构建的图像识别模型，对所述监控图像进行识别，得到监控图像的图像特征。

本发明实施例中，采用带有车辆行驶情形的标签的训练图像作为训练集，对基于使用残差式进行信息传递的scnn算法的卷积神经网络进行训练；其中，所述scnn算法，用于提取图像特征，针对监控图像中的车道线采用的卷积核的深度，高于针对监控图像中的红绿灯、交通标志采用的卷积核的深度。

本发明实施例中，采用带有车辆行驶情形的标签的训练视频作为训练集，对基于使用残差式进行信息传递的scnn算法和kcf算法的卷积神经网络进行训练；其中，所述scnn算法，用于提取视频帧的图像特征，针对监控图像中的车道线采用的卷积核的深度，高于针对监控图像中的红绿灯、交通标志采用的卷积核的深度，kcf算法用于追踪scnn算法提取的视频帧中的特定车辆的图像特征。

在具体实施中，训练集中的标签可以标记在需要进行识别的物体上，例如车辆、红绿灯、交通标志和车道线等。

在具体实施中，基于卷积神经网络的图像识别算法，可以进行深度的学习和训练，可以更加准确的定位到动态目标和其他需要进行图像特征提取的目标，进行准确的图像特征提取，进而可以保证识别结果的准确度优秀。

在具体实施中，scnn(sequentialconvolutionalneuralnetwork)算法是十分优异的图像检验、识别算法，不同于现有技术中将scnn应用于从自动驾驶，即通过scnn对从车辆驾驶角度(车辆本身)获得的车辆行驶过程中周围的图像进行分析，本发明实施例将scnn应用于监控图像，获得图像特征，可以更加完整地的判定车辆的行为类别。

在具体实施中，针对红绿灯、交通标志等比较明显的物体，可以采用深度不高的卷积核进行特征提取，而对于车道线等不太明显的物体、标志，可以采用深度较高的卷积核进行特征提取，可以提成行为识别的效率。

在具体实施中，当监控图像是视频时，在实际应用中，scnn算法可以在训练后识别车道线、红绿灯、交通标志、行驶车辆。在识别到图像特征后，可以将输出的图像特征作为kcf算法的输入，使用kcf实现对于车辆的追踪。保持对于同一目标车辆进行追踪，可以提升识别结果的准确度。

在具体实施中，kcf(kernelcorrelationfilter)算法是跟踪算法，可以应用于对目标的高精度追踪，避免了在某几个视频没有动态目标出现的情况下，丢失追踪的动态目标，提升了识别结果的准确度。

在具体实施中，采用kcf追踪算法对从视频帧中提取的动态目标的图像特征进行追踪，避免出现动态目标丢失的情形，可以保证识别结果的准确度。

在具体实施中，应用于识别的视频帧可以由用户根据实际应用进行相应的确定，当视频包括的所有视频帧都应用于识别时，则可以保证目标车辆的每个行为都进行分析和分类，当抽取视频帧应用于识别时，则可以提高识别效率。

在具体实施中，scnn算法的信息传递采用以下公式：

其中，x’i，j，k表示输入的三维张量，xi，j，k表示输出的三维张量，i表示通道数量，j表示行数，k表示列数，m表示通道的累加，n表示高的累加，x’m，j-1，k+n-1表示上一次更新的张量，km，i，n表示其对应的权重，f()是relu函数。

在具体实施中，采用残差式的信息传递方式，更加易于进行训练学习，信息传递效果更好。

步骤s103，依据监控图像的图像特征得到车辆行驶情形。

在具体实施中，在对采用卷积神经网络构建的图像识别模型进行训练学习完成后，在实际应用过程中，当监控图像是图像时，可以通过图像特征获取在图像中车辆的静止的行驶情形；当监控图像是视频时，可以通过各个视频帧获取车辆连续的行驶情形。

本发明实施例中，所述图像识别模型中的卷积神经网络依据监控图像的图像特征，确定以下至少一种交通关系：车辆和车道线之间的位置关系，车辆和红绿灯之间的关系，车辆和交通标志之间的关系，车辆和车辆之间的位置关系，车辆的行驶速度；

依据交通关系与预设的车辆交通规范确定车辆行驶情形。

在具体实施中，车道线、红绿灯、交通标志分别对应了不同的交通规范，当针对的监控图像是照片时，基于照片中的车道线、红绿灯、交通标志确定车辆当前需要遵循的交通规范，当针对的监控图像是视频时，基于视频中的车道线、红绿灯、交通标志确定对应的一段时间或路程中车辆需要遵循的交通规范。而预设的车辆交通规范包括目标车辆和其他车辆之间的位置关系等普遍需要遵守的交通规范，如车辆之间的距离须大于一定数值，与其他车辆接触属于追尾或碰擦情形。

在具体实施中，通过车道线、红绿灯、交通标志等确定的交通规范，可以确定目标车辆在行驶过程中的遵守交通规范、违反交通规范以及违反何种交通规范的行驶情形。

步骤s104，通过依据监控图像得到的车辆行驶情形判定车辆行为类别。

本发明实施例中，依据预设的车辆行为类别与车辆行驶情形的对应关系，判定依据监控图像得到的车辆行驶情形所归属的车辆行为类别。

参阅图2、3，其为本发明实施例中提供的车辆行为类别表格。

在具体实施中，在确定了车辆在行驶过程中的遵守交通规范、违反交通规范以及违反何种交通规范的行驶情形，可以对应判定车辆的行为类别，行为类别包括行为标签、是否违规和违规等级，车辆行为类别可以用于进行车辆交通管理。可以实现全天候、全方位、高效准确的交通监管。

在具体实施中，采用scnn算法和/或kcf算法，优势在于可以进行灵活应用算法，避免出现识别效果低下和目标丢失的情形，通过交通关系和交通行为规范确定车辆行驶情形，进而判定车辆行为类别，可以完整的、高效的对目标车辆以及动态目标车辆进行实时监控，并且确保了识别结果的准确度。

本发明实施例中还提供一种车辆行为识别装置，包括监控单元，第一识别单元，第二识别单元和行为判定单元，其中：

所述监控单元，用于获取车辆行驶道路的监控图像；

所述第一识别单元，用于通过采用卷积神经网络构建的图像识别模型，对所述监控图像进行识别，得到监控图像的图像特征；

所述第二识别单元，用于依据监控图像的图像特征得到车辆行驶情形；

所述行为判定单元，通过依据监控图像得到的车辆行驶情形判定车辆行为类别。

本发明实施例中，所述监控单元，还用于实时获取车辆行驶道路的包括照片或/和视频的监控图像。

本发明实施例中，所述第一识别单元，还用于采用带有车辆行驶情形的标签的训练图像作为训练集，对基于使用残差式进行信息传递的scnn算法的卷积神经网络进行训练；其中，所述scnn算法，用于提取图像特征，针对监控图像中的车道线采用的卷积核的深度，高于针对监控图像中的红绿灯、交通标志采用的卷积核的深度。

本发明实施例中，所述第一识别单元，还用于采用带有车辆行驶情形的标签的训练视频作为训练集，对基于scnn算法和kcf算法的卷积神经网络进行训练；其中，所述scnn算法，用于提取视频帧的图像特征，针对监控图像中的车道线采用的卷积核的深度，高于针对监控图像中的红绿灯、交通标志采用的卷积核的深度，kcf算法用于追踪scnn算法提取的视频帧中的特定车辆的图像特征。

本发明实施例中，所述第二识别单元，还用于所述图像识别模型中的卷积神经网络依据监控图像的图像特征，确定以下至少一种交通关系：车辆和车道线之间的位置关系，车辆和红绿灯之间的关系，车辆和交通标志之间的关系，车辆和车辆之间的位置关系，车辆的行驶速度；依据交通关系与预设的车辆交通规范确定车辆行驶情形。

本发明实施例中，所述行为判定单元，还用于依据预设的车辆行为类别与车辆行驶情形的对应关系，判定依据监控图像得到的车辆行驶情形所归属的车辆行为类别。