基于CNN-LSTM时空特征融合的异常驾驶行为识别方法与流程

本发明涉及驾驶员行为识别技术领域，尤其涉及基于cnn-lstm时空特征融合的异常驾驶行为识别方法。

背景技术：

随着我国经济的不断发展,机动车的数量逐年增多,伴随而来的是交通事故发生率也在逐年攀升，根据相关数据显示,我国所有伤害死因当中,占比最大的是交通事故,道路交通事故的产生多归因于驾驶员的异常行为因素,分析驾驶异常行为对于研究交通事故致因具有重要意义；

驾驶员异常驾驶行为识别这个具体场景，驾驶员在驾驶室的动作是连续的视频流，且部分动作行为可能变化比较微小，直接用单张图片进行识别较难分辨，因此，本发明提出基于cnn-lstm时空特征融合的异常驾驶行为识别方法以解决现有技术中存在的问题。

技术实现要素：

针对上述问题，本发明的目的在于提出基于cnn-lstm时空特征融合的异常驾驶行为识别方法，该基于cnn-lstm时空特征融合的异常驾驶行为识别方法通过卷积神经网络层和长短时记忆网络层提取多帧驾驶员异常行为图像的空间特征和时间序列特征并进行融合传输，利用全连接层和softmax层对驾驶员异常行为图像进行分类识别和判断，充分考虑到动作与时间依赖关系，把时间序列信息用上，使有效信息利用率更高，有更高的识别精度，且长短时记忆网络层相比于传统的循环神经网络，解决了梯度消失的问题，能降低训练模型的难度。

为实现本发明的目的，本发明通过以下技术方案实现：基于cnn-lstm时空特征融合的异常驾驶行为识别方法，包括图像采集处理系统、卷积神经网络层、长短时记忆网络层、全连接层和softmax层，并包括以下步骤：

步骤一、将关键子区域图像作为网络输入，并通过卷积层网络对关键子区域图像进行特征提取，初步得到特征图像；

步骤二、将步骤一中得到的特征图像进行分组，每连续十帧的图像为一组并用p(i)表示每组中连续的第i帧图像，得到每组输入图像的图集为p＝{p1,p2,p3,…，p10}；

步骤三、将十张连续帧数的图像并行的输入到卷积神经网络层进行图像的空间特征提取；

步骤四、然后再将图像并行输入到长短时记忆网络层，长短时记忆网络层之间采用串联的方式进行前后帧数图像时间序列特征的联系，并与步骤三中的对应帧数图像的空间特征进行融合得到时空特征；

步骤五、把提取到的时空特征输入到全连接层将其映射到样本标记空间展开，然后输入到softmax层进行行为分类，对异常驾驶行为进行识别和判断；

进一步改进在于：所述步骤一中图像采集处理系统用于对驾驶员异常行为的图像视频采集后分帧数进行处理，将关键且连续帧数的图像视频信息提取从而得到关键区域子图像

进一步改进在于：所述步骤三中的卷积神经网络层具有对空间特征比较敏感的特点，能有效提取到驾驶员的动作特征。

进一步改进在于：所述步骤四中的长短时记忆网络层具有对时间序列特征比较敏感的特点，能有效表示出驾驶员的前后动作之间的关系，且能降低训练模型的难度。

进一步改进在于：所述步骤四中的前后帧数图像时间序列特征与步骤三中的对应帧数图像的空间特征的融合方式为将步骤二中分组后的图像输入到卷积神经网络层，此时一共会产生十个通道，每个通道提取空间特征得到特征向量后，再并行输入到长短时记忆网络层，同时长短时记忆网络层之间采用串联方式进行前后帧图像的联系，即不同通道之间的长短时记忆网络层联系起来作用，使其具有表达时间序列特征的功能。

进一步改进在于：所述全连接层使用relu函数作为激活函数，并使用深度学习中的一种随机丢弃部分神经元的机制来提高模型泛化性。

进一步改进在于：所述softmax层为一种广泛应用于深度学习的激活函数，所述softmax层可根据不同的需求录入异常驾驶行为数据，当全连接层将图像的时空特征映射到样本标记空间展开后输入到softmax层即可识别并判断为异常驾驶行为。

本发明的有益效果为：本发明通过卷积神经网络层和长短时记忆网络层提取多帧驾驶员异常行为图像的空间特征和时间序列特征并进行融合传输，利用全连接层和softmax层对驾驶员异常行为图像进行分类识别和判断，充分考虑到动作与时间依赖关系，把时间序列信息用上，使有效信息利用率更高，有更高的识别精度，且长短时记忆网络层相比于传统的循环神经网络，解决了梯度消失的问题，能降低训练模型的难度。

附图说明

图1为本发明流程图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

根据图1所示，本实施例提供了基于cnn-lstm时空特征融合的异常驾驶行为识别方法，包括图像采集处理系统、卷积神经网络层、长短时记忆网络层、全连接层和softmax层，并包括以下步骤：

步骤一、将关键子区域图像作为网络输入，并通过卷积层网络对关键子区域图像进行特征提取，初步得到特征图像；

步骤二、将步骤一中得到的特征图像进行分组，每连续十帧的图像为一组并用p(i)表示每组中连续的第i帧图像，得到每组输入图像的图集为p＝{p1,p2,p3,…，p10}；

步骤三、将十张连续帧数的图像并行的输入到卷积神经网络层进行图像的空间特征提取；

步骤四、然后再将图像并行输入到长短时记忆网络层，长短时记忆网络层之间采用串联的方式进行前后帧数图像时间序列特征的联系，并与步骤三中的对应帧数图像的空间特征进行融合得到时空特征；

步骤五、把提取到的时空特征输入到全连接层将其映射到样本标记空间展开，然后输入到softmax层进行行为分类，对异常驾驶行为进行识别和判断；

所述步骤一中图像采集处理系统用于对驾驶员异常行为的图像视频采集后分帧数进行处理，将关键且连续帧数的图像视频信息提取从而得到关键区域子图像。

所述步骤三中的卷积神经网络层具有对空间特征比较敏感的特点，能有效提取到驾驶员的动作特征。

所述步骤四中的长短时记忆网络层具有对时间序列特征比较敏感的特点，能有效表示出驾驶员的前后动作之间的关系，且长短时记忆网络层相比于传统的循环神经网络，解决了梯度消失的问题，能降低训练模型的难度。

所述步骤四中的前后帧数图像时间序列特征与步骤三中的对应帧数图像的空间特征的融合方式为将步骤二中分组后的图像输入到卷积神经网络层，此时一共会产生十个通道，每个通道提取空间特征得到特征向量后，再并行输入到长短时记忆网络层，同时长短时记忆网络层之间采用串联方式进行前后帧图像的联系，即不同通道之间的长短时记忆网络层联系起来作用，使其具有表达时间序列特征的功能。

所述全连接层使用relu函数作为激活函数，并使用深度学习中的一种随机丢弃部分神经元的机制来提高模型泛化性。

所述softmax层为一种广泛应用于深度学习的激活函数，所述softmax层可根据不同的需求录入异常驾驶行为数据，当全连接层将图像的时空特征映射到样本标记空间展开后输入到softmax层即可识别并判断为异常驾驶行为。

本发明首先将关键子区域图像作为网络输入，通过卷积层进行特征预提取，初步得到特征图像，然后把特征图像进行分组，每连续十帧的的图像为一组，用p(i)来表示每组中连续的第i帧图像，得到每组输入的图像集为p＝{p1,p2,p3,…,p10}，十张连续帧的图像输入后，并行地接到卷积神经网络层，提取空间特征，再接着并行输入到长短时记忆网络层，同时在长短时记忆网络层中采用串联进行前后帧图像的联系，即不同通道之间的长短时记忆网络层联系起来作用，使其具有表达时间序列特征的功能，之后将提取的空间特征与提取的空间特征融合得到时空特征，最后把提取到的时空特征输入到全连接层，对提取到的分布式特征映射到样本标记空间，然后输入到softmax层进行分类，从而对异常驾驶行为进行识别判断。

该基于cnn-lstm时空特征融合的异常驾驶行为识别方法通过卷积神经网络层和长短时记忆网络层提取多帧驾驶员异常行为图像的空间特征和时间序列特征并进行融合传输，利用全连接层和softmax层对驾驶员异常行为图像进行分类识别和判断，充分考虑到动作与时间依赖关系，把时间序列信息用上，使有效信息利用率更高，有更高的识别精度，且长短时记忆网络层相比于传统的循环神经网络，解决了梯度消失的问题，能降低训练模型的难度。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。