基于深度学习的行为识别方法、装置、设备及存储介质与流程

本发明涉及计算机技术领域，尤其涉及一种基于深度学习的行为识别方法、装置、设备及存储介质。

背景技术：

目前，交通管理的管理系统主要针对机动车违章违法的视频识别监测与执法，但还没有对行人违章违法的监控管理措施和设施进行有效的执法，随着智慧交通管理系统的专业化与精细化，公安交警对行人闯红灯等违章的现象将逐步采用专有技术进行针对性执法管理，但是在抓拍过程中对行人进行行为识别仍然出现误差较大的问题。

技术实现要素：

本发明的主要目的在于提出一种基于深度学习的行为识别方法、装置、设备及存储介质，旨在提高行人行为识别的准确性。

为实现上述目的，本发明提供一种基于深度学习的行为识别方法，所述基于深度学习的行为识别方法包括以下步骤：

在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息；

提取所述步行行为信息中的当前静态图像信息和当前光流图像信息；

通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别，得到静态行为识别结果；

通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别，得到动态行为识别结果；

根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别。

优选地，所述在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息之前，所述方法还包括：

与红绿灯控制装置建立连接，在连接后实时获取所述红绿灯控制装置发送的当前红绿灯的运行信息；

根据所述运行信息执行在红灯亮之前的预设时间范围内采集预设路段上行人的行为信息的步骤。

优选地，所述提取所述步行行为信息中的当前静态图像信息和当前光流图像信息之前，所述方法还包括：

获取所述行人的步行速度信息；

将所述步行速度信息与预设速度阈值进行比较，根据比较结果得到所述行人中的异常步行速度信息；

根据所述异常步行速度信息对应的目标行为信息对所述步行行为信息进行调整；

相应的，所述提取所述步行行为信息中的当前静态图像信息和当前光流图像信息，包括：

提取调整后的步行行为信息中的当前静态图像信息和当前光流图像信息。

优选地，所述提取调整后的步行行为信息中的当前静态图像信息和当前光流图像信息，包括：

提取调整后的步行行为信息中的每一帧的三基色图像，将所述三基色图像作为所述当前静态图像信息；

提取调整后的步行行为信息中的每一个像素在时间维度上的偏移估计信息，将所述偏移估计信息作为所述当前光流图像信息。

优选地，所述通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别，得到静态行为识别结果之前，所述方法还包括：

获取历史静态图像信息，提取所述历史静态图像信息中的静态特征信息，将所述静态特征信息生成多维静态向量信息，并将所述多维静态向量信息输入至卷积神经网络中进行训练，得到静态图像行为识别模型；

所述通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别，得到动态行为识别结果之前，所述方法还包括：

获取历史动态图像信息，提取所述历史动态图像信息中的动态特征信息，将所述动态特征信息生成多维动态向量信息，并将所述多维动态向量信息输入至卷积神经网络中进行训练，得到动态图像行为识别模型。

优选地，根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别之后，所述方法还包括：

将所述静态行为识别结果和动态行为识别结果进行融合，并计算融合结果的平均值；

在所述平均值达到预设判定阈值时，将所述融合结果对应的行为结果作为目标行为结果；

在所述目标行为结果属于异常行为信息时进行预警。

优选地，所述在所述目标行为结果属于异常行为信息时进行预警之后，所述方法还包括：

在所述目标行为结果属于异常行为信息时，获取所述目标行为结果对应的行人信息；

对所述行人信息标上预设异常标签信息，并将标上预设异常标签信息的行人信息进行保存。

此外，为实现上述目的，本发明还提出一种基于深度学习的行为识别装置，所述基于深度学习的行为识别装置包括：

检测模块，用于在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息；

提取模块，用于提取所述步行行为信息中的当前静态图像信息和当前光流图像信息；

静态识别模块，用于通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别，得到静态行为识别结果；

动态识别模块，用于通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别，得到动态行为识别结果；

识别模块，用于根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别。

此外，为实现上述目的，本发明还提出一种基于深度学习的行为识别设备，所述基于深度学习的行为识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的行为识别程序，所述基于深度学习的行为识别程序配置为实现如上所述的基于深度学习的行为识别方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于深度学习的行为识别程序，所述基于深度学习的行为识别程序被处理器执行时实现如上文所述的基于深度学习的行为识别方法的步骤。

本发明提出的基于深度学习的行为识别方法，通过在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息；提取所述步行行为信息中的当前静态图像信息和当前光流图像信息；通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别，得到静态行为识别结果；通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别，得到动态行为识别结果；根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别；根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别，从而通过深度学习对行人的行为信息进行识别，判断行人是否会出现闯红灯的行为进行提前预判，达到行为识别准确性的目的。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明基于深度学习的行为识别方法第一实施例的流程示意图；

图3为本发明基于深度学习的行为识别方法一实施例的行人识别系统结构示意图；

图4为本发明基于深度学习的行为识别方法一实施例的行人行为抓拍示意图；

图5为本发明基于深度学习的行为识别方法第二实施例的流程示意图；

图6为本发明基于深度学习的行为识别方法第三实施例的流程示意图；

图7为本发明基于深度学习的行为识别装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于深度学习的行为识别设备结构示意图。

如图1所示，该设备可以包括：处理器1001，例如cpu，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于深度学习的行为识别程序。

在图1所示的设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户设备，与设备进行数据通信；本发明设备通过处理器1001调用存储器1005中存储的基于深度学习的行为识别程序，并执行本发明实施例提供的基于深度学习的行为识别的实施方法。

基于上述硬件结构，提出本发明基于深度学习的行为识别方法实施例。

参照图2，图2为本发明基于深度学习的行为识别方法第一实施例的流程示意图。

在第一实施例中，所述基于深度学习的行为识别方法包括以下步骤：

步骤s10，在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息。

需要说明的是，本实施例的执行主体为设置在道路上的基于深度学习的行为识别设备，还可为其他终端设备，本实施例对此不作限制，在本实施例中，以基于深度学习的行为识别装置为例进行说明，所述预设时间可为在红灯亮之前的30s内，还可为其他时间参数信息，本实施例对此不作限制，通过在红灯亮之前采集行人的行为信息，并根据行为信息进行提前预判，从而更有效的预测出将要闯红灯的行人信息，并进行预警，从而实现对行人信息的深度学习。

在本实施例中，设有基于深度学习的行为识别系统，如图3所示，本系统由前端子采集系统和后端管理子系统两部分组成，即前端采集系统和后端处理系统，用于实现对路口行人等交通违法行为的自动抓拍、识别、记录、传输和处理，同时系统还具备实时记录通行非机动车辆信息功能。

在具体实现中，前端采集系统负责完成前端数据的视频、信号、处理、存储与上传，主要由视频抓拍单元、交通信号单元以及控制执行单元等组件构成，其中，视频抓拍单元、交通信号单元分别与控制执行单元路口连接，交通违法信息采用网络方式传输，后端管理系统负责实现对区域内采集数据的汇聚、处理、存储、应用、管理与共享，主要包括依序连接的信息汇集单元、信息处理单元以及信息存储单元。

为了获取行人的行为信息，如图4所示，a表示控制执行单元，b表示交通信号灯单元，c表示视频抓拍单元，通过视频抓拍单元采集行人的行为信息，交通信号灯单元采集当前的红绿灯的运行情况，控制执行单元用于进行数据处理。

步骤s20，提取所述步行行为信息中的当前静态图像信息和当前光流图像信息。

需要说明的是，行为是由表现形态和动态变化两个方面构成，为了充分利用行为的两种信息，即行为的形态和行为形态的变化，基于2-stream的行为识别方法，在这个方法下，视频将化为两种数据形式，即红素绿色蓝色图像流和光流图像流。

步骤s30，通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别，得到静态行为识别结果。

步骤s40，通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别，得到动态行为识别结果。

在本实施例中，通过设计两种深度卷积网络，在imagenet图像数据集上做预训练后，分别在视频集的三基色图像数据和光流图像数据上进行微调训练，这使得一个网络专门学习行为的形态特征，另一个网络专门学习行为的动态变化特征。

步骤s50，根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别。

在具体实现中，在识别行为时，综合两个平行模型的判别来作为最终的识别响应，通过将所述静态行为识别结果和动态行为识别结果进行融合，根据融合结果得到目标行为识别结果，在所述目标行为结果属于异常行为信息时进行预警。

需要说明的是，所述预警的方式可为通过声音的方式进行预警，还可通过其他方式进行预警，本实施例对此不作限制，在本实施例中，以声音预警的方式进行预警。

本实施例通过上述方案，通过在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息；提取所述步行行为信息中的当前静态图像信息和当前光流图像信息；通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别，得到静态行为识别结果；通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别，得到动态行为识别结果；根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别；根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别，从而通过深度学习对行人的行为信息进行识别，判断行人是否会出现闯红灯的行为进行提前预判，达到行为识别准确性的目的。

在一实施例中，如图5所示，基于第一实施例提出本发明基于深度学习的行为识别方法第二实施例，在本实施例中，当前路段上设有红灯信号检测器，所述步骤s10之前，所述方法还包括：

与红绿灯控制装置建立连接，在连接后实时获取所述红绿灯控制装置发送的当前红绿灯的运行信息。

需要说明的是，所述红绿灯控制装置可为中心控制器，通过与中心控制器进行连接，可得到红绿灯的显示情况，从而在红灯亮之前对行人的行进信息进行采集，实现在红灯亮之前对行人是否有闯红灯行为进行有效预测。

根据所述运行信息执行所述步骤s10。

在一实施例中，所述步骤s20之前，所述方法还包括：

步骤s201，获取所述行人的步行速度信息。

在本实施例中，在采集行人的行为信息之前，需要对采集的对象进行初步筛选，即通过行人的步行速度对行人进行筛选，从而筛选出步行速度较快的行人，一般这样的行人容易出现闯红灯的概率较大，再获取容易出现闯红灯的行人的步行行为信息，达到提高识别准确性的目的。

步骤s202，将所述步行速度信息与预设速度阈值进行比较，根据比较结果得到所述行人中的异常步行速度信息。

需要说明的是，所述预设速度阈值可为5m/s，还可为其他参数信息，本实施例对此不作限制，在本实施例中，以5m/s为例进行说明，将所述步行速度信息与5m/s进行比较，如果步行速度信息大于5m/s，表明行人的步行速度较快，可将这个行人作为异常步行的行人，另外如果步行速度信息小于5m/s，表明行人的步行速度不至于过快，可将这个行人作为正常步行的行人，不需要采集这类行人的行为信息。

步骤s203，根据所述异常步行速度信息对应的目标行为信息对所述步行行为信息进行调整。

在具体实现中，通过速度判断得到异常步行的行人，在所述步行行为信息只需保留异常步行的行人的步行行为信息，不需要保留正常步行的行人的步行行为信息，减少数据集的数量，从而降低数据的处理的压力。

相应的，所述步骤s20，包括：

步骤s204，提取调整后的步行行为信息中的当前静态图像信息和当前光流图像信息。

进一步地，所述步骤s204，包括：

提取调整后的步行行为信息中的每一帧的三基色图像，将所述三基色图像作为所述当前静态图像信息；提取调整后的步行行为信息中的每一个像素在时间维度上的偏移估计信息，将所述偏移估计信息作为所述当前光流图像信息。

可以理解的是，行为的特征信息应当从这两种原始信息提取，行为的表现形态由每一帧的红色绿色蓝色(redgreenblue，rgb)图像来确定，而形态的变化可由运动估计来表现，光流体现了视频图像中每一个像素在时间维度上的偏移估计，这反映了视频内容的运动，从而实现对静态图像信息以及动态图像信息的特征提取。

本实施例提供的方案，通过提取调整后的步行行为信息中的当前静态图像信息和当前光流图像信息，从而通过静态与动态两方面实现对行人行为信息的识别。

在一实施例中，如图6所示，基于第一实施例或第二实施例提出本发明基于深度学习的行为识别方法第三实施例，在本实施例中，基于第一实施例进行说明，所述步骤s30之前，所述方法还包括：

为了基于深度学习对行人行为进行预测，可通过获取历史静态图像信息，提取所述历史静态图像信息中的静态特征信息，将所述静态特征信息生成多维静态向量信息，并将所述多维静态向量信息输入至卷积神经网络中进行训练，得到静态图像行为识别模型，从而基于卷积神经网络进行训练，得到静态图像行为识别模型。

由于静态图像与动态图像的识别的区别，本实施例设计分别针对静态图像与动态图像进行预测的模型，在对于动态图像进行识别之前，获取历史动态图像信息，提取所述历史动态图像信息中的动态特征信息，将所述动态特征信息生成多维动态向量信息，并将所述多维动态向量信息输入至卷积神经网络中进行训练，得到动态图像行为识别模型，从而基于卷积神经网络进行训练，得到动态图像行为识别模型。

需要说明的是，可通过视频抓拍单元对抓拍的闯红灯行人的行为信息进行数据采集，通过采集的样本信息进行学习，从而得到历史静态图像信息以及历史动态图像信息。

进一步地，所述步骤s50之后，所述方法还包括：

步骤s501，将所述静态行为识别结果和动态行为识别结果进行融合，并计算融合结果的平均值。

需要说明的是，所述静态行为识别结果和动态行为识别结果可为识别的相似度信息以及对应的行为信息，例如相似度为60％等，可通过将静态行为识别结果和动态行为识别结果的相似度信息取平均值，从而得到最终的识别结果。

步骤s502，在所述平均值达到预设判定阈值时，将所述融合结果对应的行为结果作为目标行为结果。

可以理解的是，所述预设判定阈值可为70％，还可为其他参数信息，本实施例对此不作限制，在本实施例中，以70％为例进行说明。

在具体实现中，在所述平均值达到70％时，将所述融合结果对应的行为结果作为所述目标行为结果，例如平均值对应的行为识别结果为打电话行为，则识别出的打电话行为目标行为结果，相应的，在所述平均值未达到70％时，将所述融合结果对应的行为结果重新进行识别，直至得到的平均值未达到70％以上，从而实现行人的行为识别。

步骤s503，在所述目标行为结果属于异常行为信息时进行预警。

进一步地，所述步骤s503之后，所述方法还包括：

为了实现对行人行为信息的记录，在所述目标行为结果属于异常行为信息时，获取所述目标行为结果对应的行人信息，对所述行人信息标上预设异常标签信息，并将标上预设异常标签信息的行人信息进行保存，从而实现对行人的识别，在下次获取到当前的行人时可着重进行关注，通过行人的标签信息标上预设等级信息，从而更快的得到行人的闯红灯概率。

本实施例提供的方案，对具有异常行为的行人信息标上预设异常标签信息，实现对行人的记录，在进行行人的行为识别时可通过标签信息进行快速分析，达到提高数据效率的目的。

本发明进一步提供一种基于深度学习的行为识别装置。

参照图7，图7为本发明基于深度学习的行为识别装置第一实施例的功能模块示意图。

本发明基于深度学习的行为识别装置第一实施例中，该基于深度学习的行为识别装置包括：

检测模块10，用于在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息。

需要说明的是，所述预设时间范围内可为在红灯亮之前的30s内，还可为其他时间参数信息，本实施例对此不作限制，通过在红灯亮之前采集行人的行为信息，并根据行为信息进行提前预判，从而更有效的预测出将要闯红灯的行人信息，并进行预警，从而实现对行人信息的深度学习。

在本实施例中，设有基于深度学习的行为识别系统，如图3所示，本系统由前端子采集系统和后端管理子系统两部分组成，即前端采集系统和后端处理系统，用于实现对路口行人等交通违法行为的自动抓拍、识别、记录、传输和处理，同时系统还具备实时记录通行非机动车辆信息功能。

在具体实现中，前端采集系统负责完成前端数据的视频、信号、处理、存储与上传，主要由视频抓拍单元、交通信号单元以及控制执行单元等组件构成，其中，视频抓拍单元、交通信号单元分别与控制执行单元路口连接，交通违法信息采用网络方式传输，后端管理系统负责实现对区域内采集数据的汇聚、处理、存储、应用、管理与共享，主要包括依序连接的信息汇集单元、信息处理单元以及信息存储单元。

为了获取行人的行为信息，如图4所示，通过视频抓拍单元采集行人的行为信息，交通信号灯单元采集当前的红绿灯的运行情况，控制执行单元用于进行数据处理。

提取模块20，用于提取所述步行行为信息中的当前静态图像信息和当前光流图像信息。

需要说明的是，行为是由表现形态和动态变化两个方面构成，为了充分利用行为的两种信息，即行为的形态和行为形态的变化，基于2-stream的行为识别方法，在这个方法下，视频将化为两种数据形式，即红素绿色蓝色图像流和光流图像流。

静态识别模块30，用于通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别，得到静态行为识别结果。

动态识别模块40，用于通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别，得到动态行为识别结果。

在本实施例中，通过设计两种深度卷积网络，在imagenet图像数据集上做预训练后，分别在视频集的三基色图像数据和光流图像数据上进行微调训练，这使得一个网络专门学习行为的形态特征，另一个网络专门学习行为的动态变化特征。

识别模块50，用于根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别。

在具体实现中，在识别行为时，综合两个平行模型的判别来作为最终的识别响应，通过将所述静态行为识别结果和动态行为识别结果进行融合，根据融合结果得到目标行为识别结果，在所述目标行为结果属于异常行为信息时进行预警。

需要说明的是，所述预警的方式可为通过声音的方式进行预警，还可通过其他方式进行预警，本实施例对此不作限制，在本实施例中，以声音预警的方式进行预警。

本实施例通过上述方案，通过在红灯亮之前的预设时间范围内采集预设路段上行人的步行行为信息；提取所述步行行为信息中的当前静态图像信息和当前光流图像信息；通过深度学习的静态图像行为识别模型对所述当前静态图像信息进行行为识别，得到静态行为识别结果；通过深度学习的动态图像行为识别模型对所述当前光流图像信息进行行为识别，得到动态行为识别结果；根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别；根据所述静态行为识别结果和动态行为识别结果对所述步行行为信息进行行为识别，从而通过深度学习对行人的行为信息进行识别，判断行人是否会出现闯红灯的行为进行提前预判，达到行为识别准确性的目的。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于深度学习的行为识别程序，所述基于深度学习的行为识别程序被处理器执行如上文所述的基于深度学习的行为识别方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台智能终端设备(可以是手机，计算机，终端设备，空调器，或者网络终端设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。