一种基于双流卷积神经网络的暴力行为识别方法与流程

本发明涉及机器视觉对监控视频识别领域，具体而言，尤其涉及一种基于双流卷积神经网络的暴力行为识别方法。
背景技术：
：视频监控系统普遍应用在商场、银行等公共场合，对社会公共安全起到保障监督作用。现有的监控系统只是通过摄像头对特定地方进行拍摄并保存视频数据，监控功能主要依赖人工监控实现，工作人员必须长时间盯着多个屏幕从而实现对多个地方的实时监控，长时间的监控多个屏幕使工作人员很容易疲劳，不能及时发现和处理视频中的暴力危险行为。再者，传统的监控系统日以继夜的产生监控数据，需要耗费大量的人力资源进行处理，判断识别结果受人为的主观因素较大。基于视频内容的行为识别监控系统一方面可以减少在视频监控方面的人力投资，一方面有效的提高了视频监管的质量。目前为止，对于视频行为识别方法大体可分为：基于kinect深度图像进行识别、基于骨骼模型的方法、基于3d卷积神经网络的方法和基于双流卷积神经网络的方法。基于kinect深度图像的方法主要是利用微软的3d体感相机采集三维空间中的人体姿态，能够解决二维图像因目标重叠而无法进行分割的问题，但是该方法模型训练复杂，对设备的要求比较高，同时视频监控的范围较为局限，限制了该方法的普适性。基于骨骼模型的方法是针对图像中人体骨骼关节点特征建立骨骼模型，再通过模型对人体姿态进行识别。基于3d卷积神经网络的方法在二维卷积的基础上引入了时域维度，该方法在时间延迟上具有较大优势，但是其存在计算量较大，实时性较低的缺点。基于双流卷积神经网络的方法分别使用时间和空间两个卷积神经网络单独提取图像特征，最后将两个网络进行融合，最终能够对行为类别进行识别，该方法采用2d卷积神经网络，计算量较之3d卷积神经网络较少，且空间流能够较为充分的表达动作之间的关联性。技术实现要素：根据上述提出现有技术对暴力行为自动识别实时性差、效果不佳的技术问题，而提供一种基于双流卷积神经网络的暴力行为识别方法，该方法使用densenet和inceptiion-v3网络分别作为空间流和时间流的特征提取网络，在双流架构之后加入indrnn独立循环神经网络单元，进一步学习到动作的长时间序列特征。本发明采用的技术手段如下：一种基于双流卷积神经网络的暴力行为识别方法，包括：步骤1：视频获取，采用摄像头获取一般场景下监控行为数据，利用视频截取工具截取rgb视频帧，并利用光流法计算视频中相邻两帧之间的光流图像；步骤2：对双流卷积神经网络的时间网络和空间流网络进行异构，提高行为识别准确率；步骤3：进一步提取长时间动作序列的特征，将时间流网络和空间流网络提取到的特征序列输入到独立循环神经网络单元indrnn中，加深对动作特征的充分提取；步骤4：建立行为类别与危险暴力程度的映射关系，利用步骤3得到的模型对监控视频中的行为进行识别，按照行为类别划分行为危险程度，当判断监控中行为为危险暴力行为时，启动报警，及时做出应对。较现有技术相比，本发明具有以下优点：1、本发明提供一种基于双流卷积神经网络的暴力行为识别方法，相比于目前视频监控需要大量人力消耗以及人为判定受主观因素影响较大的缺点，本发明所提出的方法基于深度学习对视频监控中的行为进行识别，受人为主观影响小，对暴力危险行为的判定更为准确。2、本发明使用双流卷积神经网络，使用2d卷积同时在时间流网络中充分考虑动作的时间维度信息，相比于3d卷积以及基于骨骼和rgb-d深度图像的方法具有更少的参数计算量和较为理想的识别准确率。3、本发明将双流卷积神经网络架构进行异构，充分提取空间流网络的动作特征，在双流特征融合后进一步提高行为识别的准确率，在得到时间流和空间流的特征序列后，将特征序列输入独立循环神经网络单元中进一步充分学习到长时动作序列的特征信息。4、本发明建立行为类别与危险程度的映射关系，可根据对监控视频中行为类别识别后对应的映射关系做出相应的报警应对措施，本发明在银行atm机，电梯轿厢等人少，易发生危险行为的场所具有很高的应用价值。综上，本发明的技术方案解决了视频监控对暴力行为不能进行及时准确识别的缺点，在减少计算参数量的情况下，利用深度学习双流卷积神经网络架构，经过对时间流和空间流网络进行异构以及加入循环卷积单元进一步对长时间动作序列特征信息的提取，提高了行为识别的准确率，最后通过建立行为类别与危险程度的映射关系，使得能够对监控视频中的暴力打斗行为及时发现并作出相应应对措施。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本发明识别方法的流程示意图；图2为本发明densenet神经网络结构示意图；图3为本发明inception-v3网络结构示意图；图4为本发明独立循环神经单元indrnn的结构示意图；图5为本发明重构的双流神经网络加入循环神经网络单元后的整体结构示意图。具体实施方式为了使本
技术领域：
的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。如图1所示，本发明提供了一种基于双流卷积神经网络的暴力行为识别方法，包括s1～s4四个步骤，具体内容如下：步骤1：将摄像头固定在人体侧上方模拟实际银行atm机监控场景，采集人体交互行为视频，利用视频截取工具，截取rgb视频帧，并将rgb图像作为空间流网络的输入，利用光流法计算相邻两帧之间的光流图像作为时间流网络的输入。步骤2：对双流卷积神经网络的时间网络和空间流网络进行异构，提高行为识别准确率。原始双流神经网络架构中空间流与时间流网络架构相同，最终两个流对行为识别的准确度中空间流效果较差，为了进一步充分提取动作的空间信息，将时间与空间两个网络分别采取不同的网络模型，空间流网络采用densenet网络结构，其结构如图2所示，densenet能够在保证较少的参数下达到很好的特征提取效果，时间流网络采用inception-v3网络，其结构如图3所示,。步骤3：进一步提取长时间动作序列的特征，将时间流网络和空间流网络提取到的特征序列输入到独立循环神经网络单元indrnn中，加深对动作特征的充分提取。为了进一步学习到长时间视频动作的特征信息，在得到时间网络和空间网络的特征序列后，将序列输入到循环神经网络单元中，本发明选取独立循环神经单元(indrnn)，其内部结构如图4所示，相比于传统循环神经网络indrnn通过调节基于时间的梯度反向传播，可以有效地解决梯度消失和爆炸问题；可以保留长期记忆，处理长序列；可以很好地利用relu等非饱和函数作为激活函数，并且训练之后鲁棒性提高；可以实现高效的多层堆叠以增加网络的深度。其具体描述如下：ht＝σ(wxt+uht-1+b)其中，ht为时间步t的隐藏状态(hiddenstate)，σ为神经元的逐元素激活函数，w为当前输入的权重，xt为时间步t输入，u为循环权重，表示hadamard乘积，ht-1为时间步t-1的隐藏状态，b为神经元偏差。每一层的每个神经元各自独立，神经元之间的连接可以通过堆叠两层或更多层的indrnns来实现。对于第n个神经元，隐藏状态可以通过下式得出:hn,t＝σ(wnxt+unhn,t-1+bn)其中，hn,t为第n个神经元在时间步t的隐藏状态，wn和un分别是输入权重和循环权重的第n行，σ为神经元的逐元素激活函数，xt为第n个神经元时间步t输入，hn,t-1为第n个神经元在时间步t-1的隐藏状态，bn为第n个神经元的偏差。每个神经元仅在前一时间步从输入和它自己的隐藏状态中接收信息。也就是说，indrnn中的每个神经元独立地处理一种类型的时空模型。步骤4：利用重构之后的神经网络，如图5所示，对视频中的行为类别进行识别，建立行为类别与危险程度的对应映射关系，如下表所示。根据对视频类别的判定及所对应的危险程度做出相应的应对措施。动作类别危险程度对应措施握手、拥抱轻度无需报警指点、推搡中等预警提示击打、脚踢重度报警警告本发明还提供一种存储介质所述存储介质包括存储的程序，其中，所述程序运行时，执行上述方法。本发明还提供一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的极端机程序，所述处理器通过所述计算机程序运行执行上述方法。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。在本申请所提供的实施例，应该理解到，所揭露的技术内容，可通过其它的方式实现。最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。当前第1页12