一种安防监控下的睡觉行为识别方法、系统与介质

本发明属于视频动作识别领域，具体涉及一种安防监控下的睡觉行为识别方法、系统及介质。

背景技术：

1、视频动作识别算法是对视频序列中的人员动作进行识别的一种视频分类算法。行为识别的重点是对人员的个人行为和环境之间的一系列联系中观测出人员的行为动作，需要识别的动作可能包含站立、坐下、说话、步行等，这些动作中有些动作可以直接通过单帧图像来判断，而一些复杂的动作如开门和关门等则需要当前帧与前后帧组成一个视频序列来判断具体的动作。在岗睡觉的人员往往都是坐在椅子上进行睡觉，其睡觉姿势可能与办公姿势相同，再者由于安防监控的距离较远，无法清晰观察到人脸的状态，使用单帧图像来判断在岗睡觉会引起较大的误差。

2、视频序列动作识别发展过程中，有基于传统手工设计特征方法：如基于全局特征和局部特征等发放。再有就是基于深度学习的方法。

3、传统手工设计特征的方法如idt在hdmb51和ucf101等公开数据集上取得较好的效果，但是手工制作的特征具有昂贵的计算成本、较差的泛化能力和难以部署的特点。利用深度学习网络可以很好的解决这些问题。

4、目前深度学习中视频动作识别算法主要有两种：一种是cnn(convolutionalneural networks，卷积神经网络)网络，另一种是利用cnn对视频序列图像帧进行特征提取，然后使用rnn(recurrent neural network，循环神经网络)网络对整个视频序列进行建模。第一种方法主要有two-stream(双流法)、c3d、slowfast、posec3d等。第二种方法主要有cnn-lstm(卷积长短期记忆神经网络)、lrcn(learning resource centrenetwork，学习资源中心)、双向lstm等方法。

5、深度学习网络解决视频动作识别的步骤分为数据标注、训练、预测。视频标注一般是将含有某一类动作的视频片段单独放在一个文件夹下，训练时对每一类动作视频序列进行采样后，送入到神经网络进行迭代优化网络参数，使得视频分类结果与目标标签一致。基于卷积网络的代表方法主要有双流网络和c3d网络。双流网络添加额外的光流分支作为视频序列图像帧之间的运动表示，c3d网络将视频序列看做是一个具有两个空间维度和一个时间维度上的三维张量，使用3d卷积作为视频动作识别的通用特征提取器。基于循环神经网络的方法是将视频看做一个时间序列，通用的处理方法是将单帧的cnn的特征聚合为视频级的特征后作为rnn网络的输入得到最终的预测标签。

6、现有视频动作识别算法在视频序列较短的数据集上取得较好的效果，但在长视频序列上性能表现并不是很好。如3d卷积网络可以堆叠多个短时间卷积来实现长距离时间连接。但这种方法会丢失相隔较远的图像帧之间的联系信息。且当前大多算法都是在视频序列中动作幅度变化较大的情况下设计，而在睡岗这种动作幅度变化较小的场景中的表现并不如人意。

7、因此，如何设计一种适用于在睡岗这种动作幅度变化较小的场景的视频动作识别算法，是一个急需解决的问题。

技术实现思路

1、本发明的主要目的在于提供一种适用于在睡岗这种动作幅度变化较小的场景的安防监控下的睡觉行为识别方法、系统及介质。

2、为实现前述发明目的，本发明采用的技术方案包括：一种安防监控下的睡觉行为识别方法，包括：

3、s1，制作数据集，其包括采集安防监控下的睡觉视频及非睡觉视频，对视频进行处理，得到神经网络所需的视频序列数据集；

4、s2，采用卷积神经网络对所述视频序列数据集进行特征编码，编码出图像帧特征；

5、s3，采用视频分段策略对所述图像帧特征进行分段，并计算出当前片段的片段级特征；

6、s4，对每个片段的片段级特征按照时间顺序堆叠形成视频序列的视频级特征，作为添加了时空非本地注意力机制的时间循环神经网络模块的输入；

7、s5，将时空非本地注意力机制的输出特征图经过时间循环神经网络模块的全连接层，得到最终的分类结果，完成最终睡觉行为的识别。

8、在一优选实施例中，所述s1中，对采集的视频在长度和尺寸上进行裁剪，并随机分为训练集、验证集及测试集。

9、在一优选实施例中，所述s2中，采用resnet50网络对所述视频序列数据集进行特征编码，得到单帧表示的所述图像帧特征。

10、在一优选实施例中，所述s3包括：

11、s31，采用视频分段策略对从resnet50网络全连接层之前的所述图像帧特征进行分段，将图像帧特征分割为多个片段；

12、s32，根据度量学习的原理，计算得到与当前片段中的当前特征向量最相似和最不相似的两个特征向量；

13、s33，将所述两个特征向量拼接，将拼接后的特征向量作为所述当前片段的片段级特征。

14、在一优选实施例中，所述s32中，计算得到当前片段中的当前特征向量与其他特征向量欧氏距离最小的最小特征向量和距离最大的最大特征向量；所述s33中，将所述最小特征向量和最大特征向量拼接。

15、在一优选实施例中，所述s32中，计算当前片段中当前特征向量与其他特征向量之间的欧氏距离的平均距离，从平均距离中选出最大距离和最小距离分别对应的所述最大特征向量和所述最小特征向量。

16、在一优选实施例中，所述s4中，所述时空非本地注意力机制作用于时间循环神经网络的输出层之后，全连接层之前，将时空非本地注意力输出特征图作为整个时间循环神经网络的全连接层的输入。

17、在一优选实施例中，所述s4中，对每个片段的片段级特征按照时间先后顺序堆叠形成视频序列的视频级特征。

18、另一方面，本发明还提供了一种安防监控下的睡觉行为识别系统，包括：

19、数据集制作模块，用于制作数据集，其包括采集安防监控下的睡觉视频及非睡觉视频，对视频进行处理，得到神经网络所需的视频序列数据集；

20、图像帧特征编码模块，用于采用卷积神经网络对所述视频序列数据集进行特征编码，编码出图像帧特征；

21、片段级特征计算模块，用于采用视频分段策略对所述图像帧特征进行分段，并计算出当前片段的片段级特征；

22、视频级特征获得模块，用于对每个片段的片段级特征按照时间顺序堆叠形成视频序列的视频级特征，作为添加了时空非本地注意力机制的时间循环神经网络模块的输入；

23、睡觉行为识别模块，用于将时空非本地注意力机制的输出特征图经过时间循环神经网络模块的全连接层，得到最终的分类结果，完成最终睡觉行为的识别。

24、又一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述安防监控下的睡觉行为识别方法的步骤。

25、与现有技术相比较，本发明的有益效果至少在于：

26、本发明在现有视频动作识别网络(cnn-lstm)的基础框架上，加入了分段级特征表示方法与非本地注意力机制，分段级特征表示方法相对于图像帧级在一定程度上减少了视频序列开头和结尾之间的距离。使用非本地注意力机制来捕获空间和时间域的长期依赖性，并在没有附加额外标注的情况下取得更好的性能。本发明通过改进后的cnn-lstm网络架构实现了监控视频下的睡觉行为检测。