一种基于双流网络的机考异常行为检测方法

本发明涉及视频行为识别领域，具体来说涉及一种基于双流网络的机考异常行为检测方法。

背景技术：

1、考试，一直以来都是用于衡量知识水平的手段，其公平性和重要性是不言而喻的。近年来随着科技的不断发展，机考也逐步流行起来。然而，由于考试通常与考生的利益休戚相关，因此不乏会有考生铤而走险在考场中通过作弊以图取得好成绩。近年来，随着信号屏蔽器在考场中的普及，考生通过与考场外进行信息交流的方式基本被杜绝，因此目前考场中流行的作弊手段往往是考生与考生之间的信息传递。

2、为了检测机考中的作弊行为，通常采取的方式是给所有考生电脑安装监控设备，实时监控考生行为，在考试结束后将监控视频上传到服务端，由工作人员进行核验。然而，由于考试的监控视频往往时长过长，工作人员需要长时间的集中注意力来观看视频回放，这就很容易导致由于工作人员疲劳而发生作弊漏检的现象出现。

技术实现思路

1、为了克服上述现有技术中存在的缺陷与不足，本发明提供了一种基于双流网络的机考异常行为检测方法，具体包括以下步骤：

2、步骤一：收集机考考试视频，对视频进行标注，生成机考异常行为数据集；

3、步骤二：将视频拆分提取视频帧图像，并通过视频帧图像来提取对应的光流图像；

4、步骤三：随机裁取连续的16帧视频图像和对应的光流图像作为一组输入，分别通过resnet3d网络和空间注意力模块，得到双流特征；

5、步骤四：将步骤三所得到的双流特征进行特征融合，最后通过softmax层得到每一种机考行为的类别概率，对考生机考行为进行预测。

6、进一步，所述步骤三所设计的resnet3d网络的初始卷积层为conv1，其卷积核的尺寸为7×7×7，卷积滑动步长为1×2×2，后面是四个残差构建块resnet_block1、resnet_block2、resnet_block3、resnet_block4，在resnet_block4残差构建块之后使用一个全局平均池化层来下采样高维特征，同时还能极大地减少最后全连接层fc的参数数量；所有构建块resnet_block1、resnet_block2、resnet_block3、resnet_block4都由两个残差组件单元和空间注意力模块构成，残差组件单元所使用的卷积核尺寸均为3×3×3，网络中残差构建块resnet_block1、resnet_block2、resnet_block3、resnet_block4的输出通道数分别为64、128、256、512。

7、进一步，所述的空间注意力模块，对于输入的特征矩阵分别进行通道维度的最大池化和平均池化，从而得到两个维度为1的特征矩阵，然后将这两个特征矩阵拼接得到通道维度为2的特征矩阵并通过一个三维卷积层以及sigmoid激活函数，从而得到空间注意力系数，最后将空间注意力系数与输入的特征矩阵相乘得到最终的输出特征矩阵，其计算公式如下：

8、

9、其中σ表示sigmoid激活函数，f7×7×7表示一个卷积核为7×7×7的卷积层，maxpool(f)和avgpool(f)表示分别对特征矩阵f进行最大池化和平均池化操作。

10、进一步，步骤三所述的将随机裁取连续的16帧视频图像和对应的光流图像作为一组输入，分别通过resnet3d卷积神经网络，得到双流特征的具体过程包括：

11、步骤201：将连续的16帧原始视频图像序列作为resnet3d卷积神经网络第一通道的输入，输出的特征向量为f1；

12、步骤202：将连续的16帧光流图像序列作为resnet3d卷积神经网络第二通道的输入，输出的特征向量为f2。

13、进一步，所述的输入原始视频图像序列和光流图像序列均为四维向量，可用c×d×h×w表示，其中c、d、h、w分别表示通道数、图像深度、图像高度、图像宽度。

14、进一步，步骤四的具体过程包括：

15、步骤301：将得到的特征向量f1和特征向量f2进行拼接得到融合特征向量f；

16、步骤302：将特征向量f通过全连接层fc，得到输出结果r，最后使用softmax层来计算不同类别行为所对应的概率分布；

17、本发明具有以下有益效果：

18、1、该发明同时使用原始视频帧图像和光流图像作为输入，增强了网络对人体运动信息的捕捉与提取，能有效提高行为识别的准确率。

19、2、通过添加注意力机制模块，能够重新分配网络对关注区域的权重，使视频中人体动作发生区域的受关注程度远高于其他区域，从而达到抑制无关冗余信息，提升网络性能的目的。

20、3、本发明采用双流网络与注意力机制相结合的方法，能提升机考异常行为识别的准确率，可应用于机考异常行为检测中，从而减少相关工作人员压力，使机考更加公平公正。

技术特征：

1.一种基于双流网络的机考异常行为检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于双流网络的机考异常行为检测方法，其特征在于，步骤三所设计的resnet3d网络的初始卷积层为conv1，其卷积核的尺寸为7×7×7，卷积滑动步长为1×2×2，后面是四个残差构建块resnet_block1、resnet_block2、resnet_block3、resnet_block4，在resnet_block4残差构建块之后使用一个全局平均池化层来下采样高维特征，同时还能极大地减少最后全连接层fc的参数数量；所有构建块resnet_block1、resnet_block2、resnet_block3、resnet_block4都由两个残差组件单元和空间注意力模块构成，残差组件单元所使用的卷积核尺寸均为3×3×3，网络中残差构建块resnet_block1、resnet_block2、resnet_block3、resnet_block4的输出通道数分别为64、128、256、512。

3.根据权利要求2所述的一种基于双流网络的机考异常行为检测方法，其特征在于，所述的一种空间注意力模块，对于输入的特征矩阵，分别进行通道维度的最大池化和平均池化从而得到两个维度为1的特征矩阵，然后将这两个特征矩阵拼接得到通道维度为2的特征矩阵并通过一个三维卷积层以及sigmoid激活函数，从而得到空间注意力系数，最后将空间注意力系数与输入的特征矩阵相乘得到最终的输出特征矩阵，其计算公式如下：

4.根据权利要求1所述的一种基于双流网络的机考异常行为检测方法，其特征在于，步骤三所述将随机裁取连续的16帧视频图像和对应的光流图像作为一组输入，分别通过resnet3d卷积神经网络，得到双流特征的具体过程包括：

5.根据权利要求4所述的一种基于双流网络的机考异常行为检测方法，其特征在于，所述输入原始视频图像序列和光流图像序列均为四维向量，可用c×d×h×w表示，其中c、d、h、w分别表示通道数、图像深度、图像高度、图像宽度。

6.根据权利要求1所述的一种基于双流网络的机考异常行为检测方法，其特征在于，步骤四的具体过程包括：

技术总结
一种基于双流网络的机考异常行为检测方法，包括以下步骤：首先收集机考考试视频，并对视频进行标注，生成机考异常行为数据集，然后通过视频提取视频帧图像，并通过视频帧图像提取光流图像，从而得到双流信息，接着随机裁剪连续的16帧视频图像和对应的光流图像作为一组输入，通过Resnet3D网络来分别提取视频的空间流特征和时间流特征，并在Resnet3D网络中添加注意力模块来增强动作特征提取，提升网络性能，最终将双流特征进行融合，对机考考生异常行为进行分类。本发明采用双流网络与注意力机制相结合的方法，能提升机考异常行为识别的准确率，可应用于机考异常行为检测中，从而减少相关工作人员压力，使机考更加公平公正。

技术研发人员：赵小敏,杨文嘉
受保护的技术使用者：浙江工业大学
技术研发日：
技术公布日：2024/1/14