一种课堂异常行为监测方法、装置、设备及存储介质

1.本发明涉及课堂监测技术领域，尤其涉及一种课堂异常行为监测方法、装置、设备及存储介质。


背景技术：

2.随着信息化教育的普及，借助人工智能技术检测课堂行为，以供分析学生课堂参与程度，有利于进行教学评估，提升教学质量，基于目标检测的行为检测是人工智能技术的一项重要应用。
3.现有技术主要有基于传统机器学习和基于深度学习两类。基于传统机器学习的方法在检测课堂举手行为时，需要利用设计好的特征模板提取举手特征；基于深度学习的方法被用于进行课堂教学评估，这类方法通常通过部署在教室中的监控摄像头获取视频数据，之后通过表情识别、动作识别等方式对学生的听课状态进行分析，判断学生的听课状态。
4.但是，基于传统机器学习的方法，由于特征模板的不可学习性，无法适应课堂教学复杂多变的情形，异常行为特征提取不准确；基于深度学习的方法可以比较准确地对单个学生的行为进行分析，然而，其缺点在于需要通过部署多个摄像头，才能够实现同时对多个目标的分析。


技术实现要素：

5.有鉴于此，有必要提供一种课堂异常行为监测方法、装置、设备及存储介质，用以解决现有技术中无法适应课堂教学复杂多变的情形，难以对多个学生的行为进行分析，异常行为特征提取不准确的问题。
6.为达到上述技术目的，本发明采取了以下技术方案：
7.第一方面，本发明提供了一种课堂异常行为监测方法，包括：
8.获取训练完备的目标课堂异常行为监测模型，目标课堂异常行为监测模型包括特征提取模块和异常检测模块；
9.获取待监测课堂图片数据；
10.基于特征提取模块，根据待监测课堂图片数据，提取学生的课堂特征图片数据；
11.基于异常检测模块，根据课堂特征图片数据，确定课堂是否出现异常行为。
12.优选的，得到特征提取模块包括：
13.通过强化学习算法，生成基线模块efficientnet-b0；
14.设置基线模块efficientnet-b0的参数和结构，得到过渡特征提取模块；
15.获取课堂异常行为图片样本集，通过课堂异常行为图片样本集，对过渡特征提取模块进行训练，得到目标特征提取模块。
16.优选的，特征提取模块包括激活函数和卷积块；设置基线模块efficientnet-b0的参数和结构，得到过渡特征提取模块，包括：
17.将基线模块efficientnet-b0的深度、宽度、图片大小同时进行缩放，得到初始特征提取模块；
18.将初始特征提取模块的relu激活函数缓存swish激活函数；
19.将初始特征提取模块的卷积块短连接部分设置为se层，得到过渡特征提取模块。
20.优选的，获取课堂异常行为图片样本集，通过课堂异常行为图片样本集，对过渡特征提取模块进行训练，得到目标特征提取模块，包括：
21.基于drop_connect，对过渡特征提取模块的隐层节点输入进行随机丢弃，并通过课堂异常行为图片样本集对过渡特征提取模块进行训练，得到目标特征提取模块。
22.优选的，基于特征提取模块，根据待监测课堂图片数据，提取学生的课堂特征图片数据，包括：
23.基于目标特征提取模块，对待监测课堂图片数据进行分类，得到学生面部图片数据和学生手势图片数据。
24.优选的，异常检测模块还包括面部特征识别模块和手势特征识别模块；基于异常检测模块，根据课堂特征图片数据，确定课堂是否出现异常行为，包括：
25.基于面部特征识别模块，根据学生面部图片数据，得到学生面部异常判断结果；
26.基于手势特征识别模块，根据学生手势图片数据，得到学生手势异常判断结果；
27.基于异常检测模块，根据学生面部异常判断结果和学生手势异常判断结果，确定课堂是否出现异常行为。
28.优选的，获取待监测课堂图片数据，包括：
29.获取待监测课堂视频数据；
30.以预设每秒传输帧数截取待监测课堂视频数据，得到待监测课堂图片数据。
31.第二方面，本发明还提供了一种课堂异常行为监测装置，包括：
32.模型建立模块，用于获取训练完备的目标课堂异常行为监测模型，目标课堂异常行为监测模型包括特征提取模块和异常检测模块；
33.数据获取模块，用于获取待监测课堂图片数据；
34.特征提取模块，用于基于特征提取模块，根据待监测课堂图片数据，提取学生的课堂特征图片数据；
35.行为监测模块，用于基于异常检测模块，根据课堂特征图片数据，确定课堂是否出现异常行为。
36.第三方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
37.存储器，用于存储程序；
38.处理器，与存储器耦合，用于执行存储器中存储的程序，以实现上述任一种实现方式中的课堂异常行为监测方法中的步骤。
39.第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述任一种实现方式中的课堂异常行为监测方法中的步骤。
40.采用上述实施例的有益效果是：本发明提供的一种课堂异常行为监测方法、装置、设备及存储介质，通过特征提取模块从待监测课堂图片数据中提取出学生课堂上的特征图片，能够准确识别课堂上学生的状态，提高对课堂异常行为的判断，再通过训练完备的目标
课堂异常行为监测模型对特征图片进行监测，判断课堂是否出现异常行为，训练完备的目标课堂异常行为监测模型通过训练后，能够准确根据输入的课堂图片数据，对课堂是否出现异常行为做出判断，识别准确。
附图说明
41.图1为本发明提供的课堂异常行为监测方法的一实施例的流程示意图；
42.图2为本发明提供的课堂异常行为监测装置的一实施例的结构示意图；
43.图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
44.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
45.在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
46.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
47.本发明提供了一种课堂异常行为监测方法、装置、设备及存储介质，以下分别进行说明。
48.请参阅图1，图1为本发明提供的课堂异常行为监测方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种课堂异常行为监测方法，包括：
49.s101、获取训练完备的目标课堂异常行为监测模型，目标课堂异常行为监测模型包括特征提取模块和异常检测模块；
50.s102、获取待监测课堂图片数据；
51.s103、基于特征提取模块，根据待监测课堂图片数据，提取学生的课堂特征图片数据；
52.s104、基于异常检测模块，根据课堂特征图片数据，确定课堂是否出现异常行为。
53.在本发明具体的实施例中，步骤s101训练完备的目标课堂异常行为监测模型为神经网络模型，使用的是实时动作序列强分类神经网络realtimenet，在目前的应用中，这种神经网络架构除了识别出哪一种动作手势，还可以判别运动动作、打架等异常行为识别，还可以计算出消耗了多少卡路里。本发明通过该神经网络模型对课堂上学生的面部特征和手势特征进行识别，并判断。该目标课堂异常行为监测模型包括特征提取模块，通过特征提取模块提取课堂上学生的面部特征和手势特征。
54.在本发明具体的实施例中，步骤s102在线下课堂中可能会存在录像，记录课堂的授课情况，或者课堂本身为在线课堂，自然具有摄像头用于授课。因此，可以通过课堂上录制的视频获取到待监测课堂图片数据作为输入。
55.在本发明具体的实施例中，步骤s103通过特征提取模块，对获取的待监测课堂图片数据进行特征提取，特征提取模块根据训练，能够对图片中的学生面部表情和手势动作进行提取，将提取到的学生面部表情和手势动作作为特征图片数据，供目标课堂异常行为
监测模型进行监测。
56.在本发明具体的实施例中，步骤s104异常检测模块对特征图片数据进行分析分为两部分，一是对特征图片数据中学生的面部表情进行分析，包括判断学生是否打瞌睡，视线方向等，判断学生是否在认真上课，二是对特征图片数据中学生的手势动作进行分析，包括判断学生是否举手，是否在课堂上做与课堂无关的事，判断学生是否在认真上课，最后结合面部表情和手势动作，对学生是否出现异常行为作出判断。
57.与现有技术相比，本实施例提供的本发明提供的一种课堂异常行为监测方法，通过特征提取模块从待监测课堂图片数据中提取出学生课堂上的特征图片，能够准确识别课堂上学生的状态，提高对课堂异常行为的判断，再通过训练完备的目标课堂异常行为监测模型对特征图片进行监测，判断课堂是否出现异常行为，训练完备的目标课堂异常行为监测模型通过训练后，能够准确根据输入的课堂图片数据，对课堂是否出现异常行为做出判断，识别准确。
58.在本发明的一些实施例中，得到特征提取模块包括：
59.通过强化学习算法，生成基线模块efficientnet-b0；
60.设置基线模块efficientnet-b0的参数和结构，得到过渡特征提取模块；
61.获取课堂异常行为图片样本集，通过课堂异常行为图片样本集，对过渡特征提取模块进行训练，得到目标特征提取模块。
62.在上述实施例中，使用强化学习算法实现的mnasnet模型生成基线模块efficientnet-b0。对efficientnet-b0模块的结构和参数进行设置，得到了过渡特征提取模块。再通过课堂异常行为图片样本集对过渡特征提取模块进行训练，最终得到了efficientnet模块，即目标特征提取模块。efficientnet-b0模块efficientnet模块除了识别出哪一种动作手势，还可以判别运动动作、打架等异常行为识别。
63.在本发明的一些实施例中，特征提取模块包括激活函数和卷积块；设置基线模块efficientnet-b0的参数和结构，得到过渡特征提取模块，包括：
64.将基线模块efficientnet-b0的深度、宽度、图片大小同时进行缩放，得到初始特征提取模块；
65.将初始特征提取模块的relu激活函数缓存swish激活函数；
66.将初始特征提取模块的卷积块短连接部分设置为se层，得到过渡特征提取模块。
67.在上述实施例中，采用复合缩放的方法，在预先设定的内存和计算量大小的限制条件下，对efficientnet-b0模块的深度、宽度(特征图的通道数)、图片大小这三个维度都同时进行缩放，这三个维度的缩放比例通过机器学习中的网络搜索得到，得到了初始特征提取模块。初始特征提取模块的内部是通过多个mbconv卷积块实现的，其中将relu激活函数缓存了swish激活函数。mbconv卷积块也使用了类似残差链接的结构，不同的是在短连接部分使用了se层，得到了过渡特征提取模块。通过这些设置能够提高特征提取模块的准确性和反应速度。
68.在本发明的一些实施例中，获取课堂异常行为图片样本集，通过课堂异常行为图片样本集，对过渡特征提取模块进行训练，得到目标特征提取模块，包括：
69.基于drop_connect，对过渡特征提取模块的隐层节点输入进行随机丢弃，并通过课堂异常行为图片样本集对过渡特征提取模块进行训练，得到目标特征提取模块。
70.在上述实施例中，使用了drop_connect方法来代替传统的drop方法。drop_connect与drop不同的地方是在训练神经网络模型过程中，它不是对隐层节点的输出进行随机的丢弃，而是对隐层节点的输入进行随机的丢弃。在深度神经网络中drop_connect与drop的作用都是防止模型产生过拟合的情况。相比之下drop_connect的效果会更好一些，在训练时，通过drop_connect方法得到目标特征提取模块。
71.在本发明的一些实施例中，基于特征提取模块，根据待监测课堂图片数据，提取学生的课堂特征图片数据，包括：
72.基于目标特征提取模块，对待监测课堂图片数据进行分类，得到学生面部图片数据和学生手势图片数据。
73.在上述实施例中，特征提取模块以待监测课堂图片数据为输入，从待监测课堂图片数据中提取出学生的姿态特征，对其中学生的不同特征进行分类，最终得到学生面部图片数据和学生手势图片数据。学生面部图片数据和学生手势图片数据能够反映学生上课时的状态，而特征提取模块能够准确提取出这些特征。
74.在本发明的一些实施例中，异常检测模块还包括面部特征识别模块和手势特征识别模块；基于异常检测模块，根据课堂特征图片数据，确定课堂是否出现异常行为，包括：
75.基于面部特征识别模块，根据学生面部图片数据，得到学生面部异常判断结果；
76.基于手势特征识别模块，根据学生手势图片数据，得到学生手势异常判断结果；
77.基于异常检测模块，根据学生面部异常判断结果和学生手势异常判断结果，确定课堂是否出现异常行为。
78.在上述实施例中，分别通过面部特征识别模块和手势特征识别模块对学生面部图片数据和学生手势图片数据进行判断，得到对应的判断结果，再由异常检测模块根据对应的判断结果进一步确定课堂是否出现异常行为。
79.在本发明的一些实施例中，获取待监测课堂图片数据，包括：
80.获取待监测课堂视频数据；
81.以预设每秒传输帧数截取待监测课堂视频数据，得到待监测课堂图片数据。
82.在上述实施例中，直接获取待监测课堂视频数据，以一定的fps(每秒传输帧数)截出视频帧(jpegs)，该视频帧即为待监测课堂图片数据，并删除其中截取的较模糊的视频帧，以免对监测结果产生影响。通过截取待监测课堂视频数据获取待监测课堂图片数据的方法，提高了判断结果的真实性和准确性。
83.为了更好实施本发明实施例中的课堂异常行为监测方法，在课堂异常行为监测方法基础之上，对应的，请参阅图2，图2为本发明提供的课堂异常行为监测装置的一实施例的结构示意图，本发明实施例提供了一种课堂异常行为监测装置200，包括：
84.模型建立模块201，用于获取训练完备的目标课堂异常行为监测模型，目标课堂异常行为监测模型包括特征提取模块和异常检测模块；
85.数据获取模块202，用于获取待监测课堂图片数据；
86.特征提取模块203，用于基于特征提取模块，根据待监测课堂图片数据，提取学生的课堂特征图片数据；
87.行为监测模块204，用于基于异常检测模块，根据课堂特征图片数据，确定课堂是否出现异常行为。
88.这里需要说明的是：上述实施例提供的装置200可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
89.请参阅图3，图3为本发明实施例提供的电子设备的结构示意图。基于上述课堂异常行为监测方法，本发明还相应提供了一种课堂异常行为监测设备，课堂异常行为监测设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该课堂异常行为监测设备包括处理器310、存储器320及显示器330。图3仅示出了电子设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
90.存储器320在一些实施例中可以是课堂异常行为监测设备的内部存储单元，例如课堂异常行为监测设备的硬盘或内存。存储器320在另一些实施例中也可以是课堂异常行为监测设备的外部存储设备，例如课堂异常行为监测设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器320还可以既包括课堂异常行为监测设备的内部存储单元也包括外部存储设备。存储器320用于存储安装于课堂异常行为监测设备的应用软件及各类数据，例如安装课堂异常行为监测设备的程序代码等。存储器320还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器320上存储有课堂异常行为监测程序340，该课堂异常行为监测程序340可被处理器310所执行，从而实现本技术各实施例的课堂异常行为监测方法。
91.处理器310在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他数据处理芯片，用于运行存储器320中存储的程序代码或处理数据，例如执行课堂异常行为监测方法等。
92.显示器330在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。显示器330用于显示在课堂异常行为监测设备的信息以及用于显示可视化的用户界面。课堂异常行为监测设备的部件310-330通过系统总线相互通信。
93.在一实施例中，当处理器310执行存储器320中课堂异常行为监测程序340时实现如上的课堂异常行为监测方法中的步骤。
94.本实施例还提供了一种计算机可读存储介质，其上存储有课堂异常行为监测程序，该课堂异常行为监测程序被处理器执行时实现以下步骤：
95.获取训练完备的目标课堂异常行为监测模型，目标课堂异常行为监测模型包括特征提取模块和异常检测模块；
96.获取待监测课堂图片数据；
97.基于特征提取模块，根据待监测课堂图片数据，提取学生的课堂特征图片数据；
98.基于异常检测模块，根据课堂特征图片数据，确定课堂是否出现异常行为。
99.综上，本实施例提供的一种课堂异常行为监测方法、装置、设备及存储介质，通过特征提取模块从待监测课堂图片数据中提取出学生课堂上的特征图片，能够准确识别课堂上学生的状态，提高对课堂异常行为的判断，再通过训练完备的目标课堂异常行为监测模型对特征图片进行监测，判断课堂是否出现异常行为，训练完备的目标课堂异常行为监测模型通过训练后，能够准确根据输入的课堂图片数据，对课堂是否出现异常行为做出判断，
识别准确。
100.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。