一种基于人工智能的智慧教室分析识别方法及装置

本技术涉及智慧校园，具体涉及一种基于人工智能的智慧教室分析识别方法及装置。

背景技术：

1、以云计算、大数据挖掘、物联网、人工智能等为标志的信息技术快速发展以及在教育领域的应用，使得传统教室也逐渐从普通教室转变为智慧型教室，从单一技术的教室应用转变为泛技术的教学环境，是社会发展对技术教育教学应用的必然要求。

2、然而，如何把现有技术更好的融入的实际应用中，仍然是摆在每个从业者面前的问题。现有的智慧教室更多的体现在硬件建设方便，比如多媒体教学、电子作业、人脸考勤等，现有的这些解决方案，更多的是针对某一项进行信息化更新，并没有进行系统化关联和升级。比如现有的方案中，有的只是进行了人数统计，有的做到了教室内剩余座位的统计并进行展示，然而，并没有有效利用该场景进行多功能分析和使用，也没有基于移动端的信息查询。

3、因此，如何对教室中各学生在教学过程中的行为动作进行全面分析，便于用户实时获取学生的学习质量。

技术实现思路

1、本技术提供一种基于人工智能的智慧教室分析识别方法及装置，对教室中各学生在教学过程中的行为动作进行全面分析，便于用户实时获取学生的学习质量。

2、为实现上述目的，本技术提供以下方案：

3、第一方面，本技术提供了一种基于人工智能的智慧教室分析识别方法，所述方法包括以下步骤：

4、获取目标教室内实时的课上监控图像；

5、将经过预处理后的课上监控图像输入训练后的学生上课状态分析模型，获取所述课上监控图像中各个学生的行为分析结果以及上课学生人数；

6、基于所述行为分析结果以及上课学生人数，生成所述目标教室的学生上课状态。

7、进一步的，所述方法还包括：

8、基于所述上课学生人数以及所述目标教室的总座位数，获取所述目标教室的上座率；

9、当所述上座率低于预设阈值或者所述行为分析结果中显示存在异常行为，则向移动端发送告警信息；

10、基于所述目标教室的历史上座率，获取所述目标教室的平均周上座率、平均月上座率以及平均年上座率；

11、基于所述平均周上座率、平均月上座率以及平均年上座率，生成所述目标教室的上座率分布图，并将所述上座率分布图发送至移动端，以使所述移动端将所述上座率分布图显示在显示屏上。

12、进一步的，所述学生上课状态分析模型是由预设训练图像集对改进后的resnet50网络模型训练而成。

13、进一步的，所述所述对原始resnet50网络模型改进过程包括以下步骤：

14、删除所述原始resnet50网络模型中的第五层卷积网络层；

15、减小原始resnet50网络模型中第一卷积网络层的卷积核的大小，并对分别对第二卷积网络层、第三卷积网络层以及第四卷积网络层的卷积核大小作适用性修改，以使所述第四卷积网络层所输出通道数中的宽度和高度为输入通道数的四分之一；

16、在所述第四卷积网络层后拼接三个分支网络结构后，形成待训练的改进后的resnet50网络模型。

17、进一步的，所述分支网络结构包含检测分支结构、关键点提取分支结构以及行为属性分支结构。

18、进一步的，所述行为属性分支结构由3个卷积层以及1个全连接层组成；所述检测分支结构由centernet结构改进而成；所述关键点提取分支结构包含1个卷积层以及1个全连接层。

19、进一步的，所述由预设训练图像集对改进后的resnet50网络模型训练，包括以下步骤：

20、利用第一预设图像集训练所述检测分支结构，直至所述检测分支结构的第一损失函数收敛时，获取训练好的检测分支结构；所述第一预设图像包含标定有人体轮廓框、人体头像框以及香烟位置框的图像；

21、利用第二预设图像集训练所述关键点提取分支结构，直至所述关键点提取分支结构的第二损失函数收敛时，获取训练好的关键点提取分支结构；所述第二预设图像集中包含标定脖子位置、肩膀、肘关节、腕关节、腰部部位关键点的图像；

22、利用第三预设图像集训练所述行为属性分支结构，直至所述行为属性分支结构的第三损失函数收敛时，获取训练好的行为属性分支结构；所述第三预设图像集中包含标定有动作类型的图像。

23、第二方面，本技术提供了一种基于人工智能的智慧教室分析识别装置，所述装置包括：

24、图像获取模块，其用于获取目标教室内实时的课上监控图像；

25、分析结果获取模块，其用于将经过预处理后的课上监控图像输入训练后的学生上课状态分析模型，获取所述课上监控图像中各个学生的行为分析结果以及上课学生人数；

26、结果展示获取模块，其用于基于所述行为分析结果以及上课学生人数，生成所述目标教室的学生上课状态。

27、进一步的，所述装置还包括：

28、上座率获取模块，其用于基于所述上课学生人数以及所述目标教室的总座位数，获取所述目标教室的上座率；

29、告警信息发送模块，其用于当所述上座率低于预设阈值或者所述行为分析结果中显示存在异常行为，则向移动端发送告警信息；

30、历史上座率计算模块，其用于基于所述目标教室的历史上座率，获取所述目标教室的平均周上座率、平均月上座率以及平均年上座率；

31、显示模块，其用于基于所述平均周上座率、平均月上座率以及平均年上座率，生成所述目标教室的上座率分布图，并将所述上座率分布图发送至移动端，以使所述移动端将所述上座率分布图显示在显示屏上。

32、进一步的，所述学生上课状态分析模型是由预设训练图像集对改进后的resnet50网络模型训练而成。

33、进一步的，所述装置还包括：

34、卷积层删除模块，其用于删除所述原始resnet50网络模型中的第五层卷积网络层；

35、卷积核大小调整模块，其用于减小原始resnet50网络模型中第一卷积网络层的卷积核的大小，并对分别对第二卷积网络层、第三卷积网络层以及第四卷积网络层的卷积核大小作适用性修改，以使所述第四卷积网络层所输出通道数中的宽度和高度为输入通道数的四分之一；

36、分支结构添加模块，其用于在所述第四卷积网络层后拼接三个分支网络结构后，形成待训练的改进后的resnet50网络模型。

37、进一步的，所述分支网络结构包含检测分支结构、关键点提取分支结构以及行为属性分支结构。

38、进一步的，所述行为属性分支结构由3个卷积层以及1个全连接层组成；所述检测分支结构由centernet结构改进而成；所述关键点提取分支结构包含1个卷积层以及1个全连接层。

39、进一步的，所述装置还包括：

40、第一训练模块，其用于利用第一预设图像集训练所述检测分支结构，直至所述检测分支结构的第一损失函数收敛时，获取训练好的检测分支结构；所述第一预设图像包含标定有人体轮廓框、人体头像框以及香烟位置框的图像；

41、第二训练模块，其用于利用第二预设图像集训练所述关键点提取分支结构，直至所述关键点提取分支结构的第二损失函数收敛时，获取训练好的关键点提取分支结构；所述第二预设图像集中包含标定脖子位置、肩膀、肘关节、腕关节、腰部部位关键点的图像；

42、第三训练模块，其用于利用第三预设图像集训练所述行为属性分支结构，直至所述行为属性分支结构的第三损失函数收敛时，获取训练好的行为属性分支结构；所述第三预设图像集中包含标定有动作类型的图像。

43、本技术提供的技术方案带来的有益效果包括：

44、本技术中行为分析服务器获取目标教室内实时的课上监控图像；将经过预处理后的课上监控图像输入训练后的学生上课状态分析模型，获取课上监控图像中各个学生的行为分析结果以及上课学生人数；基于行为分析结果以及上课学生人数，生成目标教室的学生上课状态。。本技术通过目标教室内的摄像头获取在预设时间段内的课上监控图像，通过学生上课状态分析模型分析课上监控图像上各学生的行为，并将各教室的行为分析结果发送至展示屏，对教室中各学生在教学过程中的行为动作上座率进行全面分析，便于用户实时获取学生的学习上课状态。